[2021년 파트 - 박현우 개발자] Delta Lake
beobest2
게시글 작성 시각 2021-07-14 23:54:22
파트 프런티어
Delta Lake
박현우
Delta Lake 는 데이터레이크에 안정성을 제공하는 오픈소스 스토리지입니다. 대규모 인메모리 분산 처리 엔진인 Spark와 호환되어, 메타데이터 관리를 확장 가능하게 도와주는 프로젝트입니다. 여러 명이 동시에 같은 데이터에 읽고 쓸 때 ACID 트랜잭션 기능을 제공하여 데이터를 안전하게 유지합니다. 타임머신 기능을 제공하여 손쉽게 과거 버전의 데이터로 복구할 수 있습니다.
ㆍ주요경력
- 2017 ~ 2019 모비젠
- 2019 ~ 카카오
- 2021 ~ 글로벌전문개발자 파트
ㆍ전문분야
- Big Data
ㆍ활동 커뮤니티
- GitHub
ㆍ활동 프로젝트 분야
- Big Data
ㆍ프로젝트명
- Delta Lake
ㆍ프로젝트 개요
- Delta Lake 는 데이터레이크에 안정성을 제공하는 오픈소스 스토리지입니다. 대규모 인메모리 분산 처리 엔진인 Spark와 호환되어, 메타데이터 관리를 확장 가능하게 도와주는 프로젝트입니다. 여러 명이 동시에 같은 데이터에 읽 고 쓸 때 ACID 트랜잭션 기능을 제공하여 데이터를 안전하게 유지합니다. 타임머신 기능을 제공하여 손쉽게 과거 버전의 데이터로 복구할 수 있습니다.
ㆍ프로젝트 특징
- 데이터브릭스에서 주도하는 오픈소스 프로젝트로서 현재 Linux Foundation Projects의 하위 프로젝트인 Delta Lake Project에 합류 되었습니다.
ㆍ프로젝트 목표
- Delta Lake의 편의성 덕분에, 데이터 엔지니어들이 데이터레이크 환경을 구축함에 있어서 생산성 향상과 더불어 비즈니스 로직에 보다 집중할수 있을것으로 기대됩니다.
번호 | 제목 | 분야 | 작성 |
---|---|---|---|
214 | [2021년 파트 - 김민재 개발자] Yocto project / ROS(Robot Operating System) / webOS OSE(Open Source Edition) | 드론/로봇 | 2021-07-15 |
213 | [2021년 파트 - 이종열 개발자] Apache Zeppelin | 빅데이터 | 2021-07-15 |
212 | [2021년 파트 - 이상호 개발자] Posenet on coral board | 인공지능(AI) | 2021-07-15 |
211 | [2021년 파트 - 김성민 개발자] C-ONNX, Packetvisor | 인공지능(AI) | 2021-07-15 |
210 | [2021년 파트 - 이평화 개발자] 가이더 | 기타 | 2021-07-15 |
209 | [2021년 파트 - 박현우 개발자] Delta Lake | 빅데이터 | 2021-07-14 |
208 | [2021년 파트 - 나동희 개발자] CPython | 기타 | 2021-07-14 |
207 | [2021년 파트 - 박정환 개발자] 파이토치 튜토리얼 번역 | 인공지능(AI) | 2021-07-14 |
206 | [2021년 파트 - 김관영 개발자] ProjectDiscovery / GENIVI-Alliance | 보안 | 2021-07-14 |
205 | [2021년 파트 - 박중헌 개발자] Chromium/WebKit | 기타 | 2021-07-14 |
0개 댓글