본문 바로가기

[2022년 파트 - 박현우 개발자] Delta Lake / Spark

cleanby 게시글 작성 시각 2022-03-25 17:31:37 게시글 조회수 857
파트 프런티어
Delta Lake, Spark
박현우
안정성을 제공하는 오픈소스 스토리지. 대규모 인 메모리 분산 처리 엔진인 Spark와 호환되어, 메타데이터 관리를 확장 가능하게 도와주는 프로젝트
2022 년
빅데이터

- 개발자 주요 경력 

2017 ~ 2019 모비젠

2019 ~ 2021 카카오

2021 글로벌전문개발자 파트

2021 ~ 라플라스테크놀로지스

 

- 개발자 전문 분야

Big Data

 

- 활동 커뮤니티

GitHub

 

- 활동 프로젝트 분야

BigData, Spark, Data Lake, Data Pipeline

 

- 프로젝트 목표

Delta Lake, Spark 오픈소스 커뮤니티에서 인정받는 커미터 자격 획득
국내 개발자들에게 오픈소스의 참여 기회 홍보
빅데이터 분석 운영이 필요한 국내 기업들과 연계 활동

 

- 프로젝트 특징

데이터레이크는 안정성을 제공하는 오픈소스 스토리지이다. 대규모 인 메모리 분산 처리 엔진인 Spark와 호환되어, 메타데이터 관리를 확장 가능하게 도와주는 프로젝트

여러 명이 동시에 같은 데이터에 읽고 쓸때 ACID 트랜잭션 기능을 제공하여 데이터를 안전하게 유지한다.

맨 위로
맨 위로