본문 바로가기

[2018 일반부문 / 동상] 옥토퍼스

OSS관리자 게시글 작성 시각 2019-08-19 11:51:45 게시글 조회수 1246
옥토퍼스
고우베이비
일반
Octopus를 통해 하나의 통계 클러스터 서버 환경을 다양한 서비스가 손쉽게 활용할 수 있게 함
* 시연동영상 : https://www.youtube.com/watch?v=Gk7c-UkAL2s
동상_정보통신산업진흥원장상
2018 년
빅데이터

[개요]
0. 서비스가 운영될 수록 데이터는 많아지게 됩니다. 데이터가 많아짐에 따라 통계 및 머신러닝도 가능하게 하였습니다.
그러나, 점점 커진 빅 데이터를 효율적으로 처리 하기란 쉽지 않습니다.

1. 빅 데이터를 효율적으로 처리하기 위해서는 대용량 데이터 분석 플랫폼들을 구축하여야 합니다.
대용량 데이터 분석 플랫폼에는 hdfs, hive, spark 등 다양한 오픈소스들이 사용됩니다.
이러한 기술의 진화는 데이터 엔지니어라는 새로운 직종까지 생기게 하였습니다.

2. 각각의 수많은 서비스들은 성장하면 데이터를 관리 및 분석하게 됩니다.
빅 데이터를 효율적으로 처리하기 위해서는 각각의 서비스들은 대용량 데이터 분석 플랫폼을 구축 & 운영 해야 합니다.

[아이디어]
각각의 서비스가 대용량 데이터 분석 플랫폼를 따로 구축해야하는 상황 맞는가?
- 아니다.
- 서비스개발자 / 데이터엔지니어 역할을 분리시키자.

미리 구축 된 하나의 대용량 데이터 분석 플랫폼을 Octopus와 연동 시킵니다. 각각의 서비스 개발자들은 Octopus로 접근하여 데이터를 수집&가공 할 수 있습니다. Octopus는 다양한 대용량 데이터 분석 플랫폼 중 Druid를 지원합니다. 이 후 계획으로는 hive, spark등이 있습니다.

맨 위로
맨 위로