[개요]
0. 서비스가 운영될 수록 데이터는 많아지게 됩니다. 데이터가 많아짐에 따라 통계 및 머신러닝도 가능하게 하였습니다.
그러나, 점점 커진 빅 데이터를 효율적으로 처리 하기란 쉽지 않습니다.
1. 빅 데이터를 효율적으로 처리하기 위해서는 대용량 데이터 분석 플랫폼들을 구축하여야 합니다.
대용량 데이터 분석 플랫폼에는 hdfs, hive, spark 등 다양한 오픈소스들이 사용됩니다.
이러한 기술의 진화는 데이터 엔지니어라는 새로운 직종까지 생기게 하였습니다.
2. 각각의 수많은 서비스들은 성장하면 데이터를 관리 및 분석하게 됩니다.
빅 데이터를 효율적으로 처리하기 위해서는 각각의 서비스들은 대용량 데이터 분석 플랫폼을 구축 & 운영 해야 합니다.
[아이디어]
각각의 서비스가 대용량 데이터 분석 플랫폼를 따로 구축해야하는 상황 맞는가?
- 아니다.
- 서비스개발자 / 데이터엔지니어 역할을 분리시키자.
미리 구축 된 하나의 대용량 데이터 분석 플랫폼을 Octopus와 연동 시킵니다. 각각의 서비스 개발자들은 Octopus로 접근하여 데이터를 수집&가공 할 수 있습니다. Octopus는 다양한 대용량 데이터 분석 플랫폼 중 Druid를 지원합니다. 이 후 계획으로는 hive, spark등이 있습니다.
번호 | 제목 | 분야 | 조회수 | 작성 |
---|---|---|---|---|
256 | [2019 학생부문 / 조직위원장 특별상] ALLPRE | 1157 | 2019-12-11 | |
255 | [2018 일반부문 / 후원기업상_리원에이스상] 드론을 이용한 영상처리 기반의 방범시스템 구축 | 1297 | 2019-08-19 | |
254 | [2018 일반부문 / 후원기업상_엘에스웨어상] PlaynView-DistinctWordFinder | 1264 | 2019-08-19 | |
253 | [2018 일반부문 / 후원기업상_유엔진솔루션즈상] BigB | 1197 | 2019-08-19 | |
252 | [2018 학생부문 / 후원기업상_알티베이스상] StopBus(비콘을 활용한 위치기반 버스 승하차 예약 서비스) | 1515 | 2019-08-19 | |
251 | [2018 학생부문 / 후원기업상_BDSK상] 원체인 : 오픈소스 블록체인 코어 | 1229 | 2019-08-19 | |
250 | [2018 학생부문 / 후원기업상_kt ds상] HeVote | 1311 | 2019-08-19 | |
249 | [2018 학생부문 / 후원기업상_큐브리드상] 청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application | 1377 | 2019-08-19 | |
248 | [2018 일반부문 / 동상] 인공지능 이미지 인식을 사용한 특허 검색 모바일 서비스 | 1429 | 2019-08-19 | |
247 | [2018 일반부문 / 동상] 옥토퍼스 | 1305 | 2019-08-19 |
0개 댓글