[2018 일반부문 / 동상] 옥토퍼스
OSS관리자
게시글 작성 시각 2019-08-19 11:51:45
옥토퍼스
고우베이비
일반
Octopus를 통해 하나의 통계 클러스터 서버 환경을 다양한 서비스가 손쉽게 활용할 수 있게 함
* 시연동영상 : https://www.youtube.com/watch?v=Gk7c-UkAL2s
* 시연동영상 : https://www.youtube.com/watch?v=Gk7c-UkAL2s
동상_정보통신산업진흥원장상
[개요]
0. 서비스가 운영될 수록 데이터는 많아지게 됩니다. 데이터가 많아짐에 따라 통계 및 머신러닝도 가능하게 하였습니다.
그러나, 점점 커진 빅 데이터를 효율적으로 처리 하기란 쉽지 않습니다.
1. 빅 데이터를 효율적으로 처리하기 위해서는 대용량 데이터 분석 플랫폼들을 구축하여야 합니다.
대용량 데이터 분석 플랫폼에는 hdfs, hive, spark 등 다양한 오픈소스들이 사용됩니다.
이러한 기술의 진화는 데이터 엔지니어라는 새로운 직종까지 생기게 하였습니다.
2. 각각의 수많은 서비스들은 성장하면 데이터를 관리 및 분석하게 됩니다.
빅 데이터를 효율적으로 처리하기 위해서는 각각의 서비스들은 대용량 데이터 분석 플랫폼을 구축 & 운영 해야 합니다.
[아이디어]
각각의 서비스가 대용량 데이터 분석 플랫폼를 따로 구축해야하는 상황 맞는가?
- 아니다.
- 서비스개발자 / 데이터엔지니어 역할을 분리시키자.
미리 구축 된 하나의 대용량 데이터 분석 플랫폼을 Octopus와 연동 시킵니다. 각각의 서비스 개발자들은 Octopus로 접근하여 데이터를 수집&가공 할 수 있습니다. Octopus는 다양한 대용량 데이터 분석 플랫폼 중 Druid를 지원합니다. 이 후 계획으로는 hive, spark등이 있습니다.
| 번호 | 제목 | 분야 | 작성 |
|---|---|---|---|
| 255 | [2018 일반부문 / 후원기업상_리원에이스상] 드론을 이용한 영상처리 기반의 방범시스템 구축 | 사물인터넷 | 2019-08-19 |
| 254 | [2018 일반부문 / 후원기업상_엘에스웨어상] PlaynView-DistinctWordFinder | 인공지능(AI) | 2019-08-19 |
| 253 | [2018 일반부문 / 후원기업상_유엔진솔루션즈상] BigB | 보안 | 2019-08-19 |
| 252 | [2018 학생부문 / 후원기업상_알티베이스상] StopBus(비콘을 활용한 위치기반 버스 승하차 예약 서비스) | 모바일 | 2019-08-19 |
| 251 | [2018 학생부문 / 후원기업상_BDSK상] 원체인 : 오픈소스 블록체인 코어 | 블록체인 | 2019-08-19 |
| 250 | [2018 학생부문 / 후원기업상_kt ds상] HeVote | 블록체인 | 2019-08-19 |
| 249 | [2018 학생부문 / 후원기업상_큐브리드상] 청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application | 기타 | 2019-08-19 |
| 248 | [2018 일반부문 / 동상] 인공지능 이미지 인식을 사용한 특허 검색 모바일 서비스 | 모바일 | 2019-08-19 |
| 247 | [2018 일반부문 / 동상] 옥토퍼스 | 빅데이터 | 2019-08-19 |
| 246 | [2018 일반부문 / 동상] Merklux: Merkleized unidirectional data flow | 블록체인 | 2019-08-19 |
0개 댓글