열린마당
2013년 12월 10일 (화)
ⓒ 지디넷코리아, 김우용 기자 yong2@zdnet.co.kr
넷플릭스가 여러 애플리케이션 서버에서 일어나는 이벤트 데이터를 수집해 하둡 등 데이터플랫폼에 보내주는 기술을 오픈소스로 공개했다.
9일(현지시간) 기가옴 등에 따르면, 넷플릭스는 데이터를 소스에서 수집해 목적지로 실시간으로 보내주는 기술 '수로(Suro)'를 오픈소스로 공개했다. 아파치 플럼(Flume)과 유사한 아피치 척와(Chukwa)에서 파생된 기술이다.
수로는 각지에 퍼진 애플리케이션 서버에서 생성되는 데이터를 수집해 하둡, 엘라스틱서치 등의 목적에 맞는 저장소로 보내준다. 하루당 수십, 수백억건씩 생성되는 애플리케이션의 이벤트 데이터를 배치분석용, 실시간 분석용으로 구분해 전송한다.
넷플릭스 이용자가 웹이나 애플리케이션을 통해 어떤 서비스를 이용하게 되면 로그데이터가 생성된다. 초당 150만건씩 생성되는 이 로그 데이터는 수로로 보내지고, 기본적으로 S3를 거쳐 하둡 클러스터로 들어가 배치분석용으로 저장된다.
동시에 동적라우팅룰에 기반해 아파치 카프카로 보내져 스톰, 엘라스틱서치 등 실시간 스트리밍 분석용 인프라로 이용자 반응에 대한 실시간 대응을 가능하게 한다.
넷플릭스는 블로그를 통해 "우리 서비스는 각 애플리케이션에 발생한 에러를 자동으로 검출해 10분 안에 창에 띄우고, 애플리케이션 소유자에게 알림을 보낸다"라고 설명했다.
▲ 수로 아키텍처
현재 수로 클라이언트, 수로 서버, 카프카 싱크 및 S3 싱크, 메시지 필터 3종 등이 나와있다.
수로는 지난 10월 네이버 개최 데뷰2013 컨퍼런스에 강연자로 나섰던 배재현 씨도 개발에 참여한 기술이다.
9일(현지시간) 기가옴 등에 따르면, 넷플릭스는 데이터를 소스에서 수집해 목적지로 실시간으로 보내주는 기술 '수로(Suro)'를 오픈소스로 공개했다. 아파치 플럼(Flume)과 유사한 아피치 척와(Chukwa)에서 파생된 기술이다.
수로는 각지에 퍼진 애플리케이션 서버에서 생성되는 데이터를 수집해 하둡, 엘라스틱서치 등의 목적에 맞는 저장소로 보내준다. 하루당 수십, 수백억건씩 생성되는 애플리케이션의 이벤트 데이터를 배치분석용, 실시간 분석용으로 구분해 전송한다.
넷플릭스 이용자가 웹이나 애플리케이션을 통해 어떤 서비스를 이용하게 되면 로그데이터가 생성된다. 초당 150만건씩 생성되는 이 로그 데이터는 수로로 보내지고, 기본적으로 S3를 거쳐 하둡 클러스터로 들어가 배치분석용으로 저장된다. 동시에 동적라우팅룰에 기반해 아파치 카프카로 보내져 스톰, 엘라스틱서치 등 실시간 스트리밍 분석용 인프라로 이용자 반응에 대한 실시간 대응을 가능하게 한다.
넷플릭스는 블로그를 통해 "우리 서비스는 각 애플리케이션에 발생한 에러를 자동으로 검출해 10분 안에 창에 띄우고, 애플리케이션 소유자에게 알림을 보낸다"라고 설명했다.
▲ 수로 아키텍처
현재 수로 클라이언트, 수로 서버, 카프카 싱크 및 S3 싱크, 메시지 필터 3종 등이 나와있다.
수로는 지난 10월 네이버 개최 데뷰2013 컨퍼런스에 강연자로 나섰던 배재현 씨도 개발에 참여한 기술이다.
※ 본 내용은 (주)메가뉴스(http://www.zdnet.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 지디넷코리아. 무단전재 및 재배포 금지
[원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20131210092022]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 293955 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 284520 | 2020-10-27 |
| 2483 | KISDI “디지털 제조로 제 3차 산업혁명 온다” | 3337 | 2013-12-10 |
| 2482 | 넷플릭스, 로그수집기 '수로' 오픈소스로 공개 | 3759 | 2013-12-10 |
| 2481 | 오픈소스 DBMS 오라클 독주 흔들 | 3340 | 2013-12-10 |
| 2480 | “오라클, 자바 항소심서 구글에 1조원 배상 요구” | 3288 | 2013-12-09 |
| 2479 | [2013 올해의 제품] 레드블럭, '킴스큐' 아시아가 주목한 올해의 제품으로 선정! | 3386 | 2013-12-09 |
| 2478 | HP가 아마존 클라우드 API 끊은 이유 | 3277 | 2013-12-09 |
| 2477 | [스마트 금융시대]<3>오픈소스, 생선가시를 바르자 | 3440 | 2013-12-09 |
| 2476 | [포럼] 공개SW 라이선스 준수해야할 이유 | 3627 | 2013-12-09 |
| 2475 | IBM, 2014년 파워칩에 KVM 가상화 투입 | 3550 | 2013-12-09 |
| 2474 | 농기계·가전 12가지 싸게 만드는 방법을 세상과 공유 | 3802 | 2013-12-09 |
0개 댓글