2013

Scribe 2.2 [솔루션 프로파일]

OSS 2013-09-11 16:53:45 8509
Scribe 2.2
2013

• Scribe는 효율적이며 대용량의 실시간으로 처리가 가능함. 분산되어 있는 정형/비정형 데이터를 일관된 방법으로 수집할 수 있는 로그 수집 프레임워크

• Facebook이 개발하여 공개한 로그서버. 대량의 서버로부터 실시간으로 흘러들어오는 로그데이터를 집약하기 위해 개발됨


[Profile]

공개SW 솔루션 프로파일 솔루션 번호 2013-002
솔루션 명칭 및 버전 Scribe 2.2
공식 사이트 • https://github.com/facebook/scribe
버전 • 안정 버전 : Scribe 2.2 (2013년 4월 현재)
• 최신 버전 : Scribe 2.2 (2013년 4월 현재)
소스코드 저장소 • https://github.com/facebook/scribe
메일링 리스트 • https://groups.google.com/forum/?fromgroups#!forum/scribe-server
결함 추적 시스템 • https://github.com/facebook/scribe/issues
라이선스 • Apache License 2.0
개발 후원사 • Facebook
 - http://www.facebook.com
개발 프로그램 언어 • C++, Python
언어지원 • 영어
지원 OS • Unix-like OS
• Ubuntu 9.04(Jaunty) + has been tested
하드웨어 사양 • 최소 - CPU: Intel Core or Xeon 3GHz / Memory: 4GB
• 권장 - CPU: Dual or Quad Core / Memory: 6GB
공개SW 역량프라자
테스트 (유/무)
• 유
기술문서 • N/A
정의

• Facebook이 개발하여 공개한 로그서버. 대량의 서버로부터 실시간으로 흘러들어오는 로그데이터를 집약하기 위해 개발됨

 

필요성

• Scribe는 효율적이며 대용량의 실시간으로 처리가 가능함. 분산되어 있는 정형/비정형 데이터를 일관된 방법으로 수집할 수 있는 로그 수집 프레임워크(Log Aggregator Framework)로써 빅 데이터에서 필수적이며, 우선적으로 고려해야 할 사항

 

※ 도입이 필요한 경우

• 분석할 Data의 종류가 지속적으로 늘어나는 경우
• 저비용 고효율 빅데이터 플랫폼 도입이 시급한 경우

개정 이력 • Version 2.0 : 2008-10-22 Facebook Scribe의 첫 번째 릴리즈 버전
• Version 2.1 Download Package : 2009 버전 2.1 다운로드 패키지 발표
• Version 2.2 Download Package : 2010 버전 2.2 다운로드 패키지 발표
적용 사례

• Facebook의 자체 스케일링(scaling) 작업을 위해 설계된 스크라이브는 현재 매일 수백 억 건의 메시지를 처리
  (출처: 페이스북 http://www.facebook.com/note.php?note_id=32008268919)

 

 

Twitter에서도 대용량 로그수집에 Scribe를 사용
(출처: Twitter의 시니어 디렉터 Kevin Weil의 발표자료)

관련 키워드 • Scribe, Facebook. Log Server, Open Source, HDFS
참고 자료

Wikipedia:
- http://en.wikipedia.org/wiki/Scribe_(log_server)

Facebook Scribe:
- http://www.facebook.com/scribe.software#!/scribe.software

Ted Won's Wiki:
- http://tedwon.com/display/dev/Facebook+Scribe

개발
그룹
국내 업체 • N/A
커뮤니티 • N/A
국외 업체 • N/A
커뮤니티

Scribe Google Groups
- http://groups.google.com/group/scribe-server

기술
지원
국내 업체 • N/A
커뮤니티 • N/A
국외 업체 • N/A
커뮤니티 • N/A
설치 파일 제공 방식

Source 제공(Source File 제공)
- https://github.com/facebook/scribe/downloads

교육과정(국내) • N/A

 

공개SW 솔루션 프로파일 게시물 리스트 표
번호 제목 작성자 조회수 작성
71 Chukwa 0.5.0 [솔루션 프로파일] file OSS 7980 2013-09-17
70 Scribe 2.2 [솔루션 프로파일] file OSS 8509 2013-09-11
69 Flume 1.3.1 [솔루션 프로파일] file OSS 9220 2013-09-05
68 Apache Pig 0.10.0 [솔루션 프로파일] file OSS 10111 2013-01-18
67 Apache Hive 0.9.0 [솔루션 프로파일] file OSS 6997 2013-01-18
66 Apache ZooKeeper 3.4.4 [솔루션 프로파일] file OSS 9658 2013-01-14
65 Eucalyptus 3.1.1 [솔루션 프로파일] file OSS 9099 2013-01-07
64 HBase 0.94.1 [솔루션 프로파일] file OSS 7548 2013-01-07
63 OpenStack Essex(2012.1.2) [솔루션 프로파일] file OSS 15632 2013-01-07
62 Cassandra 1.1.3 [솔루션 프로파일] file OSS 16199 2012-08-16