본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

빅데이터 수집 분야 공개SW Stack 통합테스트 결과 보고

OSS 게시글 작성 시각 2013-07-09 16:36:44 게시글 조회수 3662

공개SW Stack 통합테스트는 여러 공개SW들의 조합으로 시스템 Stack을 구성한 후 Stack을 구성하는 공개SW의 상호운용성에 중점을 두고 기능 및 성능테스트 시나리오를 개발하여 테스트를 진행한다.

 

지난 해에 이어 공개SW Stack 통합테스트는 빅데이터를 시작으로 보안, 모바일, 클라우드 분야에 걸쳐 테스트를 진행할 예정으로, 우선 빅데이터 수집 소프트웨어인 Flume과 Chukwa에 대해 Stack 통합테스트를 진행하였다.

 

 

Flume

Flume은 클라우데라에서 개발된 공개SW 로그 수집 소프트웨어로 아파치 인큐베이터를 통하여 안정화를 거치며 Flume-NG로 명명되었으며, 데이터 수집을위한 프레임워크로 다양한 로그 데이터 수집 및 모니터링이 가능하고 실시간 전송을 지원한다. 자바로 구현되어 있기 때문에 다양한 운영체제에 설치가 가능하고, 노드의 추가 및 관리가 손쉽고 분산처리 시스템의 로그 수집에 적합하여 Hadoop과 잘 어울린다.

 

chukwa

Chukwa는 하둡 프로젝트의 서브프로젝트로 진행중인 공개SW 프로젝트로 분산된 서버의 로그를 하둡 파일 시스템에 저장하고 하둡맵리듀스를 이용해 로그의 분석을 수행하는 솔루션이다. 척와는 범용적인 로그 수집과 로그 관리를 위한 솔루션으로 개발됐지만 하둡 클러스터의 로그와 서버의 상태 정보를 관리하는 기능도 들어있다. 하둡 역시 분산된 환경에서 수십 ~ 수천 대 규모로 운영되기 때문에 하둡 데몬에서 출력하는 로그와 사용자가 수행시킨 작업에서 출력하는 로그는 각 서버에 저장된다. 하둡을 이용해 작업을 수행하다 보면 사용자 로그를 보기위해 여러노드를 접속 해야하는 불편함이 있는데, 척와를 이용하면 쉽게 로그를 수집할 수 있다.

 

 

각 공개SW Stack 통합테스트 결과는 아래의 링크를 통해 확인해 볼수 있다.

 

 

[빅데이터 수집 분야] 2013 공개SW Stack 통합테스트(Flume)

 

[빅데이터 수집 분야] 2013 공개SW Stack 통합테스트(Chukwa)

 

맨 위로
맨 위로