본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

스플렁크, '하둡'의 대항마 될까?

OSS 게시글 작성 시각 2012-11-08 16:18:32 게시글 조회수 5341

2012년 11월 08일 (목)

김관용 기자 kky1441@inews24.com



스플렁크, 하둡의 안정성 및 기술자 부족 문제 보완

빅데이터 시대를 맞아 대용량 분산 처리 기술인 '하둡'이 핵심 기술로 각광받고 있지만, 오픈소스의 안정성 문제와 관련 기술 인력 부족 등이 이슈가 되면서 스플렁크가 하둡의 '대항마'로 떠오르고 있다.

하둡이란 분산 시스템 상에서 대용량의 데이터 처리와 분석을 지원하는 오픈소스 소프트웨어다. 구글이 개발한 맵리듀스를 오픈소스로 구현한 결과물로 원래 야후에서 최초로 개발됐다. 현재는 아파치 소프트웨어 재단의 한 프로젝트로 관리되고 있다.

하둡은 로그 분석 데이터나 이벤트 데이터, 검색엔진 결과, 소셜 미디어 사이트의 콘텐츠 등의 방대한 비정형 데이터를 수집하고 처리할 수 있도록 하는 분산 처리 기술을 제공한다.

따라서 전통적인 관계형 데이터베이스관리시스템(DBMS)으로는 한계가 있는 페타바이트(PB)급 이상의 비정형 데이터의 수집과 분석에 활용되고 있다. 특히 오픈소스 기반이기 때문에 가격이 저렴하다는 장점을 갖고 있다.

하둡은 구글과 야후, 페이스북, 트위터, 아마존, 이베이 등의 인터넷 서비스 기업들이 도입해 사용하면서 기술 검증을 받았다. 이에 따라 빅데이터 솔루션 기업들은 저마다 하둡을 지원하는 제품들을 출시하고 있다. 국내 IT기업들도 주로 하둡을 탑재한 빅데이터 솔루션을 제안하고 있다.

그러나 하둡은 오픈소스라는 특성상 기술 지원의 한계가 있다. 기업에서 하둡을 도입해 빅데이터 플랫폼을 만들어도 기업 내부 시스템과 연동되지 않으면 쓸모가 없다. 사용도중 오류가 생겨도 해결할 방법이 마땅치 않다. 하둡의 경우 벤더가 지원하는 제품이 아니기 때문에 커뮤니티에서 일정부분 기술 지원을 받기는 하지만 신뢰성을 담보할 수 없는 것이다.

또한 하둡을 활용할 만한 기술자가 많지 않다는 문제도 있다. IT시장 조사기관인 벤타나 리서치(Ventata Research)가 160개 기업을 조사한 보고서에 따르면, 응답자들이 하둡의 가장 큰 문제점으로 기술 인력의 부족을 지적했다.

국내에서도 하둡 개발자가 부족한 것은 마찬가지다. 네이버나 다음 등의 인터넷 서비스 기업과 대기업 일부만 하둡 개발자를 보유하고 있는 실정이다.

이같은 하둡의 문제점 때문에 최근 대안으로 떠오르고 있는 것이 스플렁크다.

스플렁크는 미국 캘리포니아에 본사를 두고 있는 기업으로 IT자원을 수집하고 인덱싱해 시스템의 취약한 부분이나 장애 원인, 서비스 지연 요소 등을 찾아내는 솔루션을 제공하고 있다.

이같은 스플렁크는 빅데이터가 시장에서 화두가 되면서 단순한 로그분석에서 벗어나 다양한 기기들에서 발생하는 크고 복잡한 데이터를 관리할 수 있는 솔루션으로서 자리잡고 있다.

실제로 미국 언론들은 스플렁크를 '빅데이터 분야 선두주자(first mover)'라고 평가하고 있다. 스플렁크는 지난 5월 기업 상장에 성공하면서 시가총액 33억달러를 달성, 세계 100대 소프트웨어 기업에 오르기도 했다.

스플렁크는 지난 2006년 첫 제품 출시 이후 전세계 80개국 4천400개 이상, 아시아에서만 600여개의 고객사를 확보했으며, 국내에서도 70여개의 고객을 보유하는 등 그 기술력을 인정받고 있다.

스플렁크가 빅데이터 솔루션으로 각광받는 이유는 데이터를 분류하고 검색하는 인덱싱 기술 때문이다. 스플렁크는 정형, 비정형, 반정형 데이터에 상관없이 대용량의 데이터를 실시간으로 수집하고 검색할 수 있도록 지원한다. 빅데이터의 실시간 수집 및 검색은 스플렁크가 유일하다. 특히 수집한 데이터를 검색해 결과물을 도출하는 시간이 매우 적게 걸린다는 것도 강점이다.

최근 발표된 스플렁크 5.0 버전은 인덱싱 결과를 리포팅하는 속도가 기존 4.3 버전에서 20분 이상 걸리던 게 1분 이내로 단축됐다. 인덱서도 이중화해 하나의 인덱서 시스템에 문제가 생겨도 나머지 인덱서가 기능을 수행해 안정적인 데이터 수집 및 검색 작업을 지원하고 있다.

또한 스플렁크는 오픈소스인 하둡의 신뢰성 문제를 해결해 스플렁크에 저장된 데이터를 하둡에 안전하게 저장하고, 거꾸로 하둡에서 스플렁크로 데이터를 가져와 안정적으로 분석할 수 있도록 한다.

그러나 스플렁크의 단점은 데이터 수집과 검색, 리포팅 기능까지 빅데이터 전 영역을 포괄하고 있기는 하지만, 분석 기능은 제공하고 있지 않다는 점이다. 이에 따라 스플렁크는 다른 분석 제품과의 연동을 통한 솔루션을 제안하고 있다.

조용대 스플렁크 코리아 지사장은 "스플렁크는 수많은 데이터에서 그동안 보지 못했던 통찰력과 가치를 발견하도록 돕는다는 빅데이터 개념에 충실한 제품"이라면서 "빅데이터 하면 하둡을 생각하지만, 스플렁크는 오픈소스의 안정성과 기술 인력 문제를 해결한 빅데이터 솔루션"이라고 말했다.



※ 본 내용은 (주)아이뉴스24(http://www.inews24.com)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 아이뉴스24. 무단전재 및 재배포 금지



[원문출처 : http://news.inews24.com/php/news_view.php?g_serial=703081&g_menu=020200&rrf=nv]

맨 위로
맨 위로