열린마당
2012년 12월 19일 (수)
ⓒ 블로터닷넷, 이지영 기자 izziene@bloter.net
올 한해 업계 최대 화두를 꼽으라면 당연 빅데이터다. 다양한 분야에서 무수하게 쏟아지는 빅데이터를 어떻게 처리하고 분석하냐에 따라 기업의 미래가 달라질 수 있다는 얘기가 나올 정도다.
이 과정에서 빅데이터를 효율적으로 처리하는 기술인 하둡도 떴다. 해외에선 야후, 페이스북, 트위터, 구글 등 유명 기업들은 대용량 데이터를 분산 처리할 수 있는 하둡 솔루션을 도입하는 등 빅데이터 시대를 준비하고 있다. 클라우데라, 호튼웍스 등 하둡 솔루션 업체는 벤처캐피털로부터 투자를 받으며 데이터 처리 기술력을 키워나가고 있다.
국내 사정은 어떨까. 아쉽게도 빅데이터 처리의 표준으로 자리잡았다는 하둡을 얘기하는 곳은 손에 꼽을 정도다. 대부분 오라클, IBM, SAP 등 외국계 기업의 데이터웨어하우스(DW) 솔루션을 도입했다거나 구축했다는 사례만 들릴 뿐이다. 이러다가 국내에선 외산 DW 중심의 말로만 빅데이터 시장이 열리는 게 아닐까 걱정되는 수준이다.
“내년에 국내에서 제대로 빅데이터 시장을 띄우지 못하면, 앞으로 평생 해외 솔루션 눈치만 봐야할지도 모르겠다.”
권영길 그루터 대표는 “빅데이터라는 개념이 등장하면서 국내 기업도 내부 데이터와 외부 데이터를 함께 이용해 데이터를 분석하고 처리해야 다른 서비스와 경쟁이 되는 시대가 왔다”라며 “지금처럼 전통적인 엔터프라이즈 시스템만 구축할 경우 해외 기업과의 경쟁력에서 뒤처지게 된다”라고 일침을 놓았다.
권영길 대표는 국내에서 손꼽히는 빅데이터 전문가 중 한 명이다. 그루터가 개발한 빅데이터 플랫폼인 ‘클라우몬’과 ‘쿠바’는 호튼웍스 카터 산클린 제품 관리 이사가 트윗으로 인정할 정도다.
클라우몬은 하둡 생태계를 이루는 각 개별 요소에 대한 모니터링 기능뿐만 아니라 하둡의 파일·작업관리, 주키퍼의 노드 관리, 플럼의 데이터 플로우 관리, 하이브 쿼리 워크벤치 등과 같은 관리 기능을 제공하는 플랫폼으로 여기에 빅데이터 플랫폼인 쿠바와 연동하면 웹 환경에서 데이터 플로우를 제어할 수 있다.
“기존 DW 솔루션이 잘못됐다고 말하는 것은 아닙니다. 다만 수억원을 들여 해결할 수 있는 도구가 있음에도 불구하고, 기존 습관을 유지하자고 수십억원을 들일 필요가 없다는 말을 하고 싶을 뿐이지요. 내년엔 기업들이 외산 솔루션 업체들의 사탕발림에 속아 빅데이터가 아닌 ‘삐꾸데이터’를 다루는 일이 없었으면 합니다.”
해외에서는 2003년부터 구글이 구글파일시스템(GFS)과 분산 데이터베이스인 빅데이블에 대한 논문을 잇따라 발표했고, 구글 논문에 자극을 받은 개발자들이 대용량 데이터 저장과 처리를 위한 오픈소스 기술을 개발하기 시작했다. 하둡분산파일시스템(HDFS), 분산데이터베이스(HBASE) 등이 대표적이다. 해외 개발자들은 약 10여년에 걸쳐 빅데이터 처리를 위한 기술을 연마했다. 국내에서는 2009년 일부 개발자들이 하둡을 배우고 이를 전파했다.
“하둡과 하둡 에코 시스템은 대부분 오픈소스로 구성돼 있습니다. 빅데이터 처리 기능은 강력하지만 각각의 솔루션 관리와 모니터링 기능은 기존 DW 솔루션과 비교하면 취약하지요. 그리고 각 오픈소스를 하나의 관리도구에서 통합 관리하는 건 쉬운 일이 아닙니다.”
지난해부터 불기 시작한 빅데이터 열풍에도 오픈소스 하둡을 제대로 다루는 국내 개발자가 부족한 건 이 때문이다. 동시에 빅데이터를 말하는 기업은 많지만 정작 빅데이터를 다루는 기업은 적고 DW 도입 사례만 많은 배경이기도 하다. 하둡의 편리성은 알지만 어렵고, 일단 급한 빅데이터 불을 꺼야 하다보니 자연스레 외산 업체들이 DW가 빅데이터 솔루션이라 위장돼 시장에 도입되기 시작했다.
“국내 기업은 빅데이터에 대한 개념부터 다시금 차근히 따질 필요가 있습니다. 기존처럼 값비싼 돈을 주고 데이터를 분석하는 게 빅데이터일까요. 아닙니다. 빅데이터에 있어서 가장 중요한 건 ROI, 저렴한 비용으로 데이터를 분석하는 데 있습니다.”
빅데이터는 데이터 종류는 말하는 게 아니다. 하나의 흐름이다. 과거에도 슈퍼컴퓨터처럼 대용량 데이터를 처리하는 기술이 있었다. 빅데이터는 저렴한 비용으로 빠르지는 않지만 효과적으로 대용량 데이터를 처리할 수 있어야 한다.
권영길 대표는 “빅데이터 본연의 의미를 잊지 말아야 한다”라며 “지금 각 기업이 도입하고 있는 게 빅데이터인지, 그냥 대용량 데이터인지 곰곰히 생각해 제대로 된 빅데이터 시장을 만들어 나가야 한다”라고 강조했다.
※ 본 내용은 (주)블로터 앤 미디어(http://www.bloter.net)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 블로터 앤 미디어. 무단전재 및 재배포 금지
[원문출처 : http://www.bloter.net/archives/136572]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 298218 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 288239 | 2020-10-27 |
| 656 | 오라클, ARM용 자바 SE8 프리뷰 공개 | 5475 | 2012-12-21 |
| 655 | 가장 유용한 클라우드 관리 툴 16가지 | 5886 | 2012-12-21 |
| 654 | MS, 마이그레이션 시장서 리눅스 진영과 '대결' | 5429 | 2012-12-21 |
| 653 | 가장 유용한 클라우드 데이터베이스 10선 | 5195 | 2012-12-21 |
| 652 | [선택2012]박근혜 당선인 ICT정책 공약 | 5425 | 2012-12-20 |
| 651 | 한국레드햇, 여러서버에서 동시에 여러 가상머신 운용 | 4748 | 2012-12-20 |
| 650 | 그루터 “제대로 된 빅데이터 도입할 때” | 5151 | 2012-12-20 |
| 649 | 실리콘밸리 총아 ‘빅스위치네트웍스’, 한국 SDN 시장 진출한다 | 5840 | 2012-12-20 |
| 648 | 25달러 라즈베리파이PC 전용 앱스토어 열려 | 5368 | 2012-12-18 |
| 647 | 위키피디아, 마이SQL 걷어낸다 | 5082 | 2012-12-18 |
0개 댓글