열린마당
2012년 12월 13일 (목)
ⓒ 블로터닷넷, 이지영 기자 izziene@bloter.net
“국내 시장에서는 빅데이터에 대해 어떻게 생각하는지부터 파악하기 위해 노력했습니다. 그 결과 KT클라우드웨어는 한국형 빅데이터 시장에 가장 최적화된 빅데이터 플랫폼을 제공한다고 자부합니다.”
한국형 빅데이터라니, 처음엔 조윤환 KT클라우드웨어 팀장이 무슨 말도 안되는 소리를 꺼내나 싶었다. 한국형 클라우드를 비롯해 ‘한국형’이란 단어를 붙여 성공한 서비스나 솔루션 사례를 만나긴 쉽지 않다. 전세계적으로 인기를 끌고 있는 빅데이터에 ‘한국형’이라는 게 따로 존재할 수 있기나 한 걸까. KT클라우드웨어가 빅데이터가 아닌 ‘삐꾸데이터’를 준비하고 있는게 아닌가 걱정도 됐다.
문득 지난해 이맘때가 떠올랐다. KT는 2011년 12월15일 클라우드 솔루션 개발 전문 회사인 ‘KT클라우드웨어’를 공식 출범하면서 지금과 똑같은 우려의 시선을 받았다. 대용량 분석저장 처리기술업체인 넥스알과 계열사인 KT이노츠를 통합해 자회사를 설립했지만, 대체 어떤 서비스를 만들어 낼 것인지에 대한 설명은 없었다. 그렇지만 현재 클라우드웨어는 국내에서 클라우드와 빅데이터 관련 솔루션을 보유하고 있는 몇 안 되는 회사로 자리잡았다. ’한국형 빅데이터’란 말은 꺼낸 이유가 있을 터, 색안경을 벗고 조윤환 팀장 설명에 귀를 기울여보자.
한국형 빅데이터=국내 기업이 원하는 빅데이터
“해외와 국내, 각각 빅데이터에 대해 접근하는 시각은 엄연히 다릅니다. 운영환경이 다르지요.”
‘한국형 빅데이터’에 대한 조윤환 팀장의 입장은 단호했다. 그는 국내 빅데이터 시장은 자신들이 기술을 익혀서 직접 다루는 엔지니어가 많은 해외 시장과 엄연히 다르다고 설명했다. 하둡을 직접 도입해 다룰 수 있는 인력이 적다보니, 하둡 그 자체에 대한 공부보다는 하둡을 몰라도 다룰 수 있는 빅데이터 플랫폼에 관심을 가지는 기업 수요가 더 많다고 덧붙였다. 그렇기에 KT클라우드웨어는 외산업체들이 빅데이터를 얘기할 때 주로 거론하는 크기·용량·속도 등 3V, 때론 가치를 더해 4V로 대표되는 정의 중심에 빅데이터는 국내 시장에 적합하지 않다고 내다봤다. ‘한국형 빅데이터’를 꺼낸 배경이다.
“빅데이터 처리를 원하는 기업에겐 ‘당신은 충분히 큰 데이터를 갖고 있지 않으니 빅데이터 분석 처리와 분석을 할 수 없습니다’라고 말하는 건 옳지 않다고 봅니다. 빅데이터는 데이터만 말하는 게 아닙니다. 하나의 데이터 처리 기술입니다.”
KT클라우드웨어는 오픈소스 하둡과 NoSQL, 기존 관계형 데이터베이스(RDB) 기술 등을 엮어 이것으로 처리할 수 있는 데이터를 빅데이터로 보았다. 기존 데이터웨어하우스(DW) 중심의 데이터 처리 환경에서 데이터 저장 방식은 RDB로, 처리해야 할 데이터 크기가 늘어나거나 형태가 복잡해지면 데이터 처리와 분석 비용이 기하급수적으로 늘어나는 문제가 있다. KT클라우드웨어에게 빅데이터는 이를 저렴하게 처리할 수 있게 도와주는, 일반 기업이 선뜻 다루기엔 조금 까다로운 기술일 뿐이다.
“KT클라우드웨어는 R과 하둡, 아파치 하둡 커미터 등 100명 이상의 전문 엔지니어를 보유하고 있습니다. 이런 인력을 바탕으로 빅데이터 통합 플랫폼을 만들고 자체 개발해 제품부터 분석까지 엔드투엔드 서비스를 제공합니다.”
하이브리드 빅데이터 플랫폼부터 도입해야
KT클라우드웨어는 정형 데이터 분석과 리포팅엔 기존 DW를, 대용량 데이터 분석과 리포팅엔 하둡, 분산겁색, H베이스, 하이브, R바탕의 넥스알 빅데이터 분석 플랫폼(NDAP)을 활용한다. 하둡 같은 빅데이터 기술을 도입한다고 해서 기존 RDB 환경을 완전히 없애는 게 아니라, 기존 RDB 환경도 유지하면서 빅데이터 플랫폼을 수용한 하이브리드 형태를 만들었다.
조윤환 팀장은 상세통화내역(CDR), 콘텐츠 이용 데이터, 기기 데이터(M2M) 등 자잘한 로그 데이터가 많이 발생하는 분야에서는 하둡을 사용한 빅데이터 플랫폼을, 그 외 기업 인사관리, 고객데이터 등은 RDB로 분석하는 하이브리드 플랫폼이 국내 빅데이터 환경에 적합하다고 보았다. 하둡은 저가의 x86서버에서 운영되는 만큼, 확장성이 요구되는 서비스에 도입해야 효율적으로 이용할 수 있다는 설명도 덧붙였다.
“하둡이 무조건 데이터 분석에 있어 좋은 건 아닙니다. 여전히 기업이 처리하는 데이터 중엔 기존 DW에 적합한 데이터들이 많습니다. 섣불리 빅데이터 플랫폼을 도입하기보다는 로그 분석은 빅데이터로, 기업 데이터를 DW로 하는 하이브리드 빅데이터 플랫폼부터 도입하는 게 좋다고 생각합니다.”
근거없는 이론이 아니다. KT클라우드웨어는 자사 빅데이터 플랫폼을 KT 서비스에 도입해 실제로 효과를 보았다. 기존에 KT는 오라클 RAC 기반 HP 슈퍼돔을 이용해 CDR을 분석했다. 그러나 스마트폰 사용자가 늘어나고 CDR 데이터가 복잡해지고 크기가 커지면서 데이터를 추출하고 처리할 때마다 병목현상을 겪었다. 현업에서는 데이터 활용을 위해 계속해서 시스템으로 명령문을 날리는데 제때 실행되지 않아 명령문이 쌓이고, 데이터 처리에 오랜 시간이 걸렸다.
“하이브리드 형태로 플랫폼 구축한 이후 최대 2페타바이트(PB)까지 데이터가 늘어난다고 가정했을 때, 기존 데이터 처리 구조보다 88% 비용 절감 효과를 누릴 수 있는 것으로 나타났습니다. 물론 엑사데이터 등 고성능 DW를 도입할 수 있지만, 비용대비 효율적이진 않지요.”
KT는 하이브리드 빅데이터 플랫폼 구축을 통해 앞으로 5년간 시스템 설치와 운영 비용이 567억원 가량 절감될 것으로 기대하고 있다. 향후 이 플랫폼을 사내 확대 적용해 데이터를 관리하고 처리할 방침이다. KT클라우드웨어는 2013년에는 빅데이터 인프라를 증설해 계열사와 외부 데이터를 융합해 유선데이터를 비롯해 분석 대상을 확대할 계획이라고 밝혔다.
하이브리드 빅데이터 플랫폼에 대한 성능도 입증됐겠다, 이제 KT클라우드웨어 빅데이터 플랫폼에 남은 숙제는 하나다. 누구나 하둡을 도입한다 해서 데이터를 원활하게 처리할 수 있는게 아닌만큼, 쉽게 만드는 일이 남았다.
“하둡 전문 인력이 있어야 가능한 일이지요. KT클라우드웨어는 국내 기업들이 하둡을 몰라도 하둡을 이용한 데이터 처리 기술을 이용할 수 있을 정도로 쉽게 빅데이터 플랫폼을 만들어 나가려고 합니다.”
※ 본 내용은 (주)블로터 앤 미디어(http://www.bloter.net)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 블로터 앤 미디어. 무단전재 및 재배포 금지
[원문출처 : http://www.bloter.net/archives/137264]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 293339 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 283973 | 2020-10-27 |
| 643 | 델, 오픈스택 기반 퍼블릭·프라이빗 클라우드 청사진 발표 | 4823 | 2012-12-18 |
| 642 | [2012결산]BYOD, B2B SW업체를 'B2C'로 | 5883 | 2012-12-18 |
| 641 | 2012년을 빛낸 오픈소스 프로젝트 10선 (2) | 5583 | 2012-12-18 |
| 640 | 2012년을 빛낸 오픈소스 프로젝트 10선 (1) | 4959 | 2012-12-18 |
| 639 | [해외] Dell builds private cloud on OpenStack, offers test drive | 4815 | 2012-12-18 |
| 638 | [해외] Red Hat Enterprise Virtualization 3.1 edges closer to vSphere, Hyper-V | 5415 | 2012-12-18 |
| 637 | 2012년 디지털 데이터양 전년比 55%↑ 2.8ZB | 4719 | 2012-12-18 |
| 636 | KT클라우드웨어 “빅데이터도 한국형으로” | 4995 | 2012-12-18 |
| 635 | [주간 클라우드 동향] 클라우드 내년에도 IT업계 주요화두 | 5160 | 2012-12-17 |
| 634 | “노트북 대신 스마트폰” Y세대의 컴퓨팅 변화 뚜렷 : 시스코 | 4903 | 2012-12-17 |
0개 댓글