[빅데이터1년] KT클라우드웨어 “눈높이 기술 보급”

“아무리 하둡이 좋다고 고객에게 설명해도, 정작 고객은 기술 중심의 빅데이터 플랫폼을 이해하지 못합니다. 데이터를 어떤 방법으로 저렴하고 빠르게 처리할 수 있는지 그 결과만을 궁금해할 뿐이지요. 하둡이 빅데이터 처리 부문에서 큰 비중을 차지하는 건 맞지만, 모든 문제를 해결하는 건 아닌만큼 고객이 사용할 수 있는 솔루션과 플랫폼을 만드는 게 중요하다고 생각했습니다.”

한재선 클라우드웨어 최고기술경영자(CTO)가 택한 빅데이터 시장 접근 방법은 ‘고객’이다. 오라클, 테라데이타, EMC 같은 외산 제조업체만을 최고로 외치는 국내 기업에게 제대로 빅데이터를 알려주려면 ‘하둡’과 같은 기술이 필요하다는 걸 알리기 이전에 해당 기술을 사용해도 고객이 원하는 결과를 얻을 수 있다는 신뢰감을 보여주는 게 더 중요했다.

이를 위해 KT클라우드웨어는 지난해 동종업계 원성까지 감수하며 ‘무료 신기술증명(POC)’에 나섰다. 국내 기업에게 제대로 된 빅데이터 처리와 분석 방법을 알려주기 위해서다. 그러나 이 역시 쉽지 않았다. POC 역시 고객 자원이 들어가는 일이다. 이를 수행하려면 최소한 한 달은 현업 담당자가 자신의 업무도 처리하면서 POC에 필요한 데이터를 수집하고 제공해야 한다. 비용이 들지 않았을 뿐 시간과 수고는 들어간다. 게다가 지난해는 빅데이터 분석을 통해 무엇을 얻을 수 있는지 그 성과도 불분명했다. 확실치 않은 일에 ’무료’라는 말에 혹해 선뜻 POC를 받아들이는 국내 기업은 정작 많이 없었다.

“지난해 주로 한 일은 빅데이터가 중요한 건 알겠는데 이를 가지고 뭘 해야 할지를 모르는 고객을 만나는 일이었습니다. 보유하고 있는 데이터가 무엇인지, 뭘 분석해야 하는지, 분석해서 어디에 써먹을 수 있는지를 고민하는 기업이 많더군요. 이 상황을 다 무시하고 ‘빅데이터 분석하세요’라고는 말하기 부담스럽잖아요.”

‘고객’ 눈높이 맞추기부터

다양한 매체에서 빅데이터를 외친 것과 달리, 막상 빅데이터를 이해하는 기업을 만나긴 쉽지 않았다. 상황이 바뀐건 지난해 11월께부터다. 기업들이 예산 편성을 진행하면서 빅데이터 프로젝트게 관심을 보이기 시작했다. 이론으로 빅데이터를 터득하는 게 아니라, 빅데이터를 통해 수익을 얻고자 하는 기업이 늘어나기 시작했다.

KT클라우드웨어는 빅데이터 분석 플랫폼을 갖춘 국내 몇 안 되는 업체 중 하나다. 빅데이터 시장에 등장한지는 2년 밖에 되지 않았지만, 클라우드웨어의 전신인 대용량 분석저장 처리기술업체인 넥스알의 기술을 고스란히 소화해 엔답(NDAP)이라는 빅데이터 플랫폼을 갖췄다.

NDAP은 빅데이터 분석을 위한 모든 작업과 실시간 데이터 질의를 처리할 수 있는 소프트웨어 플랫폼이다. ANSI SQL을 기본 언어로 사용하기 때문에 기존 데이터베이스(DB)나 데이터웨어하우스(DW)에서도 무리없이 새로운 DB·DW 운영환경을 구축할 수 있다. 데이터 증가에 유연하게 대처할 수 있는 스케일 아웃 구조로, 기존 관계형DB 기반의 DW 시스템과 비교해 확장이 쉽고 비용이 저렴한 게 특징이다.

게다가 클라우드웨어는 오픈소스 통계분석 도구인 R과 대용량 분산 DW 시스템인 하이브를 결합해 빅데이터 고급 분석 플랫폼 R하이브도 개발했다. R하이브는 하둡과 같은 분산처리시스템 기반의 데이터 분석 솔루션과 비교해 군집 분석, 회귀분석, 기계 학습, 이상징후예측분석, 시계열 분석 등의 고급 분석을 보다 쉽게 처리할 수 있다.

클라우드웨어의 빅데이터 플랫폼은 대체로 사용자 편의성에 초점을 맞춰 개발된 흔적이 엿보인다. 데이터를 다룰 때 개발자들이 익숙해하는 SQL과 R, 하이브 등을 이용한 것만 봐도 알 수 있다.

고기 잡는 방법도 함께 가르치자

한재선 CTO는 빅데이터 처리와 분석 과정을 고객에게 떠넘기지 말라고 강조한다. 고객은 데이터를 기술적으로 어떻게 다뤄야 하고, 이를 가지고 어떤 가능성을 발굴할 수 있는지에 대한 생각이 아직 부족하다.

“아무리 고객 앞에서 기술을 외쳐봤자 고객은 이해하지 못합니다. 고객 수준에서 맞춰야 하지요. 그래야 시너지가 발생합니다. 뭔가 데이터를 쌓아두면 가치가 생길 거라고 하는데, 안 생기면 어떻게 할 건가요.”

그래서 클라우드웨어는 눈높이를 낮췄다. 고객이 갖고 있는 시스템이 아닌 데이터의 본질을 살핀다. 데이터를 어떤 형식으로 담고, 어떻게 분석할 것인지 얘기한다. 고객 사업 담당자와 함께 말이다.

“모두 하둡 전문가가 있어 가능한 일입니다. 클라우드웨어는 하둡과 같은 오픈소스를 직접 설치해 보고 운영해, 필요하면 문제해결도 해보고 하둡 하이브와 R을 사용해본 인력이 있습니다.”

클라우드웨어는 제품 개발팀 외에도 약 20명으로 구성된 현장 전문가 팀도 따로 있다. 외산 제조업체 어플라이언스를 산다고 해서 바로 빅데이터 분석이 이뤄지는 건 아니다. 현장 전문가는 해당 장비를 고객사에 맞게 튜닝하고 구축한다. 기업이 예전에는 수집하지 않았던 트랜잭션 데이터를 어떻게 수집해야 하는지를 알려준다. 데이터를 어떻게 쌓고, 쿼리는 어떻게 짜야 하는지, 분석 모듈을 생성하는 방법까지 안내한다. 빅데이터 시스템이 중요하다고 해서 도입했는데 2~3년 지나면 모은 데이터를 어디에 쓸지 몰라 헤매는 피해 고객을 만들지 않기 위해서다.

“그 결과 제조업체와 보안 분야에서 대용량 데이터 분석에 관심을 보이고 있습니다. 제조는 품질분석이나 수율관리를 통해 불량율을 조금 낮춰도 비용절감과 바로 연결이 됩니다. 보안은 보관해야 할 보안로그 데이터가 늘면서 하둡으로 저장하는 법을 고민중이고요. 이런 사용법을 고객에게 알려주는 것도 빅데이터 업체의 일이 아닐까 싶습니다.”