[엔터프라이즈 IT, 속도와의 전쟁③] 빅데이터도 결국 이기종 연동의 문제

국내 엔터프라이즈 IT시장에서 ‘속도’가 중요한 화두로 떠오르고 있다. 기업이 IT를 통해 업무 효율성과 즉시성을 달성한다는 명제는 물론 과거에도 지금과 크게 다르지 않았다.하지만 최근 기업환경 변화가 맞물려 속도 개선에 대한 기업들이 눈높이가 높아지고 있고. 여기에 IT업체들이 적극적으로 부응하면서 시장의 관심이 집중되고 있다.

대고객 편의성의 제고, 신상품 출시와 같은 빠른 시장 대응력, 시장 트렌드를 읽어내야하는 빅데이터 분석의 문제 등 최근 제시되고 있는 대부분의 현안들도 결국은 물리적 개념의 속도에서 차별화가 시작된다.

<디지털데일리>는 IT시장에서‘속도’가 갖는 의미를 중심으로 최신 IT시장의 동향을 3회에 걸쳐 분석해 본다.<편집자 주>  

<글싣는 순서>

[엔터프라이즈 IT, 속도와의 전쟁①] 금융권의 화두, 로우 레이턴시

[엔터프라이즈 IT, 속도와의 전쟁②] 스토리지 업계, 플래시에 빠지다

[엔터프라이즈 IT, 속도와의 전쟁③] 빅데이터 분석, 이기종 간 속도경쟁 본격화

<사진>전세계적으로 자본시장 거래의 속도전이 본격화되고 있다. 거래시스템 속도에서 밀리면 국제 자본시장의 큰손을 놓칠 수 밖에 없다. 사진은 2012년 5월, 한국거래소가 수출계약을 통해 완성한 필리핀 자본시장거래시스템 개장 기념식.

IT시장을 견인하고 있는 빅데이터 이슈에서 가장 핵심은 역시 '실시간 분석'이다. 특히 기업들의 의사결정에 ‘속도’가 중요해지면서 이러한 의사결정을 뒷받침하기 위한 ‘분석 속도’도 중요한 관심사가 되고 있다.

기업 리스크 관리에 있어서 ‘예측 분석’은 시스템이 최종적으로 지향하는 단계다. 하지만 그동안 이러한 분석 시스템은 기대에 못미친 것이 사실이다.

따라서 최근 빅데이터 분석에 대해 기업의 관심이 증폭되면서 분석 시스템에 대한 본격적인 투자가 예고되고 있다. 다만 기존의 분석시스템과 달리 빅데이터 환경 아래서의 데이터 분석은 여러 시스템이 연동돼야 한다는 문제를 가지고 있다.

◆“빅데이터 분석, 기존 시스템 환경으론 쉽지않다” = 예를 들어 빅데이터 분석에 있어서 표면적으로 중요한 데이터로 취급되는 비정형데이터의 경우 기존 분석 시스템을 활용하는데 한계가 있다. 

때문에 최근 각광받고 있는 기술인 하둡(Hadoop)과 같은 시스템의 기업 적용이 본격화되고 있는 상황이다. 실제로 하둡과 같은 오픈소스 진영에서는 기업의 빅데이터 분석에 대해 오픈소스 시스템을 통해 모두 대응할 수 있다고 얘기하고 있다.

특히 기업들이 현재 활용중인 기존 데이터분석 시스템은 대용량 분석에 약점을 보이고 있으며 SNS, 영상과 같은 비정형데이터를 분석하는데 필요한 설계 사상도 반영돼있지 않다는 분석이다. 충분히 논리적으로 수긍할만한 부분이다.

하지만 현재 기업의 IT투자 현실을 고려할 때 빅데이터 체제로 기존 시스템을 완벽하게 탈바꿈시키는 것은 거의 불가능하다. 따라서 당분간은 기존 시스템과 빅데이터 분석을 위한 기술이 공존해야 한다는 것이 업계의 관측이다.

또한 기업용 DW(데이터웨어하우스)에 기업에 중요한 핵심 정보가 저장돼있다는 점과 비정형 데이터의 경우 중요 정보를 따로 분리해야 할 필요성이 있어 이를 모두 묶어 관리하는 것은 스토리지 자원의 낭비일 뿐 아니라 분석 효율성 면에서도 좋지 않다는 지적이다. 

결국 빅데이터의 실시간 분석 구현을 위해서는 기존시스템과의 연동 또는 공존의 전략이 필요하다.

◆오픈소스와 기존시스템의 연동, 현실적 과제 = 제로 오라클, IBM, 테라데이타 등 글로벌 벤더들은 기존 시스템과 하둡과 같은 오픈소스 시스템의 완벽한 연동을 추구하고 있다. 특히 이러한 연동을 ‘실시간화(化)’함으로서 분석의 ‘속도’를 확보한다는 계획이다.

예를 들어 하둡에서 비정형데이터를 분석해 정형화된 데이터를 DW로 가져오고 이를 통합 분석한다는 것이다. 빅데이터 분석이 마케팅에 빠르게 적용되기 위해선 이러한 시스템간 연동이 빠르게 반복 수행될 수 있어야 한다는 것이 이들 업체들의 주장이다. 

사전에 정의된 시나리오와 데이터 분석 모델을 바탕으로 한 빠른 현업 적용도 빅데이터 분석 업체들이 강조하고 있는 분야다.  

빅데이터 시스템을 구축하고 무엇을 분석해야 할지 모른다면 시스템 구축의 의미가 퇴색되기 마련이다. 이에 따라 빅데이터 분석을 제공하는 업체들은 현업에 적용 속도를 빠르게 하기 위해 미리 정의된 ‘빅데이터 분석 박스’를 제공한다.

이 박스는 빅데이터 분석 업체들이 그동안 쌓은 산업군별 경험을 토대로 현업에서 가장 관심있어할 만한 빅데이터 질의를 사전 정의, 분류하고 이를 프로세스 화 한 것으로 이를 바탕으로 현업에 빅데이터 분석이 빠르게 정착될 수 있다는 설명이다.