KT 유클라우드, 빅데이터 분석 서비스 출시

KT가 자사 클라우드 서비스인 유클라우드를 이용해 대용량 데이터를 손쉽게 처리하고 분석할 수 있게 돕겠다고 나섰다. 클라우드 서버에 하둡과 같은 빅데이터 플랫폼을 얹은 ‘유클라우드 비즈 맵리듀스’로 말이다.

이정석 KT클라우드추진본부 상무는 “기업이 관리해야 할 데이터 정보의 단위가 제타바이트(ZB)까지 확장되고 있다”라며 “맵리듀스 서비스 출시로 기업들이 다양한 분야에서 빅데이터 분석을 통해 새로운 서비스를 창출할 수 있게 돕겠다”라고 말했다.

1ZB는 DVD 2500억개에 달하는 분량으로 실로 어마어마한 양이다. 지금까지 기업들은 하드 디스크에 적게는 수 테라바이트(TB)에서 페타바이트(PB)에 이르는 웹 로그 같은 데이터들을 쌓아두고 있었지만 제대로 활용하지 못했다. 전통적인 데이터 처리 방식인 데이터베이스(DB) 기반 처리로는 대량의 데이터를 사용자 다수가 동시에 처리해 정합성은 보장받을 수 있으나, 비용이 많이 들어가기 때문이다. 또 다른 데이터 처리 방식인 파일 기반 처리는 저비용으로 정보 저장이 가능하나, 동시 사용자 처리가 어렵고 정합성 보장이 어렵다. 대용량 데이터 처리에 시간이 오래 걸린다.

KT는 이번 신규 서비스를 준비하면서 많은 고민을 했다고 밝혔다. 경제성과 SQL 호환성을 고려한 동일한 처리 결과, 확장성과 비정형 데이터 등 신규 데이터를 분석할 수 있어야 했다. KT는 이를 오픈소스 하둡과 분산 검색, 하이브, 알(R)을 통해 해결했다. 하둡은 대량의 데이터를 분산 저장하고 병렬처리하기에 저비용으로도 대량의 데이터를 빠르게 처리할 수 있게 돕는다.

그 결과 유클라우드 비즈 맵리듀스 서비스는 기존 DB 방식으로는 처리하기 어려운 방대한 데이터를 간단한 명령어 입력을 통해 클라우드의 여러 개의 컴퓨터에서 분산해 분석한다. 여기에 비정형화된 의미 없는 데이터에서도 해서도 고객이 원하는 정보를 손쉽게 산출할 수 있다.

▲KT 클라우드웨어와 넥스알이 지난 5월 ‘오픈 클라우드&빅데이터 2012’에서 소개한 유클라우드 분석 플랫폼 초기 모습.

KT는 유클라우드 비즈 맵리듀스 서비스를 클라우드 소프트웨어(SaaS)와 클라우드 플랫폼 서비스(PaaS)로 제공할 방침이다. 고객 요청으로 하둡이 설치된 가상머신을 적용하는 식이다. 단순한 분석 서비스는 SaaS로, 좀 더 복잡한 분석 서비스는 고객이 직접 스크립트를 작성해 분석할 수 있다. 가상머신을 만들어 놓고 필요할 때마다 사용자가 하둡에 데이터를 넣은 뒤, 맵 리듀스로 데이터를 분석하는 식이다.

겉보기엔 아마존 분석 서비스(EMR)와 비슷하지만, 차이가 있다. KT는 “유클라우드 비즈 맵리듀스 서비스는 가상머신의 운영체제가 사용하는 데이터 블록 스토리지에서 직접 데이터를 불러온다”라며 “그 덕에 별도의 스토리지인 S3에서 데이터를 긁어오는 아마존 EMR보다 데이터 접근 속도가 더 빨라 쉽게 데이터를 처리하고 분석할 수 있다”라고 설명했다.

KT는 앞으로 하둡 외에도 데이터 처리와 분석에 필요한 다양한 오픈소스 플랫폼을 도입할 예정이다. 카산드라, 몽고DB, 리악(riak) 등을 지원할 생각이다. 신규 서비스에 대한 자세한 소개와 신청은 9월28일부터 유클라우드 비즈 사이트를 통해 확인할 수 있다. 서비스 가격은 기존 유클라우드 서버와 서비스 가격을 그대로 적용한다. 즉, 유클라우드 서버 가격에 하둡 서비스를 무상으로 제공할 방침이다.