빅데이터 시대의 빅이슈 ‘하둡’

국내 빅데이터 시장이 성장하면서 ‘하둡’에 대한 관심이 또 다시 높아지고 있다. 

하둡은 대용량 데이터 분산 파일 시스템으로 흩어져 있는 데이터를 하나인 것처럼 묶어 데이터를 처리하는 기술이다. 하둡의 등장으로 빅데이터 분석이 본격화됐다는 평가를 받고 있다. 일각에서는 ‘하둡=빅데이터’라고 까지 평하기도 한다.

하둡은 공개SW이기 때문에 예산을 줄일 수 있고 개방성이 높다는 게 장점이다.  하지만 문제는 하둡에 대한 전문인력이 턱없이 부족하다는 점이다. 기업이 하둡을 다룰 수 있는 전문인력을 보유하지 않고 있다면 오히려 인력에 대한 비용이 커지게 된다. 

실제 업계에서는 “하둡을 응용해 다룰 수 있는 고급 기술을 가진 엔지니어들이 부족한 실정”이라고 입을 모은다. 한국정보화진흥원에 따르면 2017년까지 국내에서 빅데이터 전문 인력으로 1만 4000명이 필요하지만 현재 국내 6개 대학원에서 배출되는 인력은 170명 정도에 불과한 것으로 조사됐다. 

이에 맵알테크놀로지스코리아는 ‘맵알 배포판 4.1’ 버전을 출시했다. 이번 신제품은 데이터 아키텍처를 최적화시키는 것은 물론, 민첩하고 확장 가능한 데이터 중심의 데이터 아키텍처를 지원함은 물론 C-API를 적용해 C 언어로 하둡 애플리케이션 작성이 가능하다.

특히 NoSQL 솔루션인 ‘앱알 DB(MapR-DB)를 위한 크로스 데이터센터 테이블 복제 기능이 추가됐다. 테이블 복제 기능은 실시간의 비동기 복제와 함께 전 세계의 다수 액티브 복제 클러스터를 활용해 빅 패스트 데이터로 액세스를 확장시키는 기능이다.

뿐만 아니라 기존 하둡 플랫폼의 경우 애플리케이션에서 발생하는 이력 정보가 따로 저장돼 실시간 처리가 어려웠지만, 신버전은 실시간 앱 이력 정보를 다른 데이터와 통합 저장해 실시간 처리가 가능해졌다.

김점배 맵알코리아 지사장은 “이번 신버전을 통해 고객은 보다 쉽고 빠르게 하둡을 관리할 수 있을 것”이라며 “최근 국내 빅데이터 시장이 기술을 적극 도입하고 활용방안을 알아가는 단계로 도약한 만큼 좋은 성과를 거둘 수 있을 것”이라고 말했다. 그는 이어 “이미 4곳의 대기업 고객을 확보했으며, 추가로 4곳의 고객을 곧 확보할 수 있을 것”이라고 설명했다.

또 맵알코리아는 지난해부터 정규 하둡 교육센터를 운영하면서 하둡 경쟁력 강화에 나서고 있다. 특히 올해부터는 하둡커뮤니티 활성화를 위해 무료 하둡 온디맨드 교육 프로그램도 제공하고 있다.

피보탈 역시 데이터사이언티스트 양성을 위해 한국외대와 산학협력을 체결했다. 피보탈이 추진하는 데이터사이언티스트는 코딩 능력 뿐 아니라 분석한 데이터를 시각적으로 표현할 수 있는 전달 능력까지 갖춘 인재를 말한다. 피보탈은 총 3단계로 나눠 데이터 사이언티스트 양성 교육 프로그램을 진행할 예정이다. ▲기업 임원 대상의 ‘데이타 사이언스’ 교육 ▲실무자를 위한 전문가 과정 ‘비커밍  데이터 사이언티스트(Becoming Date Scientists)’ ▲현장 과정 수행 형태의 ‘두잉 데이터 사이언스(Doing Date Science)’ 등이 주요 내용이다

이영수 피보탈코리아 대표는 “진짜 빅데이터는 단순히 많은 데이터를 분석하는 것이 아니라 데이터를 통해 실질적으로 사업 변화가 필요한 곳에 적재적소로 활용하는 것”이라며 “실제 업무에 적용할 수 있도록 현장 서비스를 제공할 것”이라고 말했다.

씨이랩 역시 호튼웍스 하둡 자격증 개설을 3월초 개강했다. 이번에 개강된 과정은 ‘데이터 분석가’ 과정과 ‘시스템 관리 전문가’ 과정이다. 이를 통해 씨이랩은 빅데이터 전문가를 양성해 나갈 계획이다.