[빅데이터1년] EMC “하둡으로 대동단결”

빅데이터 시장에서 EMC는 다른 업계보다 유독 ‘사람’을 강조한다. 빅데이터를 담는 그릇 못지 않게 그릇에 담긴 내용을 올바르게 해석하는 데이터 과학자의 역할을 중요하게 보았기 때문이다. EMC는 2011년 말부터 데이터과학과 빅데이터 분석교육 및 자격증 과정 신설, 데이터 과학자들로 구성된 애널리틱스 랩 부서를 운영하는 등 데이터 과학자 확보와 양성에 노력하고 있다.

사람에서 기술로…주목 ‘하둡’

1년 사이 EMC의 빅데이터 전략은 조금 바뀌었다. 사람과 함께 빅데이터를 담는 그릇에도 관심을 가지기 시작했다. 속도와 가용성 등 장비의 기능을 개선하는데서 집중한 모습에서 벗어나 빅데이터를 처리하기 위해 적극적으로 하둡을 도입했다.

“빅데이터와 하둡은 이제 따로 갈 수 없게 됐습니다. 데이터는 앞으로 계속 급증할 것이고, 이를 처리하기 위한 수단으로 하둡만큼 좋은 게 없습니다. 빅데이터 시장에서 하둡이 이미 기본 인프라가 됐습니다.”

박춘삼 EMC 데이터컴퓨팅 사업부 이사는 앞으로 EMC의 빅데이터 전략에서 하둡을 빼놓고 얘기할 수 없을 것이라고 설명했다. 빅데이터라는 개념이 국내에 처음 등장할 때는 데이터웨어하우스(DW)와 하둡을 별게로 생각하는 사람이 많았지만, 이제는 많은 DW업체가 하둡 지원에 나선만큼 둘 사이의 구분이 모호해졌기 때문이란다. 그는 향후 빅데이터 시장은 하둡 중심의 분석 솔루션, 하둡 중심의 애플리케이션 등 하둡에 의해 좌우될 것이라고 보았다.

“국내 대형 제조업체나 금융기관들은 하둡의 중요성을 알고 있습니다. 속도가 중요한 데이터는 데이터베이스(DB)로 처리하고, 그 외 데이터는 하둡에 저장해 비용을 줄이는 게 효과적이라는 걸 말이지요.”

하둡 내재화 결실, 그린플럼과 피봇탈HD

EMC는 2010년 대규모 데이터 클라우드와 데이터 분석 서비스의 핵심이 되는 DW 기술을 보유하고 있는 그린플럼 인수를 통해 빅데이터 시장에 접근했다. 그리고 2011년 오픈소스 하둡 기술을 적용한 DW 솔루션인 ‘EMC 그린플럼’을 시장에 선보였다.

EMC 그린플럼은 단일 어플라이언스 내에서 정형·비정형 데이터를 처리하는 장비로, 정형데이터 분석을 위한 DB 모듈과 비정형 데이터 분석을 위한 하둡 모듈을 단일 어플라이언스로 지원한다. 비정형 데이터 처리를 위해 EMC는 하둡 배포판의 단점으로 지적되는 관리기능 부족과 가용성을 보완해 그린플럼 하둡 배포판을 제작했다.

“하둡을 사용하는 데 있어 가장 중요한 건 모니터링으로, 아파치 하둡은 쓸만한 모니터링 도구가 없습니다. 하둡 클러스터가 많으면 많아질수록 이를 관리하는 도구가 중요해집니다. 오픈소스 하둡이 있지만, EMC가 따로 하둡 배포판을 만드는 이유이기도 합니다.”

실제로 EMC는 2월25일(현지기준) ‘피봇탈HD’란 또 다른 하둡 배포판을 출시했다. 그린플럼에 이은 두 번째 배포판이다. EMC는 클라우데라와 같은 하둡 상용 솔루션 업체와의 경쟁을 예고하며, 하둡 내재화에 힘을 쏟고 있다. 피봇탈HD는 아파치 하둡과 EMC의 그린플럼의 대용량 병렬처리 데이터베이스(DB)를 통합한다. VM웨어의 하둡 가상화 확장기능도 함께 탑재했다.

“하둡에 저장된 데이터를 단순히 불러오는 식의 하둡 커넥터를 만드는 경쟁업체와의 하둡 전략과는 다릅니다. EMC는 DB에서 하둡을 직접 볼 수 있게 만들었으며, SQL을 가지고 작업할 수 있게 하둡을 개선하고 있습니다.”

현재 EMC는 국내 하둡 파트너와 손을 잡고 하둡 알리기에 나섰다. 어느 정도의 데이터를 가지고 있어야 하둡을 도입하면 좋은지, DW를 도입해 사용하는 게 나은지를 알려주는 컨설팅도 함께 진행하고 있다. 하둡 플랫폼을 구축한 고객에게는 어떻게 하면 하둡을 좀 더 원활하게 쓸 수 있는지 교육도 함께 병행한다.

“하둡, 좋긴 하지만 아무래도 고객이 받아들이기엔 조금 까다로운 데이터 처리 방식이기도 합니다. DW가 처음 나왔을 때 고객에게 설명했던 것처럼 말이지요. 욕심 부리지 않고 차근차근, 작지만 확실하게 빅데이터를 다룰 수 있게 노력할 생각입니다.”