빅데이터 열기를 온몸으로...'하둡서밋 2016' 참관기

하둡 서밋 2016은 올해로 9해째 열리고 있다. 최근 빅 데이터 열기를 반영하듯이 해가 갈수록 규모가 커지고 있다. 올 행사 스폰서 참여 기업은 전년 대비 25%가량 늘었다. 그뿐만 아니라 올해 처음으로 하둡 서밋에 참석한 이들의 수도 많다.

올 행사는 더블린, 산호세, 도쿄를 돌며 이어진다. 산호세에서 열린 하둡 서밋 2016에는 4천 명이 참석해 170개가 넘는 세션을 듣는다. 지난달 28일 행사 첫날부터 흥미로운 이야기가 행사장을 오갔다.

■주목할 변화

기조 연설을 맡은 호튼웍스 허브 큐니츠 대표는 주목할 추이 세 가지로 고객이 데이터로 비즈니스를 바꾸고 있다는 것, 기술이 아니라 사업 측면의 이야기들이 더 많이 들리기 시작했다는 것, 보안과 거버넌스 측면에서 빅 데이터가 기업 환경에 뿌릴 내릴 만반의 준비가 되었다는 것, 하둡 생태계가 빠르게 확장되고 있는 것을 꼽았다.

▲ 미국 캘리포니아주 산호세에서 개최된 하둡 서밋 2016 행사장 전경

■10주년 청소년기를 맞은 하둡

2016년은 하둡이 탄생 10주년을 맞이한 해이다. 또한 하둡 서밋을 야후와 공동 주관해온 호튼웍스가 다섯 살이 되는 해이기도 하다. 첫날 기조 연설 무대에 오른 호튼웍스의 허브 큐니츠 대표는 데이터 혁명이 세상의 모든 것을 바꾸고 있다는 말고 함께 데이터를 어떻게 쓸 것인가에 대한 고민은 이제 막 시작되고 있다고 강조했다.

그는 사업 모델에 데이터 활용 전략을 반영하는 기업이 늘고 있는 것이 그 증거이며, 앞으로 더 많은 조직이 기업, 공급망, 고객을 망라하는 데이터 여정(data journey)에 오를 것이라 말했다.

이처럼 더 많은 위치에 있는 데이터를 더 자세하게 보려는 기업의 욕구는 첨단 데이터 아키텍처 도입을 앞당길 촉매다. 그동안 빅 데이터는 구현에 초점이 맞추어졌다. 기존 접근 방식은 데이터 수집, 처리, 분석 절차가 주된 관심사였다면, 첨단 데이터 아키텍처는 데이터의 위치와 종류에 관계없이 모든 데이터를 원하는 방식으로 처리하고 분석하는 것이 목표다.

▲ 하둡 서밋 2016에는 전세계 수많은 개발자들이 빅데이터의 열기를 느끼고자 성황을 이뤘다

■새로운 10년을 준비하는 하둡 커뮤니티, 엔터프라이즈 시장으로 힘찬 도약 준비

열 살이 된 하둡은 앞으로 어떻게 발전할까? 행사장을 가득 메운 이들은 세 가지 방향에 공감했다.

호튼웍스 CEO인 롭 비어든은 하둡의 응용 분야가 다양해질 것이란 점을 첫 번째 방향으로 소개했다. 일례로 다양한 원천 정보를 수집하고, 이들 데이터에 예측 기반 모델을 적용해 금융이나 통신 사기를 탐지하고자 하는 곳이 늘고 있다. 실제로 금융, 보험 업계에서는 빅 데이터를 점점 지능화되는 사기 범죄 예방을 위한 최선으로 보고 있다.

두 번째로 제시된 하둡의 미래는 100배 더 쉬운 빅 데이터다. 서로 다른 기술과 플랫폼을 연결하는 수고를 덜 수 있는 기술이 하둡은 어렵고 복잡하다는 편견을 깰 것이다. YARN과 암바리(Ambari)를 통해 빅 데이터 애플리케이션과 서비스를 배포하고, 사설과 공용 클라우드에 흩어진 하둡 클러스터를 마치 하나처럼 바라보고 관리하는 데모는 참관객들이 시선을 잡기에 충분했다.

세 번째 하둡의 미래 모습은 엔터프라이즈이 눈높이에 맞는 디자인 원칙 적용, 재사용성과 호환성 보장, 보안성 확보에 모자람이 없는 것이다. 그동안 모두가 우려한 보안도 앞으로 걸림돌이 되지 않을 전망이다. 호튼웍스 롭 비어든은 컬럼 수준의 암호화나 데이터 일부를 다른 값으로 치환해 식별을 어렵게 하는 마스킹 기법 등 보안 기능 강화와 함께 아파치 레인저(Ranger) 프로젝트를 통해 향후 빅 데이터도 강력한 사용자 인증 기반의 접근 통제로 순간 해결될 것이라고 힘주어 말했다. 빅 데이터 사업의 발목을 잡았던 개인정보보호 등 각종 보안 규제를 충족시킬 수 있는 기술적 제반 기술이 커뮤니티 차원을 넘어서고 있다.

▲ 하둡 서밋 2016 기조연설을 듣고 있는 청중들

■사실상의 표준으로 자리 잡고 있는 YARN

기조 연설 후 오후 세션은 총 63개의 기술, 비즈니스 세션이 진행되었다. 행사 첫날 세션을 큰 흐름으로 보면 사실상의 표준으로 자리 잡고 있는 하둡 2의 핵심 요소인 YARN, IoT(사물인터넷)와 빅 데이터의 상승 효과를 시장의 화두로 분류할 수 있다.

먼저 YARN의 경우 구글, 넷플릭스 등에서 자사의 대규모 환경에 적용하고 있다는 내용이 이번 행사에서 소개되었다. YRAN은 다양한 데이터 처리 엔진을 단일 플랫폼상에서 운영할 수 있도록 돕는 리소스 관리자이다.

YARN을 적용하면 SQL, 실시간 스트리밍, 배치 작업 등 여러 데이터 처리 엔진을 모두 개별적인 하둡 클러스터로 돌리는 것이 아니라 단일 플랫폼으로 묶어 운영할 수 있다. 하둡 클러스터 구축과 운영의 어려움으로 꼽히던 호환성 보장, 자원 최적화, 통합 관리 등을 해결에 뜻을 모은 오픈 소스 커뮤니티를 통해 개발되었다.

YRAN은 여러 기업에서 차세대 데이터 아키텍처의 핵심으로 수용하고 있다. 구글의 클라우드 데이터 플랫폼인 Cloud Dataproc의 경우 많은 수의 코어에서 YARN을 운영하고 있다. 또한 넥플릭스의 경우 페타바이트 규모의 ETL 작업을 YARN과 스파크(Spark) 조합으로 처리하고 있다. 이외에도 IBM, 피보탈 등 솔루션 업체에서도 YARN을 적극적으로 지원하고 있다.

YARN이 사실상의 표준이 된 것과 관련해 호튼웍스 북아시아 총괄 부사장인 브라이언 번즈는 “2년 전 하둡 서밋에서 YARN이 관심을 끌었는데, 2년이 지난 현재 모두가 다 쓰는 시장의 주류가 되었다. 2년 뒤 또 다른 주류가 될 주제는 아마 NiFi 일 것이다.”라고 말했다.

▲ YARN은 다양한 데이터 처리 엔진을 단일 플랫폼 상에서 운영해 주는 리소스 관리자다

■NSA 덕에 유명해진 NiFi의 유행 예감

NiFi는 미국 국가안보국(NSA)이 네트워크 모니터링을 위해 만든 기술이다. NSA는 이 기술을 아파치 재단을 통해 공개했다. 이후 온야라(Onyara)라는 기업이 아파치 탑레벨 프로젝트인 NiFi 개발을 주도했고, 호튼웍스가 온야라를 인수하면서 NiFi가 엔터프라이즈 시장으로 영역을 확장하고 있다. 이번 행사에서는 NiFi와 스파크를 이용한 스마트 홈 구현, NiFi를 통한 IoT와 스트리밍 데이터 분석 방안 등에 대한 세션이 마련되었다.

■춘추전국 시대 맞은 스트리밍 분석

한편 이번 행사에서는 실시간 스트리밍 분석 관련 사례 발표도 많았다. 교통, 자동차, 에너지, 의료, 제조 분야에서 어떻게 실시간 데이터 스트리밍 분석을 하는지에 대한 실제 예가 GE, 포드, SAS 등의 기업에서 마련한 세션에서 발표되었다.

참고로 데이터 스트리밍은 현재 빅 데이터 시장에서 관심이 높은 분야다. 수많은 아이디어가 나오고 있고, 여러 신생 기업에서 하둡 플랫폼에 연결해 쓸 도구와 애플리케이션을 선보이고 있다. 스트리밍 솔루션은 향후 IoT 시장과 맞물려 더욱 큰 시장 잠재력을 갖게 될 전망이다.