청년기 맞은 하둡의 미래 성장판 '클라우드, 스트리밍, IoT'

기업용 하둡 배포본 시장을 주도하는 업체 중 하나인 호튼웍스의 존 크라시아 마케팅 부사장을 지난달 30일(현지시간) 하둡서밋 2016에서 만나 하둡 탄생 10년 이후 일어날 변화에 대한 그의 의견을 들어 보았다.

■클라우드, 스트리밍, IoT가 하둡의 미래 10년을 이끌 것

2016년은 빅 데이터의 상징인 하둡이 10주년을 맞이한 해이다. 업계에서는 지난 10년보다 더 큰 변화가 향후 10년 이내에 일어날 것으로 전망한다. 존 크라시아는 클라우드 컴퓨팅, 데이터 스트리밍, 사물인터넷(IoT)을 청년기를 맞이한 하둡의 성장판으로 꼽는다.

그는 “데이터가 중요한 경영 자원이라는 인식이 확산될 수록 더 많은 기업이 데이터 전략의 중심에 하둡을 놓을 것이다”라며 “업계에서는 2020년경이 되면 대부분 기업의 데이터 전략이 바뀔 것이며, 전환의 첫 출발점으로 클라우드를 고려하는 곳이 많을 것”이라고 말했다.

▲ 존 크라시아(John Kreisa) 호튼웍스 마케팅 부사장

■IoT와 빅 데이터의 가교 ‘아파치 NiFi’

IoT를 통해 더 많은 데이터 원천이 생기고, 이를 더 효율적으로 처리하기 위해 클라우드 기반 데이터 스트리밍을 고려하는 곳이 늘 것이란 이야기는 오래전부터 오갔다. 하지만 데이터 파이프라인 측면에서 맨 끝점에 있는 정보 원천을 IoT까지 잡아 실시간으로 바라보는 곳은 매우 드물다.

그 이유는 간단하다. IoT는 전통적인 임베디드 환경보다 더 다양한 네트워크 프로토콜을 쓰고, 데이터 형식도 다양하다. 더불어 사내외 네트워크를 넘나드는 연결이 이루어지기 때문에 보안 통제가 어렵다. 이처럼 어려운 과제이다 보니 실행에 옮긴 곳이 많지 않았던 것이다.

존 크라시아는 올 해부터 사정이 달라질 것이라고 강조했다. 그는 실시간으로 전송 중인 데이터를 안전하게 수집해 처리하는(Data-in-motion) 아파치 나이파이(Apache NiFi) 프로젝트의 빠른 성장으로 안전한 실시간 데이터 캡처와 큐레이션의 대중화가 코앞으로 다가왔다고 말했다.

아파치 NiFi를 이용하면 여러 네트워크를 오가고, 다양한 프로토콜을 쓰며, 형식이 다른 데이터를 실시간으로 바라보고 원하는 목적에 따라 데이터가 흘러가는 길을 시각적으로 간단하게 정할 수 있다.

호튼웍스는 데이터 흐름을 관리하는 아파치 NiFi, 분산 메시징 시스템인 아파치 카프카(Kafka), 실시간 분석 시스템인 스톰(Storm)을 하나의 플랫폼으로 만들었다. HDF(Hadoop Data Flow)란 이름의 이 플랫폼을 이용하면 실시간 데이터 수집, 선별, 분석 기반을 비교적 간단하게 구축할 수 있다.

■삼인 삼색으로 펼쳐지는 하둡 플랫폼 시장

호튼웍스에게 있어 HDF는 경쟁자와 또 다른 차별점이다. 호튼웍스는 그동안 100% 오픈 소스를 경쟁사와 다른 점으로 선전했다. 오픈 소스를 지향하지만, 자사만의 기술 요소를 적용하는 클라우데라, 독자 노선을 걷는 맵알과 달리 호튼웍스가 제공하는 모든 플랫폼과 기술은 모두 오픈 소스다. 호튼웍스는 그동안 완전한 오픈 소스 플랫폼인 HDP(Hadoop Data Platform)을 중심으로 구독 기반의 지원 서비스로 수익을 창출했다. 여기에 HDF가 더해지면서 저장된 데이터부터 전송 중인 데이터까지 모두 처리하는 투트랙 플랫폼 전략으로 경쟁사와 우리는 다르다는 메시지를 시장에 전하고 있다.

존 크라시아는 “우리는 경쟁사와 비교해 커뮤니티와 협력하는 방식이 좀 다르다. 수백 명의 엔지니어가 오픈 소스에 직접 참여한다. 이를 통해 빅 데이터 플랫폼 설계와 구현에 있어 오픈 소스 커뮤니티를 이끌고 있다.”라며 “적극적인 기여와 참여를 하는 가운데 호튼웍스는 오픈 소스 프로젝트 중 기업이 요구하는 것을 단일 플랫폼 수준으로 통합하고, 이를 통해 기업이 빅 데이터 클러스터를 여러 개로 조각난 섬(Data Silo)처럼 복잡하게 운영하지 않도록 돕는다”라고 말했다.

그는 덧붙여 “오픈 소스 기반 단일 플랫폼 전략과 함께 다양한 데이터 원천에서 수집되는 데이터를 전송 단계에서 실시간으로 캡처할 수 있는 플랫폼까지 제공한다는 것이 우리만이 독특함이다”라고 설명했다.

■특정 기술과 업체 종속에서 벗어나는 유일한 길은 ‘100% 오픈 소스’를 유지하는 것

한편 존 크라시아는 100% 오픈 소스를 유지하는 것이 갖는 중요성도 강조했다. 특정 기술과 업체 종속을 피하는 유일한 길은 오픈 소스를 유지하는 것이라는 것이 그의 주장이다. 종속성 외에 늘 최신 빅 데이터 환경을 유지하는 데 있어 호환성 걱정이 덜하다는 것도 존 크라시아가 바라보는 100% 오픈 소스의 중요한 고객 가치다.

그는 “우리는 고객의 성공에 집중한다”라며 “단순히 오픈 소스 플랫폼을 제공하고 전문 지원 서비스를 제공하는 것이 아니다”라고 말했다. 또한 “오픈 소스 개발에 적극적으로 참여해 빅 데이터 기술 혁신의 방향을 잡는 가운데, 개발에 참여한 엔지니어링 조직과 기술 지원 조직이 호흡을 맞춰 새로운 기술이나 업데이트를 신속하게 고객의 빅 데이터 환경에 반영한다”라며 설명했다.

매년 급격한 기술 변화와 진화를 거듭하고 있는 빅 데이터 기술 적용과 구현을 걱정하지 말고 데이터 경영의 결실을 어떻게 볼 것인지만 고객이 집중하도록 돕는 것, 이것이 바로 존 크라시아가 말하는 호튼웍스 사업의 본질이다.