'윈도우와 하둡의 만남'··· IT에게 의미하는 바는?

하둡은 어느덧 빅 데이터 분석과 동의어로 부상했다. 이러한 상황에서 호톤웍스 데이터 플랫폼 온 윈도우의 의의는 실로 크다. 리눅스 전문가가 부족한 기업에서도 빅 데이터 분석을 이용할 수 있다는 의미이기 때문이다.

빅 데이터 분석은 지난 12개월간 기업 IT 담당자들의 큰 관심을 끌었다. 그 중에서도 오픈 소스 아파치 하둡(Apache Hadoop) 프로젝트는 가장 중요한 빅 데이터 분석 플랫폼들 중 하나다. 일반적으로 리눅스상에서 실행되는 오픈소스 하둡은 야후, 페이스북, 트위터를 포함한 몇몇 유명 기업들이 사용하고 있다.

윈도우용 호튼웍스 데이터 플랫폼
이제 하둡의 영토는 더 넓어졌다. 앞으로 몇 달 내로 하둡이 윈도우 서버(Windows Server)상에서 구동되는 오픈소스 하둡 배포판인 호튼웍스 데이터 플랫폼(Hortonworks Data Platform: HDP) 덕분이다. 참고로 아파치 하둡 프로젝트의 후원사이자 기여업체인 호튼웍스는 이미 리눅스 기반 HDP 배포판을 상업적으로 제공하고 있다.

이는 리눅스 기술 보유가 안된 수많은 기업/조직들에게도 하둡의 기회를 열어줄 것이다. 호튼웍스의 기업 전력 부회장 숀 코놀리는 윈도우에 HDP를 도입하는 결정에 이른 과정을 “무엇보다도 시장-주도적 결정이었다”라고 설명했다.

그는 “하둡은 스케일아웃 (scaleout) 상품 하드웨어 시장을 위해 만들어졌다. 그런데 상품 하드웨어 시장은 설치 기반과 전문성 면으로 볼 때 윈도우가 70%를 차지한다”라고 말했다.

윈도우 플랫폼만을 이용해온 회사의 직원들도 이제는 하둡 빅 데이터 분석 결과를 보기 위한 비즈니스 인텔리전스(BI) 툴로 엑셀(Excel)을 사용할 수 있기 된다. 더 손쉽게 하둡을 활용할 수 있게 되는 것이다.

코놀리는 “이상적으로, 우리는 마이크로소프트 사용자들이 그 모든 것들이 하둡에서 유래했다는 사실을 인식하지 못하기를 바란다. 만약 엑셀같은 툴을 통해 최종 사용자들이 학습 과정 없이 바로 데이터를 소비할 수 있게 된다면, 그들이 얻는 가치는 더욱 커질 것이다”라고 말했다.

윈도우 기술만 가진 IT 직원들 또한 마이크로소프트의 비주얼스튜디오 (VisualStudio)와 닷넷(.Net) 프레임워크를 사용하여 리눅스 전문성 없이도 하둡 애플리케이션을 작성할 수 있게 된다. 참고로 코놀리에 따르면 호튼과 마이크로소프트의 윈도우 하둡은 둘 다 100% 아파치 하둡이다. 코드 변형도 없어서, 모든 리눅스 하둡 앱이 쉽게 윈도우로 포트된다.

그러나 윈도우용 HDP가 하둡이 윈도우에 도입되는 유일한 방법이 아니다. 마이크로소프트는 2011년말부터 호튼웍스와 비공개로 작업해왔고, 드디어 HD인사이트(HDInsight)라는 자체 하둡 배포판의 공개를 앞두고 있다.

HD인사이트는 마이크로소프트의 애저(Azure) 클라우드 안에서 실행되는 서비스나 온-프레미스 사설 클라우드 하둡 설치 방식으로 사용되는 제품의 형태로 사용할 수 있을 전망이다.

약 10년전 마이크로소프트는 반오픈소스 소프트웨어 진영에 속했다. 그러나 디렉션 온 마이크로소프트(Directions on Microsoft)의 분석가 웨스 밀에 의하면 역설적으로 이번 마이크로소프트의 하둡 지원은 바로 그 오랜 적대관계에서 유래한 것이다.

웨스는 “마이크로소프트가 윈도우에 하둡을 원하는 이유로는 리눅스와의 경쟁에 대한 걱정이 자리하고 있다고 본다”라고 말했다.

그러나 또 다른 이유도 있다. 웨스는 “마이크로소프트가 원하는 것 중 하나는 사용자가 하둡을 이용할 때 비즈니스 인텔리전트에 있어서 SQL의 BI 스택 역시 사용할 수 있도록 하는 것”이라고 말했다.

기업이 윈도우에서 하둡 호환 솔루션을 구입해 사용하는 3가지 경로
1. 윈도우 애저 HD인사이트 서비스(퍼블릭 프리뷰) : 클라우드 기반으로 제공되는 서비스로서의 하둡(Hadoop-as-a-Service)이다. 마이크로소프트가 윈도우 애저를 통해 공급한다.

2. 호톤웍스 데이터 플랫폼(HDP) 포 윈도우(베타) : 윈도우 서버에서 직접 동작하는 호톤웍스의 오픈소스 하둡 배포판이다. 호톤웍스가 가입 방식의 지원 상품을 공급하고 있다.

3. 마이크로소프트 HD인사이트 서버 포 윈도우(퍼블릭 프리뷰) : 윈도우 기반 하둡 배포판이다. 가상화된, 프라이빗 클라우드 환경에서 동작하도록 고안됐으며 마이크로소프트의 하이퍼-V와 시스템 센터 매니지먼트 시스템을 이용한다. 마이크로소프트가 호톤웍스와 공동으로 써드라인 지원 서비스를 제공한다.

마이크로소프트의 데이터 플랫폼 제품 마케팅 전무 이사 에론 켈리에 따르면, 가장 빠르고 간단한 옵션은 애져 서비스를 이용하는 것이다.

그는 “오픈소스 프로젝트를 활용하여 실행하기 복잡할 수 있는 하둡 기술을 소비하는 이상적인 방법이다”라며, “애저를 통하면, 단 두 번의 클릭만으로 사용하고 싶은 것을 구매할 수 있다”라고 강조했다.

다른 옵션도 있다. 하둡을 아마존이나 랙스페이스(Rackspace) 클라우드 등에 실행하는 클라우드 내 하둡 접속 방식이다. 그러나 많은 양의 데이터와 로그를 위해 이미 애저를 사용하는 회사들이라면, HD인사이트 서비스가 좀더 합리적일 가능성이 크다.

마지막 자체 하둡 설치를 관리 운영하고자 하는 회사들에겐, 자체 윈도우 서버를 보유하고 있으며 그 소프트웨어를 설치하고 지속해나갈 수 있는 한, 윈도우용 HDP가 아마도 좋은 옵션이 될 것이다. 지원은 호튼웍스에서 받을 수 있다.

웨스 밀러는 “일반적으로 (리눅스상에) 오픈소스 소프트웨어 정책이 없는 회사들에게 매력적인 선택이 될 것이다. 이런 부류는 하둡을 원해왔지만, 오직 윈도우로 범위가 한정되어 있었다”라고 설명했다.

윈도우용 HD인사이트 서버는, 대기업들이 기존 마이크로소프트 소프트웨어 스택에 투자한 바를 그대로 이용할 수 있도록 해줄 것이다. 프라이빗 클라우드와 통합을 통해서다. 켈리는 또 제품이 무료 다운로드가 가능하여, 비용도 크게 들어가지 않는다고 설명했다.

그는 “윈도우용 HD인사이트 서버 사용에는 차후 추가비용이 없다. 마이크로소프트는 이를 활용하기 위해 윈도우 서버를 구매해야 하는 고객들과, 그들의 데이터 웨어하우싱이나 BI 환경 사용으로부터 매출을 창출하려고 하고 있다”라고 말했다.

그는 이어 “또 새로운 버전의 엑셀 판매에서도 매출을 기대할 수 있다”고 그는 덧붙였다. 참고로 마이크로소프트는 애저나 온프레임스 HD인사이트 인스턴스에 접속할 수 있는 데이터 익스플로러(Data Explorer)라는 엑셀 2013과 2010 애드인을 제공하고 있다.

현재 윈도우용 HD인사이트 서버를 중소,중견기업들이 실제로 사용하고자 하는지가 가장 큰 의문으로 남아있다. 밀러는 사용이 너무 복잡할 수 있다는 점을 염려한다고 전했다.

그는 “소규모 사업체들이 프라이빗 클라우드에서 하둡을 정말로 구동하고 싶어할까? 만약 모두 자동화되었다면 그렇지도 모른다. 그러나 나는 마이크로소프트가 그 모든 일을 지원줄 것으로 생각하진 않는다”라고 말했다.

하둡이 윈도우에 들어오는 일은 거대한 윈도우 시장에 빅 데이터 분석을 끌어오는 중대한 결정이라는데 이견은 없을 것이다. 실제로 호튼웍스의 숀 코놀리는 윈도우용 HDP 출시로, HDP의 잠재적 시장이 단숨에 두 배로 늘어났다고 추정하기도 했다.

어찌됐건 하둡 사용의 장벽을 낮춤으로써, 소규모 조직이나 사업 부서까지도 빅 데이터 분석으로부터 통찰을 얻어낼 가능성이 한층 커진 것은 분명하다.