기고 | 마이크로소프트가 '리눅스용 하둡'을 출시한 진짜 이유

마이크로소프트가 달라졌다. 마이크로소프트의 세번째 CEO인 사티아 나델라가 임명된 이후로 이 회사가 완전히 바뀌었음을 보여주는 이례적인 행보가 지난 달 포착됐다.


9월 29일 뉴욕에서 열린 스트라타+하둡월드(Strata + Hadoop World)에서 마이크로소프트의 전시 부스에 있는 이 회사 클라우드 서비스 배너. 이미지 출처 : Marc Ferranti

마이크로소프트는 자사의 애저 클라우드에서 리눅스로 구동하는 완전한 관리형 아파치 하둡 클러스터인 애저 HD인사이트(Azure HDInsight)를 일반용으로 공개했다.

처음에는 그리 대단한 일처럼 보이지 않았다. 하지만 실제로는 대단한 일이며 그 이유는 다음과 같다.

마이크로소프트가 2008년 처음으로 애저를 발표했을 때 실제로 발표한 것은 ‘윈도우 애저’였다. 이것은 ‘클라우드 내 윈도우’를 표방한 것으로 개발자들이 마이크로소프트 데이터센터에서 구동하는 윈도우 애플리케이션을 설계하도록 제공하는 새로운 서비스로서의 플랫폼(PaaS)이었다.

이제는 더 이상 윈도우 애저에 대한 이야기가 들리지 않는다. 마이크로소프트 애저 클라우드에 가깝지만 윈도우 외에도 다양한 OS에서 구동되기 때문이다. 실제로 애저에서 구동 중인 가상 머신의 20%는 리눅스 기반이라고 마이크로소프트는 밝혔다.

나델라가 임명된 이후로 마이크로소프트는 자사의 PaaS 계획을 포기했다. 마이크로소프트에게는 애저 서비스형 인프라(IaaS)가 매우 중요하게 되었다.

이는 현재 DoM(Directions on Microsoft)에서 애널리스트로 근무하고 있는 전 마이크로소프트 프로그램 관리자 웨스 밀러의 의견이다. 이 때문에 마이크로소프트는 리눅스와 독커(Docker) 등을 허용하거나 수용하고 있다. 이 회사는 다음과 같이 생각하고 있다. “클라우드를 원하면 마이크로소프트로부터 구매하라. 애저는 클라우드 서비스이며 윈도우의 기능을 할 수 있다. 하지만 비 마이크로소프트 플랫폼이기도 하다.”

이러한 자세는 마이크로소프트의 데이터 플랫폼(Data Platform) 부사장 T.K. 랑가 런가라잔을 통해서도 엿볼 수 있다. "우리는 애저에서 모든 운영체제를 구동할 수 있기를 바란다"고 그가 말했다.

2계층 데이터 아키텍처를 갖춘 데이터 분석 플랫폼은 규모, 기능, 데이터를 제공한다.

"출시 당시와 지금의 전략은 많이 다르다"고 그도 인정했다. 이어서 런가라잔은 "지금 우리는 좀 더 유연하며 협력관계에 더욱 개방적이기도 하다"고 전했다.

마이크로소프트는 한 동안 오픈소스에 전념하고 있다고 밝혔으며, 일부 중대한 조치를 통해 그 말이 사실임을 증명해 보였다. 하지만 리눅스에서 애저 HD인사이트를 제공한다는 것은 마이크로소프트가 또 다른 메시지에 관해 진지하다는 것을 의미한다.

더 이상의 신성은 없다
그 메시지가 무엇인지 이해하기 위해 몇 년 전 마이크로소프트가 하둡을 이용해 빅데이터 분석을 실시하던 때로 돌아가 보자. 그 당시까지 해당 기업은 하둡을 3가지 방식으로 제공하기로 약속했었다.

• 윈도우 애저 HD인사이트 서비스(Windows Azure HDInsight Service)라는 이름의 클라우드 기반 서비스형 하둡

• 윈도우용 호튼웍스 데이터 플랫폼(Hortonworks Data Platform for Windows) – 윈도우 서버에서 구동하는 오픈소스 하둡 배포판

• 윈도우용 HD인사이트 서버(HDInsight Server for Windows) – 마이크로소프트 하이퍼-V(Hyper-V) 하이퍼바이저와 시스템 센터(System Center) 관리 시스템을 이용해 가상화된 사설 클라우드 환경에서 동작하도록 설계된 윈도우 기반 하둡 배포판

즉, 마이크로소프트가 하둡을 구동할 수 있는 다양한 방법을 제공하고 있었다. 단, 윈도우에서 구동해야 한다는 점이 있었다. 이 때 웨스 밀러는 다음과 같이 말했다. "마이크로소프트가 윈도우에서 하둡을 원하는 이유 중 하나는 리눅스와의 경쟁에 대한 과도한 우려 때문이다. 또 마이크로소프트는 하둡을 사용하는 경우에 BI 부분을 위해 SQL의 BI 스택을 사용할 수 있기를 원한다."

하지만 마이크로소프트가 리눅스용 애저 HD인사이트로 제시 및 설명하고 있는 새로운 메시지는 마이크로소프트의 모든 서비스는 독립적이어야 하며 더 이상 신성시되거나 상상할 수 없는 것은 없다는 것이다. 새로운 제품이 기존의 사업 분야를 위협하면 그렇게 내버려 두면 된다.

예전에도 본 적이 있다. 예를 들어, 마이크로소프트 오피스는 (고군분투하고 있던) 해당 기업의 자체 운영체제에 제공되기 전에 iOS와 안드로이드에 먼저 제공되었다. 이제 우리는 마이크로소프트의 대표 서버 제품 환경인 클라우드에서도 이런 모습을 관찰하고 있다.

"현재 마이크로소프트의 현실은 다른 사업부에 의존하여 제품을 판매할 수 없다는 입장이다"라고 밀러는 말했다. "마이크로소프트 서버를 살펴보자. HD인사이트와 제대로 호환된다면 좋지만 고객이 윈도우 서버를 사용하고 싶어하지 않는다는 이유만으로 고객의 클라우드를 백엔드 상태로 내버려 두지는 않을 것이다"고 그는 덧붙였다.

고객들이 윈도우보다는 오픈소스 운영체제에서 HD 인사이트를 구동하고 싶어할 만한 충분한 이유가 있기 때문에 이런 현상은 애저에게 긍정적인 것이라고 런가라잔이 말했다.

"리눅스는 실제로 사람들이 혁신을 추구하고 있다. 혁신은 리눅스에서 먼저 일어난 후에 윈도우로 옮겨 온다. 따라서 리눅스에 대한 고객 수요가 존재한다"고 그는 말했다. "이것은 더욱 큰 트렌드의 일환이다. 하둡만 그런 것은 아니다. 우리는 고객의 필요를 따를 때 극적인 관련성을 가질 수 있다는 점을 알고 있다"고 그는 덧붙여 말했다.

추가적인 하이브리드 가능성
고객들이 리눅스에서 HD 인사이트를 원하는 다른 이유가 있다. 빅데이터 툴을 위한 리눅스 기반의 생태계는 더욱 크며 많은 기업들이 이미 자체 데이터센터에서 리눅스로 하둡을 운영하고 있다. 이 덕분에 빅데이터 활동을 위한 하이브리드 클라우드 환경을 더욱 쉽게 구성할 수 있으며, 마이크로소프트의 (또는 다른) 공공 클라우드에서 리눅스를 사용할 수 있다면 더욱 그렇다.

클라우드 제공자들 사이의 경쟁이 치열하기 때문에 리눅스용 애저 HD 인사이트를 제공하는 것은 좋은 일이다. 특히, 아마존의 AWS, 애저, 구글의 경쟁이 치열하다고 웨스 밀러는 말했다.

그는 각 기업이 자체 클라우드를 다른 방식으로 운영하고 있기 때문에 각각 개별적인 장점을 기반으로 고객을 확보해야 한다. 애저를 윈도우로만 제한하면 마이크로소프트는 경쟁이 거의 불가능해진다.

(공개적으로 밀러는 애저의 주된 강점이 마이크로소프트가 아마존보다 낫지만 구글보다는 못한 개발자를 ‘확보’하는 데 있다고 말했다).

또 이 새로운 현실은 마이크로소프트가 자사의 윈도우 부문에 대한 충성도를 무시하고 윈도우 구성요소에 애저 인프라를 구축하는 것에 대해 독단적으로 판단하지는 않을 것이라는 의미기도 하다. 이는 최근에 공개된 점차 리눅스에서 구축되고 있는 데이터센터 네트워킹을 위한 크로스 플랫폼 모듈식 운영체제인 마이크로소프트의 ACS(Microsoft's Azure Cloud Switch)를 통해서도 알 수 있다.

2년 전 마이크로소프트가 리눅스에서 ACS를 구축했던 생각은 터무니 없었지만 지금은 충분히 납득이 간다.

"나델라는 사람들이 기업 전체를 위한 올바른 결정을 내리면서 다른 부서가 피해를 입지 않을까 걱정하지 않도록 힘을 실어주면서 기업을 운영하고 있다"고 밀러는 말했다. 이어서 그는 "내가 클라우드 스위치를 구축해야 했더라도 리눅스에서 구축했을 것"이라고 전했다.

하지만 마이크로소프트의 런가라잔은 마이크로소프트가 빅데이터(또는 기타)를 위해 클라우드에서 윈도우를 포기하는 것이 아니라 그와는 정 반대라는 의견을 내놨다.

이를 뒷받침하기 위해 그는 윈도우용 HD 인사이트가 현재 가장 빠르게 성장하고 있는 애저 서비스라고 밝혔다.
*Paul Rubens는 IT전문 저널리스트로 BBC, CIO닷컴 등에 칼럼을 기고하고 있다.