본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

2018년 11월 23일      

ⓒ CIO Korea, Brian Cheon | CIO KR

 

빅데이터가 세상을 송두리째 바꿀 기술로 이목을 집중시킨 지 벌써 십여 년에 가깝다. 몇 년 전부터는 머신러닝, 딥러닝과 같은 인공지능이 비즈니스 지형을 격변시킬 기술로 각광받고 있다. 오늘날 대다수 기업은 이러한 데이터 기술을 발 빠르게 도입해 활용하지 않으면 이내 뒤쳐질 것만 같은 위기감에 시달리고 있다고 보아도 과언이 아니다.

그렇다면 현실은 어떨까? 빅데이터나 AI 기술을 성공적으로 도입해 제대로 활용하는 기업이 과연 얼마나 될까? 애석하게도 시행착오를 거듭하고 있는 기업이 대부분이다. 실제로 가트너에 따르면 전세계 하둡(Hadoop) 프로젝트의 실패 비율은 무려 85%에 이른다. 안팎으로 쏟아지는 디지털 트랜스포메이션 압력으로 인해 디지털 기업으로의 변신을 시도하지만 방대한 비용과 여타 자원만 소모하는 기업들이 대다수인 셈이다.

이런 현실 속에서 클라우드 서비스 기업이자 차세대 분석 플랫폼 전문 기업, 오픈소스 특화 기업인 피보탈은 인상적인 메시지를 설파한다. 2013년 EMC로부터 분사한 이후 올해 IPO를 성공적으로 진행한 이 기업은 데이터 분석을 기업 전반에 도입하기란 어렵지 않으며, 어려워서도 안 된다고 단언한다. 다시 말해 소수의 대기업과 엘리트 데이터 과학자들만이 아닌, 모든 규모의 기업과 모든 인력이 데이터를 마음껏 조작하고 그 결과물을 누리는 ‘데이터 분석의 민주화’가 가능하다는 일성이다.

지난 10월 25일 ‘그린플럼 포 쿠버네티스’(Greenplum for Kubernetes)를 국내 시장에 전세계 최초로 발표하기 위해 방한한 시저 로하스(Cesar Rojas) 피보탈 그린플럼 제품 총괄 마케팅 디렉터와 피터 쿠퍼(Peter Cooper) 피보탈 아태지역 데이터 비즈니스 총괄 디렉터를 만나 좀더 자세히 이야기를 들었다.
 

고객이 분석 환경을 선택
“많은 고객들이 데이터 분석과 관련해 지목하는 어려움은 적절한 도구와 역량의 부족입니다. 토탈 솔루션을 제공하고 쉽게 접근할 수 있는 클라우드 서비스에 눈길을 돌리게 되는 이유입니다. 문제는 손에 익은 도구와 환경이 아닌, 클라우드 서비스 제공자의 도구와 환경을 이용해야 한다는 것입니다.”

시저 로하스 디렉터는 오늘날 기업들이 데이터 작업 시 처하는 선택의 어려움을 언급하며 이야기를 시작했다. 사실 데이터를 분석하지 않는 기업은 없다. 모든 기업이 어떤 형태로든 데이터를 분석하고 있다. 흔히 R이나 파이썬, 스칼라 등의 고급 분석 도구만 이용해야 한다고 생각하지만, 널리 활용되고 있는 SQL, 심지어 엑셀 또한 훌륭한 분석 도구다. 문제는 클라우드 환경의 경우 서비스 기업이 자사의 도구를 활용하도록 사실상 강제한다는 점이다.

“오늘날 기업들 앞에는 도구가 가득 찬 상자가 놓여 있습니다. 피보탈은 기업들이 가능한 모든 도구를 활용할 수 있도록 하고자 합니다. 어떤 경우 데이터가 클 것이며 어떤 경우 언어가 복잡하기도 할 것입니다. 고객들이 손에 익은, 그리고 상황에 가장 적절한 도구를 이용할 수 있도록 함으로써 데이터 분석 및 AI 활용을 민주화(democratize)하고자 합니다.”

피터 쿠퍼 디렉터는 오늘날 많은 이들이 데이터 과학을 복잡하고 어렵다는 선입견을 가진다고 덧붙였다. 데이터 종류와 환경에 따라 각기 다른 도구를 필요로 하며 머신러닝이나 딥러닝을 위해서는 또 다른 도구와 역량이 필요할 것으로 생각하곤 한다는 것이다.

또 여러 데이터를 한 곳에 두고 이용하기 어렵다는 생각도 흔하다고 그는 덧붙였다.

“거창하고 복잡하게 생각하기에 실패하곤 합니다. 알고 보면 그리 어렵지 않습니다. 성공의 핵심은 작게 시작해 실패와 성공을 반복적으로 경험하는 것입니다. 가급적 많은 직원들이 이를 경험할수록 성공 확률은 높아집니다. 여러 클라우드 서비스와 데이터 분석을 싱글 플랫폼에 구현함으로써 이를 쉽게 뒷받침할 수 있습니다.”

퍼블릭 클라우드를 온프레미스에 설치 ‘그린플럼 포 쿠버네티스’
이들이 말하는 싱글 플랫폼은 바로 피보탈이 세계 최초로 한국 시장에 선보인 ‘그린플럼 포 쿠버네티스’다. 간단히 설명하면 아마존 웹 서비스나 구글, 마이크로소프트 등이 제공하는 퍼블릭 클라우드를 이용하면서도 온프레미스(On-Premise)에서 통합 분석 환경을 구현할 수 있게 해주는 솔루션이다. 오픈소스 아키텍처를 표방하는 피보탈의 제품이기에 완전히 오픈소스로 제공되는 특징을 지닌다.
 


‘그린플럼 포 쿠버네티스’에 대한 좀더 자세한 내용은 ‘The Evolution of a Data Platform: A Journey With Greenplum and Kubernetes’ 포스트를 참조해 확인할 수 있다.

“퍼블릭 클라우드를 이용하다보면 점점 더 사일로화 되는 현상이 나타납니다. 심지어는 한 번 넣은 데이터를 다른 데로 이동시키는 것조차 호락호락하지 않습니다. 서비스 업체의 독점 도구나 기술에 새롭게 적응해야 하는 경우도 대부분입니다. 고객 기업이 통제권을 점점 더 잃어가게 되는 겁니다. 이는 오픈소스를 지향하는 클라우드 서비스 벤더를 이용할 때도 어김없이 나타나는 현상입니다.”

로하스 디렉터는 “마치 클라우드 서비스 업체와 결혼한 것과 같다”라고 표현했다. 한번 특정 클라우드 서비스를 쓴다면 결별을 각오하지 않는 한 계속 얽매이도록 옭아맨다는 설명이다. 더 많은 데이터를 손쉽게 분석하기 위해서는 해당 서비스를 더 많이 이용하는 수밖에 없다고 그는 덧붙였다.

“오늘날 기업들이 진짜 원하는 바는 멀티 클라우드 접근입니다. 여러 클라우드 서비스를 이용하되 통제권을 온프레미스에 둠으로써 원하는 유연성을 얻을 수 있습니다. 그린플럼 포 쿠버네티스는 기업들이 사일로 현상을 벗어나 원하는 도구로 원하는 데이터에 접근할 수 있는 단일 분석 환경을 만들어줍니다.”

5S : Saving, Speed, Stability, Scalability, Security
쿠퍼 디렉터는 피보탈 그린플럼 포 쿠버네티스를 통해 멀티 클라우드 분석 환경을 구축함으로써 얻을 수 있는 혜택으로 다섯 가지 ‘S’를 언급했다. 먼저 비용 절감(Saving)이 있다.

“잘 알려진 것처럼 데이터 과학자는 무척 비쌉니다. 그러나 많은 기업에서 이미 활용하고 있는 SQL을 이용할 수 있다면 아주 저렴한 비용으로 데이터 분석을 구현할 수 있게 됩니다. 또 데이터 과학에 접근할 수 있는 사람들이 많아진다는 장점도 있습니다. 비용이 절감하는 동시에 이용층이 넓어지는 효과를 기대할 수 있습니다.”

두 번째는 속도(Speed)다. 기업의 데이터 분석 업무를 소수의 엘리트 데이터 과학자만 처리한다면 병목 현상이 나타나기 마련이다. 또 데이터베이스가 여러 개로 분산돼 있다면 이들 각각에 접근해 분석해야 하기 때문에 느려질 수밖에 없다.

“그러나 싱글 플랫폼으로 구현해 필요한 사람 모두가 접근할 수 있다면 기업의 데이터 업무 속도가 극적으로 빨라집니다. 개발이 빨라지고 반복하는 시간이 줄어드는 겁니다. 예를 들면 하둡에서 3,000개 코드로 7개의 데이터 이동이 필요한 쿼리가 피보탈에서는 35개 라인의 코드로 구동됩니다.”

안정성(Stability)과 관련해서는 로하스 디렉터가 설명을 이어갔다. 미 국세청과 모건스탠리를 비롯해 우리나라의 거대 제조업체들이 실시간 온라인 기반의 분석을 안정적으로 구현하고 있다고 그는 전했다. 백오피스에서 배치로 이뤄지던 분석 작업이 현업 비즈니스에 폭넓게 적용될 수 있는 것 또한 ‘안정성’이 보장되기 때문이라는 설명이다.

네 번째는 확장성(Scalability)이 지목됐다. 비즈니스가 성장하면서 확장의 필요성이 발생하기 마련이다. 데이터 분석 작업은 특히 그렇다. 피보탈 그린플럼은 노트북은 물론, 퍼블릭 클라우드, 수백 개 노드의 커모더티 서비스(서버 환경), 심지어는 가상 서버에서도 구동된다고 쿠퍼 디렉터는 강조했다.

“CIO가 현업에게 ‘노’라고 말하는 상황이 발생하지 않습니다. 그린플럼은 처음부터 더 많은 사람이 원활하게 분석을 이용할 수 있게 개발됐기 때문입니다. 데이터 분석의 민주화에는 동시성(concurrency)이 아주 중요합니다. 수백, 수천 명이 다양한 장소에서 동시에 이용할 수 있습니다. 또 모든 규모의 기업, 모든 규모의 업무에서도 데이터 분석을 이용할 수 있게 된 것 역시 ‘확장성’으로 볼 수 있습니다.”

다섯 번째는 보안성(Security)이다. 시스템이 커질수록 공격면이 증가한다. 이는 곧 패치할 부분이 많아짐을 의미한다. 그러나 오늘날의 빅데이터 시스템은 안타까울 정도로 보안성이 떨어진다고 쿠퍼 디렉터가 지적했다.

“그린플럼의 경우 피보탈 클라우드 파운드리를 기반으로 만들어집니다. 이에 따라 자동으로 패치가 이뤄지고 네트워크는 사전 보안성을 갖추게 됩니다. 플랫폼에 의해 관리되기 때문에 100% 자동으로 설치되는 것도 물론입니다.”

로하스 디렉터는 특히 비용 절감과 속도, 확장성은 피보탈 그린플럼만의 독보적인 강점이라고 목소리를 높였다.

“많은 사람들이 퍼블릭 클라우드로 향하는 이유는 작은 규모로 시작할 수 있고 실제 비용을 절감할 수 있는 것도 사실이기 때문입니다. 그러나 사용이 늘어나면서 업체가 헤게모니를 쥐게 되면 힘의 균형이 깨지기 마련입니다. 벤더의 정책에 의존하는 상황이 펼쳐지는 겁니다. 저렴한 프린터를 샀는데 잉크 카트리지 비용이 더 커지는 형국입니다.”

“아울러 퍼블릭 클라우드에 담기 힘든 민감한 데이터를 분석해야 한다면 피보탈을 통해서만 가능하다고 말하고 싶습니다. 퍼블릭 클라우드와 프라이빗 클라우드, 하이브리드 클라우드를 자유롭게 오가며 분석할 수 있기 때문입니다. 비즈니스가 빠르게 성장하거나 분석 작업이 급증할 것으로 예상되는 기업이라면 피보탈이 단연 해답입니다.”

“딥러닝과 머신러닝의 문턱도 점점 낮아질 것”
IT 발전의 역사는 IT 민주화의 역사이기도 하다. 컴퓨터와 인터넷이 대중화되고 스마트폰이 확산됐던 과정이 고스란히 이를 반영한다. ‘미래는 이미 와 있다. 아직 널리 퍼져 있지 않을 뿐이다’라는 윌리엄 깁슨의 유명한 말도 있다. 오늘날 소수만 누리고 있는 ‘데이터 분석’ 또한 예외가 아닐 것이라는 전망에는 충분히 동의할 수 있다.

“앞으로 피보탈이 주목하고 있는 데이터 관련 동향은 딥러닝과 머신러닝입니다. 현재 차세대 인식 패턴과 같은 분석 영역은 고도로 복잡한 기술을 요구하는 것이 사실입니다. 피보탈은 딥러닝과 머신러닝에 대해서도 지속적으로 민주화를 추구해갈 예정입니다. 차후에는 SQL 인터페이스를 사용해 딥러닝을 이용할 수 있도록 지원할 계획입니다.”

로하스 디렉터는 이어 오늘날 기업들이 이미지 분석 등에 국한돼 딥러닝을 실험하는 경향이 있다고 지적하며, 이러한 접근법에도 의미가 있지만 한계를 지닌다고 진단했다.

“주변 상황과 통합되지 않은 딥러닝은 의미가 제한적입니다. 피보탈은 여러 상황을 통합한 분석이 이뤄질 수 있도록 하는데 초점을 맞추고 있습니다. 궁극적으로 기업이 하는 모든 작업에 애널리틱스를 통합시키려 하는 것입니다. 조만간 그린플럼에 아파치 MADlib(오픈소스 머신러닝 라이브러리)을 접목시켜 선보일 예정입니다.”

 


“꿈의 기업, 꿈을 실현하는 기업”
인터뷰를 앞두고 사전 조사를 위해 접촉한 한 데이터 과학자는 피보탈에 대해 “꿈의 기업”이라고 표현했다. 데이터 과학자 입장에서는 한번쯤 꼭 일해보고 싶은 기업이라는 의미였다. 로하스 디렉터는 자신 역시 그러한 시각에 동의한다고 말했다. 1988년부터 인포믹스, IBM 등 실리콘밸리 기업에서 근무했던 그는 비용이 높고 혁신이 더딘 독점(사유) 분야에 회의를 느끼고 오픈소스 아키텍처와 혁신 지향적, 커뮤니티 친화적인 모습을 보이는 피보탈에 합류했다고 전했다.

“피보탈이 꿈의 기업인 이유는 고객사의 꿈을 실현해주는데 초점을 맞추고 있기 때문이기도 합니다. 단지 기술을 제공하는 것이 아니라 기업이 솔루션을 구동할 수 있는 능력을 함께 제공하는데 중점을 둡니다. 고객과 데이터 과학자와 피보탈 데이터 과학자가 나란히 앉아 같은 화면을 보며 작업하는 페어링(Pairing) 업무 방식이 이를 위해 고안됐습니다. 오픈소스 정책을 통해 모든 코드를 공개하는 것도 같은 맥락입니다.”

마지막으로 쿠퍼 디렉터는 데이터 드리븐 기업으로의 전환이라는 꿈을 실현하기 위해서는 기업들이 기억해야 할 것들이 있다고 제시했다.

“비즈니스 핵심을 빼고 나머지는 아웃소싱하는 게 바람직하다고 여겨지던 시기가 있었습니다. 그러나 디지털 트랜스포메이션의 시대에 앞서가기 위해서는 기업 스스로가 소프트웨어를 반드시 이해해야 합니다. 그래야 주도권을 놓치지 않고 혁신을 지속해갈 수 있습니다. 많은 기업이 외주 기업에 혁신을 의존하는 실수, 기술을 선택한 후 문제를 풀려고 하는 실수를 저지릅니다. 스스로 내외부 문제를 파악하려는 자세, 실패로부터 배워나가는 자세가 필요합니다. 실패는 성공만큼 배울 게 많습니다.”

디지털 트랜스포메이션, 데이터 드리븐 기업으로의 변화에 성공하려면 무엇이 요구될까? 수많은 조언들을 찾아볼 수 있다. 최고경영자의 확고한 의지를 언급하는 이들이 있는가 하면, 우수한 기술을 보유한 파트너 기업과의 협업, 또는 뛰어난 인재 영입을 강조하는 이들도 있다. 때로는 기업 문화의 변화가 언급되기도 한다.

이렇듯 조언과 격언이 많다는 것은 그만큼 종합적인 접근이 요구되는 어려운 미션이라는 의미다. 피보탈은 디지털 기업으로의 변모를 꿈꾸는 기업들에게 ‘스스로 할 수 있는 길을 찾아라, 그래야 제대로 된 성공을 거둘 수 있다’라고 말하는 듯하다. 쿠퍼 디렉터가 전한 피보탈의 기업 사명(Mission Statement) 중 하나인 ‘Do what works’가 새삼 신선하게 해석됐던 이유다. ciokr@idg.co.kr

 

※ 본 내용은 한국IDG(주)(http://www.itworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒITWORLD. 무단전재 및 재배포 금지

 

[원문출처 : http://www.ciokorea.com/news/40288]

맨 위로
맨 위로