[공개SW 활용 성공사례 212] 클라우다인 - 공개SW로 만든 하둡 기반 빅데이터 플랫폼

클라우다인이 설립된 건 지난 2011년. 이 회사의 대표작이라고 할 수 있는 빅데이터 플랫폼인 플라밍고(Flamingo) 1.0 버전이 처음 나온 건 2014년이다. 가장 먼저 궁금했던 건 이 3년이었다. “회사를 처음 설립할 당시만 해도 사람들이 빅데이터를 잘 몰랐어요.” 김병곤 대표 설명을 빌리면 2013년쯤 되니 주위에서 빅데이터 얘기가 나오기 시작했다고 한다. 그렇다면 클라우다인은 뭘 위해 만든 회사였을까. “당연히 빅데이터였다”는 대답이 돌아온다. 김 대표는 법인을 설립하기 전부터 이동통신사 등에서 빅데이터 플랫폼 제작은 물론 운영을 하는 등 대용량 데이터를 다뤄왔다. 대용량 데이터를 다뤘던 수많은 기업이 그랬던 것처럼 비용이 많이 드는 문제를 해결하기 위해 하둡(Hadoop)으로의 전환이 이뤄지기 시작했고 김 대표는 “이건 되겠다”는 생각이 들었다고 한다.

“빅데이터는 늘어나면 늘었지 없어질 수가 없어요.” 앞으로 사물인터넷 시장이 성장하면 데이터는 더 폭증하게 될 것이다. 그는 이런 상황을 감안하면 빅데이터와 이를 활용하려는 분석 시장은 앞으로 더 커질 수밖에 없다고 말한다.

플라밍고가 다른 빅데이터 플랫폼과 다른 점

공개SW를 선택한 이유는 간단하다. 그는 적어도 빅데이터 시장에선 이미 경쟁은 끝났다고 단언한다. 상용SW는 사실상 국내 업체는 대부분 안 하고 못 한다는 것. 그는 “빅데이터 시장에선 공개SW만 살아남을 것”이라고 말한다. 이유는 이렇다. 빅데이터는 상용SW처럼 일률적인 툴로 해결할 수 잇는 분야가 아니다. 기업 같은 운영기관에 따라 고객 요구를 계속 반영할 수밖에 없는 시장이라는 것. 상용SW는 따라가고 싶어도 따라갈 수 없는 분야다. 김 대표의 설명을 빌리자면 이런 이유로 “빅데이터 자체가 공개SW를 위한 시장”인 것이다.

빅데이터 시장의 가능성을 엿본 김 대표는 법인 설립 후 1년이 지난 2012년부터 테크니컬 아키텍트와 함께 단 둘이 플라밍고를 만들기 시작했다.

이렇게 탄생한 플라밍고 1.0은 2014년 선보였다. 플라밍고는 아파치 하둡 에코 시스템을 기반으로 삼는다. 이를 통해 빅데이터 환경을 구축하는 데 필요한 기능을 제공하는 플랫폼인 것. 대용량 파일 조회를 위한 쿼리 에디터(Query Editor)나 분산 파일 시스템 관리를 위한 파일 시스템 브라우저, 전처리와 파일 가공을 위한 피그 에디터(Pig Editor), 맵리듀스(MapReduce) 기반 분석을 위한 워크플로우 디자이너와 맵리듀스 모듈을 포함하고 있다. 이로써 사물인터넷 센서나 각종 연동 서버를 통해 수집한 사물 인터넷 센서 데이터 등 다양한 데이터를 실시간 수집하고 빅데이터 기술을 활용해 분석하는 환경을 기대할 수 있다.

플라밍고의 또 다른 장점은 하둡 에코 시스템을 하나로 통합했다는 것. 관리자와 분석자, 개발자가 동일 환경에서 관리는 물론 운영과 분석, 개발을 할 수 있는 형태를 취하고 있다. 김 대표는 이 부분이 외산에서도 찾을 수 없는 플라밍고의 가장 큰 특징 가운데 하나라고 강조한다. 외산은 대부분 개발자를 위한 툴 중심인 경우가 많지만 플라밍고는 여기에 운영자를 위한 툴까지 포함하고 있다는 것.

김 대표는 또 플라밍고가 단순히 API만 이용하는 게 아니라 모니터링툴 관련 기술도 함께 사용하는 등 여러 기술을 복합 적용, 고객 입장에서 분석이 훨씬 빠르다는 장점도 있다고 설명한다. 또 클라우다인 자체가 빅데이터 관련 공개SW 대응력이 민첩한 점도 특징이라고 강조한다.

올해 6월에는 2.0 버전으로 진화했다. 김 대표는 2.0 버전은 “1.x대 버전과는 아예 다른 것으로, 처음부터 새로 설계한 제품”이라고 말한다. 모든 요소를 재설계했다는 것이다. 클라우다인 입장에서 1.x 버전이 기본 기능 위주로 학습을 하는 시기였다면 2.x 버전은 가야할 길을 찾은 제품이라는 것. 물론 1.x 버전도 하둡 자체의 연결성에는 문제가 없었지만 개발 한계점이 있었던 것도 사실이다. 플라밍고 2.0은 1.x 출시 이후 국방부와 국토부, 한국정보화진흥원, ETRI, 한국생산기술연구원은 물론 삼성전자 등 수많은 공공기관이나 기업과 손잡고 쌓아온 노하우를 반영한 결과이기도 하다. 고객 요구를 반영했다는 것이다. 공개SW를 이용했다는 점 외에도 현장 노하우와 개발 사항을 반영한 결과 개발 기간도 빨랐다. 플라밍고 2.0은 처음부터 재설계한 제품이지만 올해 1월부터 개발자 5명이 붙어서 6개월 만에 탄생했다.

김 대표는 플라밍고 2.0이 “향후 서비스와 발전 방향을 위한 기본 베이스(골격)이 될 것”이라고 설명했다. 기능 자체도 1.x 버전과 견주면 적어도 3∼4배는 더 좋아졌다. 2.0은 UI를 재구성하는 한편 빅데이터 플랫폼 관련 기능 대부분을 포괄하고 있다. 분석과 처리는 물론 시각화와 협업까지 모든 기능을 한 자리에서 처리해낸다. 또 SQL 온 하둡(SQL on Hadoop)을 본격 지원하는 한편 피보탈 HAWQ(Pivotal HAWQ) 외에 타조(Apache Tajo), 앵커스(Ankus)도 지원 목록에 추가하는 등 국내 공개SW도 지원한다.

▲ 플라밍고는 하둡 에코 시스템을 하나로 통합, 관리와 분석, 개발을 단일 환경에서 관리하고 운영, 분석, 개발까지 할 수 있는 공개SW 기반 통합형 빅데이터 플랫폼이다.

글로벌 시장 겨냥한 플라밍고 SaaS 버전 나온다

클라우다인은 지난 몇 년 사이 매년 2배씩 매출 성장을 거듭해왔다. 하지만 김 대표는 국내 빅데이터 시장이 여전히 쉽지 않다고 말한다. 공공사업을 예로 들면 국내 문화상 중견SI 중심으로 진행하고 사업 수주와 진행만 하면 되는 식이라는 것도 한 몫 한다.

“쉽게 말해서 용역이죠. 데이터 분석까지 용역에 맡기는 경우가 허다해요.” 데이터 분석 플랫폼이 있어도 운영자 측이 직접 하지 않는 경우가 많다는 것. 데이터로 뭔가를 하려면 데이터를 다뤄본 경험이 쌓여야 하는데 정작 운영사에는 이런 노하우가 쌓이지 않게 된다.

김 대표는 또 다른 문제로 데이터 분석이라는 게 시간이 필요하고, 끈질김이 요구되는데 용역 중심으로 무조건 언제까지 결과가 나와야 한다는 식이 많다고 말한다. 분석을 한다고 해도 데이터 분석을 단순 용역, 단순 개발과 같다고 인식하는 것도 문제다. 이러다 보니 클라우다인도 말도 안 되지만 데이터가 없어도 분석을 요구받는 상황을 접하기도 했다고 한다.

클라우다인은 이런 문제를 해결하기 위한 포석을 준비하고 있다. 김 대표는 국내에선 아직도 서브스크립션 커머스(Subscription Commerce) 형태로 공개SW를 쓰는 데 인색하다면서 공개SW는 기술에 대한 라이선스보다는 서비스에 대한 비용 중심이 되어야 한다고 말한다. 플라밍고를 사스(SaaS) 형태 서비스로 개발하려는 이유도 여기에 있다. 2016년 선보일 예정인 플라밍고의 사스 버전은 우선 해외 시장에만 선보일 계획이다. 라이선스 계약이 아니라 운영 지원 서비스 계약을 맺으면 플라밍고 사스 서비스는 무료로 이용할 수 있는 식이다.

김 대표가 이렇게 운영 지원 서비스 중심으로 비즈니스 모델을 구현하려는 이유는 하둡의 가장 큰 이슈가 운영에 있다는 데에 있기 때문이다. 김 대표 설명을 빌리자면 “하둡에서 한 번 오류가 나면 희한한 게 나와 관리가 어렵다”는 것. 운영 계약을 연간 단위로 하면 플라밍고 사스 버전을 무상 제공해 운영사 측의 부담을 줄이고 공개SW 기업은 새로운 개발 여력을 창출할 수 있다는 것이다. 단 플라밍고 사스 버전에는 분석 기능은 빠지며 운영 중심으로 구현하게 된다. 글로벌 서비스로 진행하는 만큼 한국어 외에 중국어와 영어를 이미 지원하는 데 이어 일본어 지원도 추가한다.

2016년 하반기에는 플라밍고 3.0도 나온다. 앞서 소개한 사스 형태 버전을 상반기에 선보인 뒤 이 기능을 포함해 여기에 하둡 운영용 버전을 추가한 통합 저전을 내놓는 것이다. 플라밍고 사스 버전은 3.0의 선행 기술화 과정인 셈이다.

플라밍고는 커머셜이나 커뮤니티 버전이 다르지 않다. 어차피 빅데이터 자체는 철저하게 B2B 비즈니스다. 앞서 설명했듯 서비스 중심인 것. 클라우다인은 플라밍고를 오픈소스 라이선스인 GPL v3으로 개발, 모든 소스 코드는 깃허브 등에 공개하고 있다. 지금은 자잘한 업데이트를 할 때마다 소스를 올리지 않고 릴리즈할 때에만 깃허브에 공개하고 있지만 3.0 버전부터는 아예 공개 상태로 유지를 할 계획이라고 한다.

▲ 올해 선보인 플라밍고 2.0은 처음부터 재설계한 기존과는 전혀 다른 제품이다. 기능 자체도 1.x 버전과 견주면 적어도 3∼4배는 더 좋아졌다.

[인터뷰]

“유저 중심 공개SW 시장, 개발자 중심으로 바뀌어야”

클라우다인 김병곤 대표이사

Q. 공개SW를 택한 이유는 무엇인가?

A. 생태계죠. 개발사를 늘 깨어있게 만든다는 것. 현재 클라우다인의 직원 수는 10명인데 7명은 개발자입니다. 개인적으로는 회사 문화를 고정시켜놓지 않으려 애쓰고 있어요. 마인드가 깨어 있어야 뭔가 도전할 수 있으니까요. 공개SW 중심으로 열린 상태에서 개발을 하다 보니 지시를 굳이 하지 않아도 직원이 알아서 만드는 것도 많아요. 이런 공개SW의 특성상 공개SW는 개발자도 실력 키우기 좋은 대상인 동시에 고객에게도 소스 코드가 가기 때문에 개발 유연성을 보장할 수 있는 등 서로에게 장점이 있다고 봅니다.

물론 단점도 있어요. 아직까지 국내에선 서브스크립션 공개SW 모델에 대한 인식이 너무 낮고 공개SW라고 하면 그냥 공짜라는 인식이 너무 강하죠. 공개SW라고 가격이 제로라는 건 아니죠. 이런 점에는 인식의 전환이 필요합니다.

Q. 국내 공개SW 시장이 발전하려면 어떤 게 필요할까.

국내 공개SW 시장은 아직까지 남이 만든 걸 가져다 쓰는 유저 중심입니다. 공개SW가 활성화되려면 결국 개발자 중심으로 가야 합니다. 유저 중심에서 탈피해야 한다 거죠.

이런 점에서 개발사에 대한 지속적인 지원이 필요합니다. 정부나 공공기관이 공개SW를 많이 쓰라고 권하지만 이런 지원을 받으려고 해도 결국 법인 형태 회사가 있어야 하고 이렇게 하려면 먹고 사는 문제가 중요할 수밖에 없죠. 그런데 유저 중심으로 공개SW 시장이 있고 유저는 공개SW를 그냥 공짜라는 인식을 하고 있다면 인식의 전환도 필요하고 다른 한편으로는 개발자 중심이 될 수 있는 토대를 마련해주는 게 중요합니다. 이런 점에서 공개SW를 위한 연구과제 지원이 절실합니다. 플라밍고 또한 공개SW 개발지원사업의 지원으로 일부 핵심기술을 개발하는데 도움을 받았습니다. 다만 이러한 제도가 아쉬운 점이 있다면, 제대로 된 공개SW 하나를 개발하려면 3∼4년씩 필요한 것도 많은데 매년 1회성 과제 중심으로 진행하는 것도 생각해볼 문제 아닐까 싶어요.

- 공개SW 역량프라자