[Tajo] (1) 실리콘밸리에 첫발을 내디딘 아기 타조

<FEATURED STORY>

타조, 변방을 넘어 초원을 향해 달리다(1)

프롤로그 : 실리콘밸리에 첫발을 내디딘 아기 타조

푸른 하늘, 깨끗한 공기, 그리고 평온함……. 겨울을 앞둔 11월 미국의 써니베일은 걷기만 해도 기분 좋아지는 동네다. 미국 개발자들의 왕성한 오픈소스 활동의 비결은 거리에서 느껴지는 여유가 아닐까 생각될 정도다. 하지만 당시 그곳을 방문한 한국인 네 명에게는 그저 고요하고 먹먹하게 느껴질 뿐이었다.

그루터의 권영길 대표, 최현식 박사, 장정식 수석, 김진호 책임은 2013년 11월 5일 저녁 실리콘밸리 써니베일에 위치한 링크드인에서 열린 하둡 유저 그룹의 스페셜 ‘밋업(Meet Up)’ 행사의 발표를 앞두고 있었다. 행사장에는 하둡 커미터, 하이브 커미터, 링크드인 시니어 엔지니어 등 200여 명의 빅데이터 기술 전문가들이 빼곡히 자리를 채웠다.

한국은 미국 내 빅데이터 분야에서는 변방과 다를 바 없었다. 그래서인지 몰라도 전문가들의 눈빛은 더 날카롭게 느껴졌다. 네 명에게 주어진 시간은 단지 40분. “짧은 시간에 준비한 것들을 모두 선보일 수 있을까”라는 생각도 사치였다. 타조 최초 발의자인 최현식 박사는 당시 발표를 앞두고 떨렸던 마음을 이렇게 표현했다.

“미국 소프트웨어 기술의 심장부인 실리콘밸리의 공식 행사에서 영어만을 사용해 타조를 발표하려니 많이 떨렸습니다. 전문가 중의 전문가들 앞에서 발표하는 게 부담스러웠죠.”

실리콘밸리의 개발자들은 발표라고 해서 그다지 엄숙한 분위기를 조성하지는 않는다. 학회 같은 곳에서 발표를 하더라도 호주머니에 손을 넣고 하는 것은 예삿일이었다. 이날 발표도 크게 다를 것은 없었다. 리허설 시간도 없이 곧바로 발표가 시작됐다. 그들에겐 편한 분위기였으나, 생전 처음 실리콘밸리에서 발표해야 했던 이들에겐 이러한 분위기가 더 부담스럽기만 했다.

이날 이들은 ‘타조(Tajo)’라고 하는 SQL온하둡 계열 솔루션을 미국에 선보였다. 발표는 최현식 박사 20분, 장정식 수석 15분, 질의응답 5분으로 구성됐다. 최 박사가 먼저 발표했다. 그는 떨리는 마음을 애써 감추며 링크드인 측에서 세팅한 노트북에 USB 스틱을 꼽아 PPT 파일을 실행했다. 마침 강대상에 레이저포인터도 있어서 손에 쥐었다. 대략적인 발표 내용은 아래와 같았다.

- 타조 아키텍처
- 타조의 향후 계획
- SQL 지원 계획
- 타조의 쿼리 최적화
- Impala 및 Hive와의 성능 비교
- 타조 0.2 소개 (발표는 11월 초, 0.2 버전은 11월 중순에 공개)
- SKT 적용 사례 소개

최현식 박사가 밋업 행사에서 타조 발표를 하고 있다

앉아 있던 200여 명 중 누구를 보면서 발표를 해야 할지 몰랐고, 손바닥도 얼음장처럼 차가웠던 것 같다. 레이저 포인터가 Q&A로 화면을 돌렸을 때가 돼서야 발표가 끝났다는 게 느껴졌다. 김연아가 세계 피겨 대회 무대에서 마지막 손동작을 끝냈을 때 어떤 기분이었을까. 또, 관중들은 어땠을까. 아마 그 자리에 있던 4인방도 비슷한 심정이 아니었을까 싶다. 그렇게 3년의 세월은 단 40분에 녹여졌다.

반응은 폭발적이었다. 박수갈채와 함께 날카로운 질문 공세가 쏟아지기 시작했다. 행사가 끝나고도 하이브와의 테스트 등 타조의 성능에 대한 질문은 계속됐다. 링크드인 개발자는 발표 직후 그 자리에서 자발적으로 컨트리뷰터로 지원했고, 넷플릭스, 트위터 등의 서비스 회사들도 타조 관련 기술 도입을 검토했다. 넷플릭스에서 근무하는 한 오픈소스 커미터는 이를 보고 자신의 페이스북에 “아름답지 않은가”라고 소감을 남겼다.

그럴 수밖에 없던 것이 지난해 말부터 임팔라(Impala), 드릴(Drill), 스팅거(Stinger), 호크(Hawk) 등 SQL-온-하둡 기술은 많은 인기를 끌어왔지만 임팔라 외 다른 기술들은 테스트할 수 있는 시스템조차 구축이 안 돼 있던 상황이었다. 임팔라의 경우 설계 원칙과 아키텍처는 빠른 인메모리 질의 처리에 특화돼 있으나 모두를 만족시킬 수는 없었다.

이러한 상황에서 타조가 테스트할 수 있는 기술로 등장했다는 것 자체가 센세이션이었다. 게다가 한국의 한 벤처 회사에서 만들어졌다니. 최대 하둡 유저 그룹의 초청을 받아 발표를 했다는 점도 관심을 모으는 데 한몫을 했다.

왼쪽부터 김진호 책임, 최현식 박사, 권영길 대표, 장정식 수석

밋업이 끝난 링크드인 행사장은 저녁에도 붐볐다. 그루터의 4인방을 찾아오는 미국 개발자들이 끊이지 않았다. 이들은 밤늦게까지 맥주잔을 부딪치며 서로를 격려했다. 다음 날에는 넷플릭스와 트위터를 방문했고, 그곳에서도 많은 질문과 관심, 격려를 받았다. 이제서야 타조가 드넓은 초원에서 힘찬 뜀박질을 시작할 준비를 마친 것이다.

아직 가야 할 길이 많이 남아 있지만, 큰 산을 넘은 것은 분명했다. 지나온 수많은 어려움들과 시행착오들이 주마등처럼 스쳐 지나간다.

때는 2008년.

한 대학의 데이터베이스 연구실에서 박사과정으로 대용량 데이터 처리를 연구하는 학생이 있었다. 이 학생은 어느날 연구실에 놀러 온 담당 교수의 후배를 통해 운명처럼 하둡을 만났다. 당시 교수의 후배는 하둡이 유망 기술이라고 강조했다. 그는 계속해서 데이터 처리 기술을 연구했다. 맵리듀스, 하이브가 있긴 했지만 코드가 너무 이질적이었다. 마침내 그는 독자적인 데이터 처리 기술을 만들기로 결심했다. 커다란 알 속에 타조 한 마리가 잉태되는 순간이었다.

유재석 기자

무미건조해 보이는 숫자들 속에서 '가치'를 발굴합니다.
소셜커머스, 오픈마켓 등 데이터로 가치를 만드는 곳이라면 어디든 찾아갑니다.
yoojs@imaso.co.kr www.facebook.com/YuJaeSuk medium.com/@yoojs8512