본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

“클라우데라 개발 문화? 배우고 소통하죠”

OSS 게시글 작성 시각 2012-09-19 13:56:09 게시글 조회수 5354

2012년 09월 17일 (월)

ⓒ 블로터닷넷, 이지영 기자 izziene@bloter.net



“기술은 영원하지 않습니다. 그렇기에 개발자는 항상 최신 기술에 대해 깨어 있어야 합니다. 지금 이 순간에도 새로운 기술이 나오고 있으니까요. 일 하면서도 끊임없이 배우는 것, 그게 바로 장수하는 좋은 개발자가 될 수 있는 지름길이라고 생각합니다.”

올해로 5살을 맞이한 NHN 개발자 컨퍼런스 ‘데뷰(DEVIEW)‘에 처음으로 외국인 개발자가 떴다. 아론 T. 마이어 클라우데라 소프트웨어 엔지니어도 그 중 한 명이다. 그는 빅데이터 처리 플랫폼 회사인 클라우데라 대표 개발자로 이번 개발자 행사에 참석했다. 클라우드데라 한국 출신 동료인 박철수 개발자와의 인연으로 이번에 처음 한국을 찾았다.

아론 엔지니어는 데뷰 강연에 앞서 진행된 블로터닷넷과의 인터뷰에서 장수하는 좋은 개발자의 조건으로 ‘배움과 소통’을 꼽았다. 자신도 늘 최신 하둡 관련 기술에 귀를 기울이고 있으며, 개발 과정에서 겪는 어려움을 동료와 함께 나누기를 주저하지 않는다면서 말이다.

“혼자 일하고 배우는 사회가 아닙니다. 누군가 제가 한 일에 대해서 일거수일투족 감시하고 지시를 내리는 것도 아니지요. 개발자라면 유연하고 탄력적으로 근무할 수 있어야 합니다. 자기 자신에게 동기부여를 하면서 내가 무엇을 할 수 있고, 무언가 이루기 위해선 어떻게 해야 하는지, 다른 사람들과 어떻게 협력할 것인지를 파악해야 개발자로서 오랜 기간 동안 사랑받을 수 있다고 생각합니다.”

그의 이런 생각은 클라우데라의 개발 문화하고도 이어진다. 클라우데라서 일하는 개발자들은 좋은 개발자를 두고 국경을 따지지 않는다. 그들에게 있어 언어의 장벽과 문화 차이는 부차적인 문제일 뿐이다. 개발자 자신이 가진 생각과 기술을 펼치기 위한 준비를 어느 정도 갖추고 대비하고 있느냐일 뿐이다.



클라우데라서 일하기까지

클라우데라는 빅데이터 처리 플랫폼으로 잘 알려진 하둡을 다루는 회사다. 하둡은 클라우드 컴퓨팅을 위한 핵심 기술로 대용량 분산 파일 수십 페타바이트(PB)에 이르는 대용량 데이터를 쉽고 간편하게 처리하고 분석할 수 있게 도와준다. IBM과 오라클 등 해외 유명 IT기업들은 클라우데라와 손잡고 빅데이터 시장 공략에 한창이다.

아론 엔지니어는 클라우데라에서 하둡 분산 파일 시스템(HDFS) 쪽 일을 맡고 있다. 대학교 시절 하둡 분산 파일 시스템에 관심을 두고 음악 추천 서비스 쪽에서 일한 게 계기가 됐다. 이전까지는 단순 하둡 사용자였을 뿐이다.

“클라우데라에 합류한 지 이제 막 2년이 조금 넘었습니다. 이전엔 AMI 스트리트 닷컴이라는 온라인 뮤직 스토어에서 고객 추천 서비스를 만드는 일을 담당했습니다. 이때까지만 해도 하둡 사용자였죠. 이후 하둡이 고객 추천을 위해 데이터를 어떻게 추출하고 분산시키는지 과정을 보고 매료됐습니다. 같은 회사 동료가 2010년 초 클라우데라로 이직하기에 저도 따라나섰습니다. 그때부터 하둡 개발을 주도하게 됐습니다.”

온라인 뮤직 스토어에서 매출을 높일 때 가장 중요한 부문이 구매 추천이다. 과거 고객이 구매한 앨범 정보를 읽는 일부터 시작해 무엇을 선택해서 실제로 구매했는지 일련의 과정을 살펴야 한다. 2008년과 2009년 하둡을 접했을 때만 해도 이 작업이 상당히 힘들었다고 한다. 고객 데이터를 일일이 뽑기도 어려웠고, 뽑은 데이터를 다시 재분류하는데도 시간이 걸렸다. 그 후 하이브와 피그 같은 하둡을 좀 더 원활하게 쓸 수 있는 관리 도구들이 등장하고, 추천 알고리즘을 간편하게 적용할 수 솔루션도 개발되면서 상황이 변했다.

“몸소 하둡의 발전 가능성을 보고나니 해당 분야가 더욱 매력적으로 보이더군요. 이직 후 저도 하둡에 대해서 많이 배웠습니다. 처음엔 보안 쪽 관련한 스냅샷 기술을, 그다음 관리를 거쳐 지금은 HDFS 고가용성에 대해서 주로 고민하고 있습니다.”


클라우드데라서 일한다는 건

클라우드데라는 크게 3개 팀으로 이뤄져 있다. 플랫폼, 엔터프라이즈, 키친팀이 있다. 플랫폼 팀은 오픈소스 소프트웨어를 개발하는 일을 전담하는 부서다. 주로 HDFS, 맵리듀스, 하이브, 피그, 스쿱, 플럼 등 하둡 생태계를 만든다. 엔터프라이즈 팀은 애플리케이션 관리와 모니터링 쪽 관련한 애플리케이션 개발을 맡는다. 클라우데라서 조금 특이한 조직을 꼽자면 단연 키친이다. 나머지 두 팀에서 하지 않는 일을 모두 전담한다는 키친은 클라우데라가 자랑하는 조직이기도 하다.

“키친은 플랫폼 통합을 비롯해 내부 소프트웨어 관리도 맡고 있습니다. 이름이 키친인 건 구글 성격이 강합니다. 구글 출신 한 엔지니어가 ‘구글의 제품이 뛰어난 이유는 키친팀이 있어 가능했다. 모든 것이 키친에 있고, 키친에서 모든 것을 관리하기 때문이다’라고 말하면서 저희도 뛰어난 제품을 만들기 위해 키친팀을 만들었죠. 나름 개발자들 간 유머인데, 조금 공감하기는 어렵죠? 하하.”

클라우데라는 개발회사답게 개발자들을 우선 배려하는 성격이 강하다. 자유로운 출퇴근 시간을 비롯해 재택근무 등 대부분 자유로운 근무환경을 자랑했다. 아론 엔지니어의 출근 시간도 상황에 맞춰 바뀐다. 그는 주론 아침 늦게 출근해 저녁 늦게까지 개발하는 걸 선호하는 편이다.

“굉장히 유연한 회사입니다. 그만큼 서로 믿기 때문에 가능한 일이기도 하죠. 클라우데라는 개발하는 과정에서 개개인이 최대한의 재능을 발휘할 수 있는 환경이 다르다는 걸 알고 있습니다. 집에서 일하는 게 더 좋은 사람도 있고, 회사에서 늦게까지 일하는 게 더 좋은 사람이 있을 수 있습니다. 따라서 근무환경은 개발자의 근무 성향을 최대한 존중하는 편입니다.”

자유로운 근무 환경에서 빠지지 않는 게 협업이다. 클라우데라는 혼자 일하는 것보다는 여럿이서 고민해서 결과물을 만드는 걸 선호하는 문화를 갖고 있다고 한다. 최대한 소규모로 팀을 구성해 팀원 간 대화가 자유롭게 이뤄질 수 있도록 하는 일부터 시작해, 서로의 문제를 공유하기를 꺼리지 않는다.

“결국 우리가 해결해야 하는 문제는 고객으로부터 나온 게 많습니다. 기능부터 시작해서 서비스까지 혼자만 고민한다고 해서 나오는 게 아니지요. 저희 팀 동료만 해도 4명인데, 서로 정보를 주고받고, 고민하기를 꺼리지 않습니다. 오픈소스 프로젝트에서 다들 일하고 있는 경험도 협업에 한몫하는 편이지요.”

자유로운 의견 교환과 협업은 지식을 쌓은 기회로도 작용한다. 대화 중에 자신은 모르는 기술을 동료가 설명할 때, 이는 개발자 개인에게 적절한 자극으로 작용한다. 아론 엔지니어도 마찬가지다. 그가 최근 자극받아 공부하고 있는 분야는 다른 파일 시스템과 빅 쿼리 엔진이다.

“맵리듀스가 대용량 배치로 돌아가는 프로세스엔 좋지만 실시간 처리에는 조금 아쉬움이 남습니다. 상호 작용 가능한 인터랙티브 쿼리 시스템에 관심이 있어 요즘 빅쿼리를 살펴보고 있는 편입니다.”

아론 엔지니어는 이번 데뷰 행사에서 HDFS를 어떻게 활용하고 있는지, 지난 2년 동안 HDFS가 얼마나 발전했는지 활용 사례를 소개할 예정이다. 아론 엔지니어는 이제 막 하둡의 관심을 가진 초보 개발자들도 소화할 수 있는 난이도 ‘중’의 강연이라고 설명했다. NHN은 이번 개발자 행사를 추후 영상으로 공개할 계획이다.



※ 본 내용은 (주)블로터 앤 미디어(http://www.bloter.net)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒ 블로터 앤 미디어. 무단전재 및 재배포 금지



[원문출처 : http://www.bloter.net/archives/127590]

맨 위로
맨 위로