본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

내부 훈련으로 빅 데이터 스킬 갭 극복 '페르사도의 사례'

OSS 게시글 작성 시각 2013-10-15 16:17:01 게시글 조회수 3555

2013년 10월 07일 (월)

ⓒ CIO Korea, Thor Olavsrud | CIO



최근 컴티아(CompTIA)가 미국의 비즈니스, IT 임원 500 명을 대상으로 진행한 서베이에 따르면, ‘직원들의 데이터 관리 및 분석 역량에 어느 정도, 혹은 상당한 부족함이 있다'고 생각하는 기업이 절반 이상이었다. 데이터 활용에 있어 선도적 위치에 서 있는 기업의 50%가, 그리고 평균적 혹은 후발 주자로서 데이터 활용 활동을 진행하고 있는 기업 가운데는 71%가 이와 같이 응답했다.

특히 데이터 포착 실패로 인해 시간이 낭비되고 우선순위 설정에 혼란이 오는, 그리고 판매량이 감소하고 신속성이 상실되는 등의 여러 문제가 이들 기업들이 고민하는 바였다.

더욱이 업계 전문가들은 스킬 부족 현상이 앞으로 더욱 심각해질 것이라는 전망을 내놓고 있는 상황이다. 맥킨지 글로벌 인스티튜트(McKinsey Global Institute)는 2018년에는 빅 데이터 관련 전문가 수요-공급의 격차가 미국 내에서만 170만에 이를 것이라 전망하기도 했다(고급 기술 및 분석 전문가 14~19만 명, 빅 데이터 결과물 작업 역량을 갖춘 매니저 및 애널리스트 150만 명).

그러나 컴티아의 리서치 및 마켓 인텔리전스 사업부 부사장이자 이번 2차 연례 빅 데이터 인사이트 앤 오퍼튜니티(Big Data Insights and Opportunities) 연구의 저자인 팀 허버트는 상황이 생각만큼 심각하지는 않다고 진단했다.

“최고급 수준의 빅 데이터 역량을 필요로 하는, 예를 들자면 포천 100 그룹에 속할 정도의 기업들에겐 전문가 부족이 있을 것이다. 반면 중소 업체들의 경우에는 약간의 인력 충원에 더해 기존 직원들을 재교육하는 방식으로 자신들이 필요로 하는 빅 데이터 역량을 충당할 수 있을 것이다."

"빅 데이터 관련 툴은 지속적으로 성숙해나갈 것이며, 이러한 툴의 기능 및 사용 편의 향상은 다른 영역의 전문가들이 빅 데이터를 이해하는데 많은 도움을 줄 것이다. 다른 여타 테크놀로지들과 마찬가지로, 빅 데이터 역시 아직 우리에게 익숙하지 않을 뿐, 완전히 다른 세상에 있는 개념이 아니다”라고 설명했다."

하둡은 불가해한 존재 아니다
시장의 대표적 하둡(Hadoop) 공급자 가운데 하나가 클라우데라(Cloudera)다. 이 기업의 교육 서비스 사업부 부사장 사라 스페늘은 “트레이닝은 우리 클라우데라의 핵심적 전략 요소 가운데 하나다. 하둡은 새로운 테크놀로지고 따라서 스킬 갭이 존재할 수 밖에 없다. 하지만 교차 트레이닝(cross-training) 전략을 활용한다면, 이 문제를 보다 쉽게 극복할 수 있을 것이다. 아무리 낯설더라도 하둡 역시 이 세상의 이미 있는 존재다. 기존의 개발자와 애널리스트, 관리자들에게 교차 트레이닝을 제공해보라”라고 말했다.

‘마케팅 언어 엔지니어링(Marketing Language Engineering)’의 선구자 페르사도(Persado)의 사례는 참조할 만하다. 페르사도는 수학과 계산적 언어, 그리고 빅 데이터를 활용하는 시스템 방법론을 통해 브랜드들이 모든 디지털 접점들에서 이뤄지는 메시지 타깃팅 과정을 최적화 할 수 있도록 지원하는 기업이다.

페르사도의 최고 재무 책임자 매튜 노빅은 “우리는 수학적, 언어학적, 테크놀로지적 측면에서 마케팅 메시지의 ‘유전자'를 새롭게 관찰하고 이를 해체, 재구성한다. 이 과정을 통해 마케팅 메시지는 마케터의 의도를 더욱 잘 반영할 수 있게, 그리고 고객의 적극적 반응을 이끌어낼 수 있게 발전할 수 있다”라고 말했다.

이러한 과정을 수행하기 위해서는 지속적 데이터 수집 역량과 그 대량의 데이터를 처리할 수 있는 역량이 요구된다. 페르사도의 비즈니스는 이 과정을 그들의 데이터 웨어하우스에 의존하고 있었다.

페르사도의 개발 팀이 초점을 두고 있던 부분은 기업의 인프라스트럭처를 데이터 과학자들이 필요로 하는 사항들에 맞춰 정렬하는 것이었다. 기업의 데이터 과학자들은 정기적인 핵심 성과 지표(KPI, Key Performance Indidator) 보고 수집, 복수 소스로부터 수집되는 데이터 관리, 맞춤형 분석 과정 대비, R 참조 실행(reference implementation) 기반의 자바(Java) 내 특정 통계 알고리즘 실행 등을 필요로 했다고 노빅은 설명했다.

그런데 페르사도가 사업을 시작하지 얼마 지나지 않았던 2010년, 그들이 데이터 웨어하우스 운영에 이용하던 관계형 데이터베이스 관리 시스템(RDBMS, Relational DataBase Management System)에 문제가 발생했다.

페르사도의 소프트웨어 팀장이자 애플리케이션 설계자인 크리스토 소울리오스가 이끄는 개발 팀은 NoSQL 환경으로의 이전 작업에 들어갔다. 그러나 데이터의 분석 및 보고 과정에서 요구되는 정교함이 커지게 되면서, 소울리오스의 팀은 온라인 분석적 프로세싱(OLAP, OnLine Analytical Processing) 시스템을 자체 테크놀로지 스택(technology stack)으로 분리해야 하는 상황에 직면했다.

하둡이를 위한 솔루션으로 소울리오스는 아파치 하둡(Apache Hadoop)에 주목했다.

소울리오스는 “아파치 하둡은 몽고DB(MongoDB), MySQL 설정 서버, 그리고 아파치 카프카(Apache Kafka) 및 아파치 주키퍼(Apache ZooKeeper)에 구축된 라이브러리를 활용하는 아마존 웹 서비시즈(AWS, Amazon Web Services) S3 내 정형, 반정형 파일들에 의해 장착되는 아파치 로그(Apache log)들과 같은 페르사도의 복수의 데이터 소스들로부터 데이터를 수집, 종합, 처리하기에 알맞은 솔루션이었다”라고 말했다.

하지만 이 과정은 구상만큼 쉬운 것이 아니었다. 페르사도엔 기능 확대 및 시스템 측정에 필요한 데이터 엔지니어가 없었던 것이다. 더욱이 페르사도는 뉴욕과 런던에 본사를 둔 글로벌 기업이었지만 개발 팀의 경우에는 그리스 아테네에 기반을 두고 있었기에 적합한 빅 데이터 전문가를 모집함에 있어 더욱 큰 어려움이 있었다.

페르사도의 엔지니어링 사업부 부사장 신위 황은 “우리의 개발 인력 및 자원의 대부분은 아테네에 있다. 빅 데이터가 보다 널리 자리 잡은 미국과 달리 그리스에서 이는 아직 초기 단계에 머무르고 있다”라고 말했다.

교육을 통한 빅 데이터 인력 양성에 주목한 페르사도
문제 해결을 위해 새로이 인력을 충원하는 대신, 페르사도는 자체적으로 빅 데이터 전문가를 양성하기로 결정했다. 여기에는 클라우데라, 정확히는 클라우데라 유니버시티(Cloudera University)의 지원이 있었다. 소울리오스와 개발 팀원들은 클라우데라 유니버시티의 커리큘럼 팀의 도움으로 일주일간의 맞춤형 현장 트레이닝 코스를 진행할 수 있었다.

아파치 하이브(Apache Hive) 및 아파치 피그(Apache Pig)의 강연에서 소울리오스는 “클라우데라와의 협업은 즉각적인 효과를 가져다줬다. 무엇보다 그들의 데이터 애널리스트 트레이닝 프로그램의 가장 큰 장점은 개발자와 애널리스트 모두에 있어 지원이 제공된다는 점이었다. 이러한 수준의 지원을 제공하는 기업은 클라우데라 뿐이었다. 그들의 집중 워크샵에는 또한 최근 많은 지지를 받고 있는 CCDH 인증 테스트가 옵션으로 제공되는, 아파치 하둡용 클라우데라 개발자 트레이닝 프로그램 역시 포함되어 있었다”라고 설명했다.

황 또한 “테크놀로지를 직접 다루고 그것을 통해 가능한 과정들을 이해하는데 있어 현장에서 트레이닝을 진행하는 것은 많은 장점이 있다. 그간 우리가 낡은 방식으로 다뤄오던 데이터들에 실제로 새로운 테크놀로지를 적용하는 것이 가능하기 때문이다. 클라우데라 커리큘럼 팀은 빅 데이터 테크놀로지에 관한 풍부한 실제적 경험을 갖추고 있었고, 그것을 우리에게 전달해줬다. 그들의 지원을 통해 개발자들, 특히 아테네 현지의 개발자들은 새로운 테크놀로지에 대한 낯섦을 해소할 수 있었다”라고 덧붙였다.

하둡은 판도 바꾸는 기술
황은 트레이닝 프로그램 이후 페르사도가 하둡과 하이브, 피그를 활용한 새로운 데이터 웨어하우스 기능을 성공적으로 구축할 수 있었다고 전했다.

스페늘은 “하둡은 앞으로 시장의 판도를 바꿀 새로운 테크놀로지다. 우리는 언제까지 과거에 머무를 수 없다. 이제는 훈련에 투자해야 할 때이다. 개인의 힘으로 이를 배워나가는데는 한계가 있다. 하지만 훌륭한 프로그램을 통해 일주일만 훈련을 진행한다면, 당신의 뛰어난 인재들은 이 새로운 테크놀로지를 최대한으로 활용할 전문가로 거듭날 수 있을 것이다”라고 강조했다.



※ 본 내용은 한국IDG(주)(http://www.itworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒITWORLD. 무단전재 및 재배포 금지


[원문출처 : http://www.ciokorea.com/news/18568]

맨 위로
맨 위로