2013년 빅 데이터 시장 현황 3 - 빅 데이터 활용, 숨은 그림 찾기는 '시작됐다'

빅 데이터와 관련해 100% 예상되는 것이 있다. 빅 데이터의 위력은 앞으로도 더할 것이라는 것이다. 인터넷과 무선 네트워크, 소셜 미디어 그리고 모바일 기기, 센서, 테크놀로지의 보급 등 점점 더 증가하는 빅 데이터를 파악할 수 있다면 누구나 이 정도 예측은 할 수 있을 것이다.

이미 수요 예측에서 타깃 마케팅, 사고 예방, 의료 연구에까지, 빅 데이터는 모든 비즈니스 활동들을 변화시키고 있다. 전통적인 대기업들 역시 빅 데이터를 미래 성장 동력으로 인지하고 활용 방안을 고민하고 있다.

빅 데이터 관련 전문가들은 하나같이 빅 데이터 속에 무궁무진한 기회 요소가 있다고 설파하고 있지만 기업들은 자사의 빅 데이터 속의 가치를 찾아내기 힘들다. 이제 그간 찾기 힘들거나 시간이 없어 버려야 했던 자사의 그림 속에서 숨은 그림을 찾아야 할 때가 된 것이다.

누군가 '우리는 이렇게 통찰력(Insight)를 얻었다'고 공개해도 그 사례는 해당 기업만의 숨은 그림일 확률이 높다. 다른 기업들에게는 그 숨은 그림이 '숨은' 것이 아닐 수도, 가치가 있는 그림이 아닐 수도 있다. 빅 데이터의 종류와 유형은 각 업종 별마다 다르며, 분석 기준은 해당 시장 순위별로 각기 다르며, 가치 또한 다르다는 점이다. 그래도 활용 사례에 관심을 둬야 하는 이유는 업종별로, 순위별로 응용이 가능하기 때문이다.

기업들이 빅 데이터를 활용하기 이전에 우선 짚고 넘어가야 할 네 가지 사항이 있다.

- 어떤 데이터를 고려해야 하나?
- 데이터를 어떻게 수집하나?
- 빅 데이터 도입이 회사에 어떤 실질적 혜택을 주나?
- 빅 데이터의 투자 대비 성과는 어떻게 측정하나?

무엇보다도 빅 데이터를 잘 활용하려면 빅 데이터가 자신의 기업에 의미하는 바와, 향후 빅 데이터 도입에서 얻고자 하는 것을 반드시 찾아내는 것이 무엇보다도 중요하다.

빅 데이터 활용 경쟁, 카드사에서 시작되다
지난해 국내 시장에서 빅 데이터에 대한 이슈를 많이 던진 업종은 카드 업종이다. 이 업종은 영업 경쟁이 치열하고 마케팅과 서비스 요소에 따라 실적이 좌우되는 시장인데다가, 특히 얼리어답터 역할을 하는 카드업체가 먼저 도입한 IT 기술이 가시적인 효과를 보게 되면, 우후죽순 도입하는 경향이 짙은 시장이기도 하다.

지난해 12월 초, "커피 전문점의 진정한 최고 고객은 남성이다. 다만 20대에서만 여성이다"라는 상식을 깨는 발표가 이목을 끈 적이 있었다. 이런 결과를 발표한 곳은 시장 조사기관이 아니라 현대카드였다. 지난해 12월 초 현대카드는 카드 결제 정보를 이용해 경기 변동과 소비 트렌드의 변화 등을 집중 분석한 빅 데이터 프로젝트 보고서를 발표한 것이다.

이 프로젝트는 일반적으로 업종별 매출 증감 추이 등을 단순 비교했던 것과 달리, 정기적으로 하나의 특정 분야를 주제로 선정해 해당 분야의 소비 특성을 집중 분석하는 방식으로 진행됐다. 첫번째 대상 분야는 외식으로 현대카드는 전체 약 950만 회원들의 2011년 7월부터 2012년 9월까지 외식 이용 데이터를 분석했다. 이를 통해 현대카드는 새로운 외식 트렌드로 빠르게 자리잡고 있는 커피전문점 이용 실태를 집중 분석하고, 지난 해 전국 주요 지역의 크리스마스 이브 외식 행태의 특이점도 살펴봤다.

특히 외식과 관련해 일반적으로 알려진 바와 다른 결과가 나왔는데, 대표적인 사례가 바로 부산 지역의 외식 매출 특성이다. 일반적으로 부산은 일식(日食) 비중이 클 것으로 예상되는 지역이었지만, 실제 결과는 일식(3.2%)보다 양식(10.3%) 매출 비중이 3배 이상 높았다.

이는 해당 부문 가맹점 수의 차이에서 나타난 결과일수도 있지만, 또 다른 항구도시인 인천에서는 양식(5.7%)과 일식(4.5%)의 매출 비중 차이가 훨씬 작게 나타났다.
지역별 커피 전문점 이용실적을 분석한 부분도 예상과 다른 결과가 나왔다. 서울은 전체 매출은 물론 인구 수 대비 이용실적 등에서 다른 지역보다 월등히 높았으나, 매출 성장률은 업종 평균보다 훨씬 떨어져 성장동력이 둔화되고 있는 것으로 나타났다. 커피 전문점 시장이 가장 빠르게 성장하고 있는 지역은 인천이며, 경북도 성장잠재력이 큰 것으로 분석됐다.

또한 현대카드는 가입자의 3개월 치 이용 실적 데이터를 분석해 '마이메뉴' 앱을 만들었다. 고객이 어떤 식당을 검색하면 그 식당을 방문하는 고객 성별, 연령대, 직업, 재방문율, 보유 카드 혜택을 한 번에 보여 준다. 고객이 이 식당을 이용하는 사람의 성별, 연령대, 재방문율 등을 보고 식당에 대해 판단을 내릴 수 있도록 도와주는 것이다.

카드 업종에서의 빅 데이터 국내 활용 사례가 처음으로 외부에 드러난 것은 2012년 8월로 거슬러 올라간다. BC 카드가 국내 금융권 최초로 빅 데이터 기반 상용 분석 서비스를 내놓을 것이라고 발표하면서 이 업종에서의 빅 데이터 활용에 불을 붙였다.

BC 카드는 KT클라우드웨어가 보유한 오픈소스 방식의 빅 데이터 기술인 하둡을 적용해 비용절감 효과는 물론 1억 건에 달하는 카드 승인 로그를 분석하던 작업을 통상 3~4시간은 족히 걸리던 것을 1시간 정도에 처리할 수 있었다고 밝혔다.

국민카드는 11월 빅 데이터를 활용해 고객의 소비 패턴 분석에 들어갔으며, 이를 토대로 성년이 돼 신용카드를 발급받는 시점부터 노년기까지 연령대에 맞는 서비스를 하겠다는 평생 부가 서비스를 계획하고 있다.

하나SK카드는 지난해 12월 말, 고객 맞춤형 이벤트, 쿠폰을 제공하는 신용카드 애플리케이션인 하나SK카드 겟모어를 출시했다. 겟-모어 앱은 하나SK카드로 결제시 스마트폰 알림으로 결제 메시지를 무료로 발송해 별도의 문자메시지(SMS) 신청을 하지 않더라도 승인내역을 회원에게 알려준다. 또한 결제 가맹점과 관련된 이벤트 정보와 함께 빅 데이터 분석을 통해 개별 고객의 카드사용 패턴에 따라 주로 이용하는 업종 및 가맹점을 선정하고, 가장 적합한 이벤트를 앱을 통해 알려준다.

신한카드는 대부분의 주유 할인카드가 특정 브랜드의 주유소에서만 할인이나 적립이 되는데, 카드 이용자의 40%가 할인 혜택을 받지 못하는 주유소에서 기름을 넣고 있다는 사실을 알아내고 어느 주유소에서든 휘발유 리터당 100원을 적립해주는 카드를 출시해 히트를 쳤다. 이런 성과를 계기로 신한카드는 결제 정보 분석을 위해 통계학 등을 전공한 50여 명의 인력으로 구성된 별도의 팀을 구성했다.

롯데카드의 경우 고객의 소비 패턴을 분석해 특수 계층을 추출, 이를 통해 차별화 마케팅을 진행한 결과, 마케팅 반응율의 상승과 함께 매출의 급상승을 이뤄냈다. 나머지 카드사들도 비슷하거나 유사한 내용의 빅 데이터 관련 발표가 이어졌다.

이처럼 지난해 거의 모든 카드업체들이 파일럿 프로젝트를 통해 빅 데이터를 활용했다. 그러나 카드 업계에서의 발표하는 고객 분석을 통한 세분화 전략을 세운다는 내용은 2000년대 초반 황금알을 낳은 거위로 기대했던 CRM에서 한걸음도 나아가지 못한 것이다.

특히 카드사에서 소비 패턴 분석이나 고객 세분화를 통한 가치 창출은 기존에도 늘 해왔던 업무 가운데 하나다. 그간 분석하지 못했던 방대한 량의 고객 데이터를 활용한다는 측면에서 그 효과를 기대할 수 있지만 이런 접근 방식은 빅 데이터의 개념과 활용 범위를 기존 CRM의 확장 정도로 축소시킬 수 있다.

빅 데이터 한 관계자는 "빅 데이터를 기존 CRM이나 BI 확장 개념으로 판단할 수 있지만 이는 활용하는 수순일뿐 전부가 아니다. 빅 데이터 활용에 실패하는 것을 두려워해서는 안되며, 무엇보다 국내 빅 데이터를 활용하는 수준이 아직 걸음마 단계라는 점을 잊지 말아야 한다"고 언급했다.

세계적으로 이미 빅 데이터 효과를 누리고 있는 기업들에 비하면 국내에서의 빅 데이터의 활용은 상당히 초보 수준이다. 일부 도입해 활용하고는 있지만 미비한 수준이며, 손에 꼽을 정도다.

통신 업계의 빅 데이터 활용
빅 데이터를 좀더 적극적으로 활용하고 있는 업종은 바로 통신업종이다. KT는 그룹사인 kt 클라우드웨어의 빅 데이터 솔루션을 기반으로 기간계 시스템에서부터 빅 데이터 기술을 적용하고 있으며, 유클라우드 서비스에서도 빅 데이터 분석 서비스를 제공하고 있다.

2010년부터 빅 데이터에 대한 준비를 해 온 KT는 기간계 시스템 가운데서도 고성능 서버에 상용 RDBMS를 기반으로 한 CDR 분석 시스템을 kt 클라우드웨어의 빅 데이터 솔루션인 'NDAP(NexR Data Analysis Platform)' 소프트웨어로 대체, 도입하기로 했다.

CDR(Call Data Record)은 유무선 전화 통화에 대한 로그 데이터다. 일반적으로 통신업체 교환 장비에서 생성되는 이 데이터는 전화 사용자의 모든 통화마다 한 건씩 발생하므로 1일 발생량 수억 건 정도의 데이터가 발생하는 셈이다. CDR 데이터는 통신업체가 보유한 가장 중요한 고객 원천 데이터로, 고객의 통화 품질 불만에 대한 실시간 대처에 사용되거나 일월 단위의 통화 품질 통계를 통해 각 통신업체의 운영, 경영의 기반 자료에 활용된다.

KT의 빅 데이터 구축 목표는 원하는 성능과 TCO 절감이었다. 하둡은 고가의 유닉스 서버 대신 x86 서버를 사용함으로써, 하드웨어 비용을 현격히 낮추고, 데이터나 성능이 부족할 때 서버를 추가해 손쉽게 확장 및 선형적 성능 증가를 할 수 있다. CDR 시스템에서 기존 방식으로 고성능 서버/스토리지, RDBMS 기반 아키텍처와 kt클라우드웨어 NDAP 기반 아키텍처의 비용 절감 효과를 비교 계산했을 때, 5년 TCO를 기준으로 최소 약 567억 원의 비용 절감 효과가 예상됐다.

KT는 빅 데이터를 규정하고 저장하려는 것이 아니라 기존 데이터 가운데 비용이나 기술 부족 등으로 활용하지 못하던 데이터를 저장, 분석할 수 있는 플랫폼을 구축하기 위한 수단으로 판단했다.

KT는 인프라의 비용 절감은 기본적인 문제이며, 결국 빅 데이터의 핵심 과제는 이를 통해 얻는 통찰력이라고 보고 있다. 현업에서 자신의 업무상 문제점들을 빅 데이터를 활용해 해법을 찾는 사례가 많이 등장한다면 상승 작용이 일어난다는 것이다. 예를 들어 회계, 관리 결산 마감 시, 데이터베이스를 분석해 수익성을 계산하는 작업들이 매년 진행되는데, 이 작업이 대체로 3, 4일은 기본적으로 소요된다. 이를 하루만에 끝낼 수 있다면 이 또한 빅 데이터 효과라고 할 수 있다.

KT가 빅 데이터를 다양한 곳에 활용하고 있다. 이미 외부 데이터와 결합한 융합 데이터를 이용해 새로운 비즈니스 모델을 창출하는 것에서부터 올레닷컴 사이트나 CDR 시스템, 클라우드 서비스까지 비정형 데이터 분석뿐만 아니라 대용량 데이터 분석 부문 등 곳곳에서 활용하고 있다.

특히 코리아크레딧뷰로(KCB)와 사업 제휴를 맺고 기존의 유통과 금융, 제조, 의료 등 개별적으로 활용되던 빅 데이터를 이종 산업간 데이터 융합을 통해 가치를 창출한다는 전략이다. 양사는 우선 KCB에서 제공하고 있는 지역 기반의 분석 서비스인 알지오(R-geo)에 KT의 올레맵과 지역별 유동인구 정보 등을 결합한 개방형 데이터 플랫폼을 올해 상반기까지 구축한다는 계획이다.

예를 들어 KT가 보유하고 있는 지역별 통화량 등의 유동 인구 정보와 KCB가 보유중인 금융 통계 정보 등을 결합해 새로운 서비스나 가치를 창출하겠다는 것이다. KT와 KCB는 빅 데이터 서비스 플랫폼을 활용해 기업들의 시장 분석 지원만이 아닌 공공 분야에 적용 가능한 서비스 모델을 개발할 예정이다.

SK텔레콤은 빅데이터와 관련, 대용량 데이터의 분산저장 및 병렬처리 등의 기술을 개발했다. 이를 통해 매월 TB 단위의 기지국 데이터를 저장, 분석함으로써 유동 인구를 파악할 수 있는데, 이를 상권 분석에 활용하는 지오비전을 운영 중이다. 또한 최근 빅 데이터 분석 엔진인 T-맵리듀스(T-MapReduce)를 T클라우드 비즈 사용자들에게 시범 서비스 형태로 제공한다고 밝혔다.

한편 SK텔레콤은 지난해 10월 프랑스의 알카텔루슨트 산하 연구기관인 벨연구소와 빅데이터 및 차세대 비디오 기술분야 연구 협정을 체결한 바 있으며, 11월에는 NHN과 빅 데이터 사업 육성에 관한 업무 제휴를 맺었다.

LG 유플러스는 지난해 초부터 빅 데이터 분석을 위한 전사적인 조직을 구성해 운영하고 있지만 현재까지 눈에 띄는 성과는 없는 것으로 보인다.

이와 함께 전세계적으로 빅 데이터 기술을 주도해 온 분야는 바로 포털업체를 위시한 인터넷 업종의 기업들이다. 국내에서도 빅 데이터를 선도하고 있는 업종이 바로 포털업체다.

2006년부터 데이터 문제를 고민했다는 NHN가 밝힌 빅 데이터 활용은 문제를 명확히 규정하고 이를 해결하기 위해 빅 데이터 플랫폼을 기반으로 대용량 데이터를 처리하는 과정 속에 있다는 것이다. 2006년부터 로그 데이터를 저장하기 시작했고, 이를 신속히 처리하기 위한 처리 시스템을 개발, 그리고 검색, 분석 시스템 개발로 이어졌는데 이것이 빅 데이터 솔루션이었다는 것이 NHN의 설명이다.

NHN은 이미 오래 전부터 하둡을 전담하는 조직을 별도로 구성하고 있으며, 상당히 많은 부문에서 빅 데이터 기술을 활용하고 있다. 현재 네이버가 하루에 처리하는 문서의 양은 약 130억 건, 발생하는 검색 로그량은 3TB. 데이터 처리를 위한 네뷸라 시스템에서부터 로그 시스템인 메조, 대용량 데이터 분석 기술인 파스 기술 등을 개발해 빅 데이터를 처리하고 있다. 이런 빅 데이터 기술을 통해 음악 추천 기능인 라디오 서비스, 자동완성, 연관 검색어, 실시간 급상승 검색어 등의 검색어 추천, 사용자 그룹별 검색어 등에 활용하고 있다.

다음커뮤니케이션은 뉴스 서비스인 미디어 다음에 빅 데이터를 도입했다. 이는 실시간으로 등록되는 기사의 중요도를 분석, 우선 순위를 정하고 댓글을 통해 연관 기사까지 묶어준다. 다음은 빅 데이터 전담 인력을 대폭 육성하고 온라인, 모바일 광고 분야까지 활용을 확대했다.

SK커뮤니케이션즈는 빅 데이터를 싸이월드 선물가게와 네이트 유투브 큐레이션 서비스에 활용하고 있다. 빅 데이터를 통해 사용자의 성별, 연령은 물론 취미, 성향, 특성 등을 분석해 한단계 진화된 콘텐츠를 제공한다는 것이다. 이는 광고에까지 이어져 개인별로 특화된 광고가 가능하다.

제조업종에서는 단연 삼성전자의 행보가 눈에 띈다. 3년 전부터 삼성전자는 신속한 데이터 분석, 빠른 의사결정, 스피드 경영이라는 모토로 빅 데이터를 준비해왔다. 그러나 100여 명의 전문 인력을 통한 하둡 프로젝트를 진행했으나 지금껏 좋은 성과를 거두지 못했다. 최근 삼성전자는 그간 쌓아온 빅 데이터 경험을 토대로 현재 전사 빅데이터 분석 표준 솔루션을 선정하기 위한 PoC를 추진하고 있는 것으로 알려졌다.

이 밖에 수많은 업종에서 빅 데이터를 활용 사례들이 쏟아져 나오고 있는 상황이지만, 전체적으로는 한정된 분야에 제한적으로 활용되고 있다. 이 밖에 빅 데이터의 활용이 곧 기업 경쟁력이라는 등식으로 인해 활용 사례를 밝히지 않는 기업이 많아진다는 것도 주목할 만하다.

빅 데이터 시대, 중소 기업이 살아가는 법
지금까지 나온 빅 데이터 활용 사례를 보더라도 대기업들을 중심으로 한 것들이 많다. 그렇다면 빅 데이터 기술을 도입할 자산이 부족한 중소기업들은 새로운 빅 데이터 격차의 희생양이 될 것이냐는 물음에 대해 인튜이트의 회장 이자 CEO 브래드 스미스의 대답은 ‘노'였다. 스미스는 오히려 빅 데이터로 인해 중소기업의 의사결정권자와 고객들이 대기업만큼의 효율성을 확보하는, ‘데이터 민주화'가 실현될 것이라 전망하고 있다.

스미스는 "오랫동안 빅 데이터는 빅 비즈니스를 위한 것이라는 인식이 시장을 지배해왔다. 그러나 빅 데이터의 진정한 가치는 중소기업들에게 데이터의 힘을 전해주는 것이라 생각한다. 중소기업들이 빅 데이터를 활용해 성장해나갈 수 있는 새로운 시대를 기대한다"고 말했다.

스미스는 빅 데이터를 통해 비즈니스가 개별 고객의 독특한 요구를 이해하는 과거의 동네 상점의 형태가 다시금 실현될 수 있을 것이라고 전망했다.

인튜이트의 <새로운 데이터 민주화: 빅 데이터는 어떻게 중소기업과 고객들의 삶을 변화 시킬 것인가>라는 보고서는 브래드 피트가 주연을 맡으며 인기를 끈 영화 '머니볼(Moneyball)'을 예로 들면서 중소기업의 빅 데이터 활용에 대한 해법을 풀어나갔다.

이 보고서는 "영화 머니볼은 중소 기업이 데이터를 사용하는 모범적인 사례를 제시해줬다. 자본의 차이로 인해 발생한 격차를 정보를 통해 극복할 수 있음을 보여준 것이다. 과거 지역 상점의 주인들은 손님이 오면 이름을 부르며 맞이하고 해당 손님의 구매 습관을 기억해 적절한 상품을 추천해줬다. 빅 데이터는 중소기업들을 다시금 이 시기로 데려다 줄 것이다. 중소기업들은 좀더 높은 효율성을 확보하게 될 것이며 토종 기업들은 전 세계 어느 곳의 글로벌 기업과의 경쟁에도 뒤지지 않을 힘을 갖추게 될 것"이라고 설명했다.

가트너그룹은 최근 보고서를 통해, 중소기업에게는 오픈 데이터가 빅 데이터 보다 더 많은 가치를 가져다 줄 수 있다고 주장했다. 실행할 만한 정보를 얻을 수 있는 데이터셋이 적은 중소기업에게는 빅 데이터 보다 오픈 데이터가 더 유용할 수 있다는 의미다. 오픈 데이터란, 저작권, 특허 또는 다른 형태의 제약없이, 모든 사람이 특정 데이터를 원하는 대로 무료로 이용하고 재공개할 수 있는 데이터를 말한다.

가트너는 빅 데이터가 중소기업들이 기대하는 수익을 내지 못하는 이유로 많은 중소기업들이 실행에 옮길만한 정보를 얻는 데 필요한 충분한 양의 데이터셋을 갖고 있지 못하고, 중소기업 가운데 다수가 빅 데이터 솔루션을 효율적으로 관리하는 데 필요한 기술적 전문지식이 부족하다는 점을 내세웠다.