[포럼] IT 트랜스포메이션은 `빅데이터`

최근 IT업계 가장 핫(Hot)한 용어는 두말 나위 없이 빅데이터다. 소셜 분석으로 소개된 빅데이터는 이제 국내 기업은 물론 정부 및 공공기관까지 외쳐대고 있다. 심지어 유명 웹툰에서 `보고서를 통과시켜주는 마법의 키워드'로 빅데이터를 풍자하기도 했다.

그렇다면 왜 많은 사람들이 빅데이터에 엄청난 관심을 보이고 중요하게 생각할까? 또한 빅데이터를 어떻게 기업 및 조직에 효과적으로 적용할 것인지를 고민할까? 첫 번째 질문에 대한 답은 빅데이터가 우리 삶에 혁명적 변화를 가져다 주어서다. 15세기 구텐베르크의 인쇄술 발명은 정보의 대폭발을 일으켰다.

20세기 컴퓨터의 등장은 정보 처리 속도를 획기적으로 개선시켰고, 인터넷은 정보의 범위를 전세계로 확장시켰다. 모든 정보와 데이터가 디지털화됨에 따라 21세기 빅데이터는 대량의 데이터를 활용해 보다 실질적이고 구체적인 답을 제공한다.

사회와 기업, 개인이 마주한 다양한 문제를 대량의 데이터를 들여다보고 분석함으로써 해결을 구하는 것이다. 모든 것이 데이터로부터 시작되어 데이터로부터 풀리는 시대가 왔다. 이는 인쇄술, 컴퓨터와 인터넷이 우리 삶에 가져다 준 혁명적 변화와 견줄만 하며, 빅데이터의 등장으로 새로운 정보 르네상스(Information Renaissance) 시대가 온 것이다.

간단한 예를 보자. 지금의 의료 서비스는 대량의 데이터를 분석해 질병의 근본 원인을 파악하고 개인 맞춤화된 치료법을 제시할 수 있다. 3500여 질병이 유전자 변이로 발생하기 때문에 개인의 DNA를 분석하면 병에 걸릴 위험을 줄일 수 있다. 빅데이터 기술은 일주일 이상 걸리던 DNA 분석을 저렴한 비용으로 하루만에 끝내 준다.

제조 공장에서는 센서를 활용해 데이터를 디지털화하고 이를 실시간으로 분석해 즉시 불량품을 알아내거나 기계 오류를 탐지할 수 있다. 초기에 품질 문제에 대한 원인을 파악할 수 있어 기업은 비즈니스 위험을 크게 줄일 수 있다.

빅데이터는 세상에 없던 그 무엇이 어느 날 갑자기 툭 튀어나온 것이 아니다. 과거에도, 그리고 지금 이 순간에도 빅데이터는 생성되고 사라지고 있다. 그러나 예전에는 빅데이터를 빠르게 분석해 유의미한 정보로 활용할 방안을 찾지 못했다. 기술도 그렇지만 비용도 걸림돌이었다. 빅데이터의 본질은 합리적 비용으로 데이터를 분석하는 것이다. 하루만에 DNA 분석이 가능하지만 그 비용이 수천 만원에 이른다면 혁명적 변화라 할 수 있을까? 값비싼 시스템과 소프트웨어를 활용하는 방식으로는 빅데이터의 본질에 다가갈 수 없다.

기존 관계형데이터베이스(RDBMS)로는 폭발적으로 증가하는 다양한 종류의 데이터를 수용하기에는 비용과 성능이 비현실적이기 때문에 합리적인 비용으로 빠르게 처리할 수 있는 빅데이터 기술이 등장하고 각광받기 시작한 것이다.

빅데이터를 어떻게 기업 및 조직에 효과적으로 적용할 것인지에 대한 두 번째 질문의 답을 하기 위해서는 먼저 빅데이터에 대한 올바른 이해가 필요하다. 빅데이터는 그 정확한 정의와 실체에 대해 설왕설래가 많고 마케팅 용어로 모호하게 남발되는 경우도 잦다. 빅데이터가 전사적자원관리(ERP), 고객관계관리(CRM)와 같이 특정 제품과 기술의 지칭이 아니라 매우 광범위한 개념에 여러 기술을 포함하기 때문이다. 하둡(Hadoop)도 빅데이터 기술이고 빅데이터를 저장하는 것도, 실시간 조회, 텍스트 마이닝 하는 것도 모두 빅데이터 기술이다.

빅데이터가 처음 국내 시장에 소개됐을 때 대부분의 기업과 외산 벤더는 소셜 분석이 빅데이터의 전부인 양 주장했다. 그러나 빅데이터는 단순 소셜 분석이 아닌 기업 인프라 및 우리 일상 생활과 깊이 관련돼 있다.

전자상거래 기업은 사용자의 구매 정보, SNS서비스 업체는 대량의 인간관계 정보를 분석해 비즈니스에 적용하고 있다. 제조 유통같은 전통적인 산업도 마케팅, 품질관리, 고객지원 등 다양한 분야에서 빅데이터를 이용한다. 통신 서비스 기업은 하루 수억 건씩 발생하는 가입자의 통화상세내역을 실시간 분석해 고객의 불편사항을 파악한다. 신용카드 회사는 카드 거래 승인 거절 원인에 대한 분석과 개선을 통해 추가 매출을 올리고 영업이익을 늘릴 수 있다.

미래창조과학부가 올해 추진할 빅데이터 시범사업의 면면을 봐도 빅데이터가 얼마나 생활과 밀접한 지 알 수 있다. KT 서울특별시 컨소시엄은 서울시의 교통 데이터와 KT의 유동 인구 데이터를 연계 분석해 최적의 심야버스 노선 정책 수립을 지원한다. 오픈메이트 비씨카드 한국감정원 컨소시엄은 카드거래, 부동산, 상가이력 정보를 연계 분석해 창업 관련 과거/현행 분석 및 예측 정보를 제공해 소상공인의 창업을 지원할 예정이다.

이들 사례의 공통점은 데이터 분석에 앞서 우선 데이터를 플랫폼 기반으로 저장하고 그 풀랫폼을 비용 효율적으로 운영한다는 데 있다. 빅데이터가 됐든 스몰데이터가 됐든 데이터의 양과 관계없이 문제 해결에 빅데이터 기술이 적합하다면 빅데이터 기술을 이용해 데이터를 모은 후 데이터 분석 및 인사이트를 도출하는 것이 그 핵심이다.

앞서 말한 것처럼 빅데이터는 특정 제품을 지칭하는 개념이 아니다. 빅데이터는 IT산업 구조 변화의 하나의 트렌드인 동시에 변화에 대응하기 위해 각 기업이나 조직이 반드시 실행해야 할 IT 트랜스포메이션(IT transformation)이다. 효과적인 IT 트랜스포메이션을 위해서는 폭증하는 데이터로부터 인사이트를 도출해 내는 빅데이터 플랫폼을 먼저 구축해야 한다.

플랫폼 전문기업의 도움을 받아 플랫폼을 도입 활용하고 각 기업의 현업 담당자는 데이터 관점에 집중, 기업 내부 데이터 품질을 높이고 활용 역량을 개선해야 한다. 이와 함께 데이터 처리 및 분석 결과를 비즈니스 실행과 어떻게 연결시킬지 구체적으로 고민해야 한다. 빅데이터에 대한 투자와 내재화는 이 같은 방향으로 이뤄져야 성공할 수 있다.