[알아봅시다] 빅데이터 단점 보완한 `스마트 데이터`

데이터 저장소(스토리지)의 가격하락은 데이터 수집, 분석, 활용, 서비스 등 빅데이터 생태계를 촉진하는 역할을 했습니다. 1980년대 하드디스크드라이브(HDD)의 기가바이트(GB)당 가격은 약 10억원 수준에서 2010년에는 약 100원으로 급락하면서 데이터 수집과 유지, 관리가 용이해진 것입니다.

저렴해진 스토리지 가격은 빅데이터 분석과 서비스를 탄생시켰고, 수많은 IT기업들이 새로운 솔루션과 서비스를 출시하고 있습니다. 세일즈포스닷컴이나 오라클과 같은 소프트웨어(SW) 업체들은 소비자 데이터를 수집, 저장, 분석하는 서비스를 내놓고 있고, 액센츄어나 딜로이트는 고객관계관리, 데이터웨어하우징, 비즈니스 인텔리전스 등의 분야에 집중하고 있습니다.

하지만 기업 고객과 시장 분석가들은 쏟아지고 있는 빅데이터에 대해 의문을 제기하기 시작했습니다. 빅데이터가 엄청난 가치를 안겨줄 것이라는 믿음은 있지만 지나친 기대와 과장 광고로 인해 성과가 기대에 미치지 못하는 경우가 발생하고 있기 때문입니다. 특히 금융, 보험, 광고, 의료 서비스 등을 제외하고, 다른 산업의 경우 빅데이터를 활용한 성과가 드러나지 않고 있는 상황입니다.

빅데이터는 필연적으로 데이터의 `빅노이즈'를 유발하는데, 이로인해 수 많은 데이터 중에서 의미 있는 신호를 찾아내는 것은 기술적으로 매우 어렵습니다. 이에 따라 기업들은 2010년부터 2020년까지 빅데이터의 양은 50배 커질 것이라는 전망이 나오고 있지만 품질도 이만큼 높아질지 의문을 나타내고 있습니다.

이처럼 빅데이터의 품질에 대한 요구가 커지면서 `스마트데이터'라는 개념이 등장했습니다. 빅데이터로부터 얻을 수 이점이 불분명할 뿐만 아니라 어떠한 전략과 인력, 절차를 선택해야 효과를 볼 수 있을지 모르는 상황에서 스마트데이터에 대한 요구는 빠르게 확대되고 있습니다. 그렇다면 빅데이터와 스마트데이터는 어떻게 구분할까요?

우선 데이터 품질에 대한 평가로 두 데이터를 구분할 수 있습니다. 조직에서 지속적으로 데이터 품질과 관련한 문제가 발생했는지, 또 데이터의 정확도에 대해 의문을 가지는지에 따라 단순 빅데이터인지 가공된 스마트데이터인지 구분할 수 있습니다.

또 데이터 범위도 중요한 구분요소로 작용합니다. 빅데이터는 본질적으로 사업을 목적으로 발생하지 않았기 때문에 특정 데이터가 기업의 수익이나 시장 점유율 확보의 원동력으로 활용되고 있는지를 살펴보면 스마트데이터를 분류할 수 있습니다.

뿐만 아니라 실시간 판단성, 데이터의 객관적 유효성 입증 여부 등도 빅데이터와 스마트데이터를 구분하는 척도가 될 수 있습니다.

그렇다면 좀더 세부적으로 스마트데이터만의 특성은 무엇일까요? 스마트데이터는 빅데이터의 노이즈로부터 정확하고 양질의 정보를 전달할 수 있는 `정확성'을 가지고 있어야 합니다. 이를 위해서는 지속적으로 제3자로부터 유효성을 입증 받아야 하며, 효과를 검증할 수 있는 사례를 제공할 수 있어야 합니다.

두 번째로 스마트데이터는 조직이 이 데이터를 활용해 의사결정이나 서비스를 마련할 수 있을 정도의 `행동성'을 보유해야 합니다. 또 급변하는 사업 환경에서 실시간으로 데이터를 분석할 수 있는 `민첩성'도 중요합니다. 스마트데이터 역시 고객과 의사결정권자가 실시간으로 결정을 내릴 수 있도록 민첩성을 지원하는 형태로 진화하고 있는 것입니다.

이처럼 일반적인 빅데이터와 구분되는 스마트데이터를 효율적으로 활용하기 위해서는 스마트데이터 모델을 구축하는 것이 중요하다고 전문가들은 조언합니다. 즉 이용자로부터 발생하는 데이터가 기업의 업무 환경에 실시간으로 적용될 수 있는 모델을 만들 필요가 있다는 것입니다.

뿐만 아니라 스마트데이터의 품질기준도 명확히 세울 필요가 있습니다. 빅데이터의 잠재력은 소비자로부터 발생하고 있는데, 늘어나고 있는 빅데이터만큼 빅노이즈도 증가하고 있습니다. 이같은 빅노이즈는 빅데이터 분석 능력을 저하시켜 실시간으로 정확한 데이터를 전달하는 것을 가로막고 있습니다.

이에 따라 전문가들은 빅데이터에 대한 거품을 제거하고, 현실성 있는 서비스를 위해 스마트데이터에 대한 기준을 명확히 제시하는 등 빅데이터 품질을 높이기 위한 노력이 필요하다고 강조합니다.