[알아봅시다] 통계와 빅데이터

제조사, 불량 줄이고 이통사, 소비자 파악2015년 169억1900달러 규모로 성장 예상사생활 침해ㆍ보안 문제 해결방안 찾아야

지난해 캘리포니아대학 버클리 캠퍼스(UC버클리)의 사회심리학 연구진이 발표한 논문에 따르면 재산과 직업, 교육수준을 고려할 때, 부유층일수록 더 많은 거짓말을 하고 더 자기 중심적인 행동을 하고 있다고 합니다.

이는 인종과 종교, 국가와 상관이 없는 결과라고 합니다.

부유층은 재산에 비해 더 적은 돈을 기부하고, 직원을 해고하고 그 절감된 돈으로 자신의 보너스를 올리는 행위를 하며, 회사 비품을 더 많이 착복한다고 합니다.

물론 이것은 가능성의 문제이며 소득이 높다고 꼭 거짓말을 많이 하는 것은 아닙니다.

그러나 우리는 수많은 표본 속에 공통적으로 나타나는 것을 가지고 특정 집단의 특징을 뽑아 낼 수가 있습니다.

이같이 여러 정보를 한데 모아서 분류한 뒤 특정을 찾아내는 것을 통계라고 합니다.

통계는 수량적 비교를 통해 사실을 관찰하고 처리하는 것입니다.

통계는 수치상의 성질, 규칙성 또는 불규칙성을 찾아냅니다.

소득이 높은 사람 중에는 거짓말을 잘하는 사람도 있고, 안하는 사람도 있겠지만, 거짓말을 하는 사람들을 소득별로 분류하고 정리해보면 어떤 사람들이 거짓말을 얼마나 했는지 확인해 볼 수 있습니다.

또, 소득 뿐 아니라 성별, 지역, 나이를 함께 조사해보면 서로 관련이 있는지도 파악할 수 있습니다.

통계는 실험 계획, 데이터의 요약이나 해석을 실시하는데 있어서의 근거를 제공하며, 폭넓은 분야에서 응용되어 실생활에 적용되고 있습니다.

통계가 필요한 분야는 농업, 생명과학, 환경과학, 산업연구, 품질보증, 시장조사 등 매우 많습니다.

또 이러한 연구방식은 기업체와 정부의 의사결정과정에서 중요한 역할을 합니다.

주어진 문제에 대해 필요한 자료의 형태, 자료를 수집하는 방법, 문제에 대한 최선의 답을 구하기 위한 분석방법을 결정하는 것이 통계의 역할입니다.

최근 주목받고 있는 빅데이터도 기존 기업들이 활용하던 통계를 좀 더 적극적이고, 광범위하게 확대한 것으로 볼 수 있습니다.

빅데이터는 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술입니다.

세계 경제 포럼은 2012년 떠오르는 10대 기술 중 그 첫 번째를 빅데이터 기술로 선정했으며 우리나라 정부도 빅데이터를 IT핵심기술로 꼽고 많은 투자를 하고 있습니다.

다양한 종류의 대규모 데이터 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측해 효율적으로 작동케 하고 개인화된 현대 사회 구성원마다 맞춤형 정보를 제공, 관리, 분석 가능케 하며 과거에는 불가능했던 기술을 실현시키기도 합니다.

최근 빅데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 활용되고 있는데, 그 이유는 이전과 달리 정보의 수집이 불가능했던 영역까지 IT를 통해 대규모 수집과 분석이 가능해졌기 때문입니다.

그동안 통계는 기존에 있던 특정 정보를 대부분 사람들이 직접 취합하는데 그쳤지만, 최근 빅데이터에 활용되는 정보는 접속기록, 위치정보, 센서 등의 다양하면서도 대량의 정보를 취합할 수 있습니다.

이렇게 많은 정보를 취합하게 되면 각 변수들의 상관관계를 조사할 수 있고, 이전까지는 전혀 연관성을 가진다고 생각하지 못한 부분까지 확인할 수 있습니다.

기업들의 경영환경은 최근 빠르게 변화하고 있기 때문에, 빅데이터를 통해 기존 사업부문이 어떻게 변하고 있는지 앞으로 어떻게 변할지에 대해서 빅데이터로 예측하고 있습니다.

또, 새로운 전략을 만들어야 할 때, 빅데이터를 통해 얻어진 정보는 성공의 가능성을 높여주는 역할을 합니다.

예를 들어 정부에서는 전력, 수도 사용량에 대한 빅데이터를 가지고 효과적으로 배분, 관리할 수 있습니다.

삼성전자와 현대자동차 등 제조업체들은 제조공정에 센서 기술을 결합해 어떤 때에 제품 불량이 나는지 확인해서 불량률을 줄이는데 사용하고 있으며, SK텔레콤, KT, LG유플러스 등 통신사들은 사용자를 분석하는데 빅데이터 기술을 사용하고 있습니다.

결국 빅데이터는 이전까지 숨겨져 있거나 얻기 어려워서 수집, 관리, 분석이 어려웠던 수수께끼를 풀어주는 역할을 하기 때문에 최근 주목을 받고 있습니다.

이같은 빅데이터 시장을 공략하기 위해 국내서는 티베로, 그루터, 다음소프트, KT넥스알, 모비젠 등 업체들이 솔루션을 내놓고 있으며, 해외 업체 중에는 오라클, 마이크로소프트, SAP, HP 등 업체들이 경쟁을 벌이고 있습니다.

전세계적으로 시장조사업체들은 빅데이터 관련 시장이 보수적으로 잡아도 30%, 낙관적으로 잡으면 60% 가량 성장할 것으로 예상하고 있습니다.

시장조사업체 IDC는 2010년 32억1700만달러였던 빅데이터 관련 시장이 2015년 169억1900만달러까지 성장할 것으로 예상하고 있습니다.

하지만 빅데이터의 문제점은 바로 사생활 침해와 보안 측면에 자리하고 있습니다.

빅데이터는 수많은 개인정보의 집합인 경우가 많아 법적으로나 윤리적으로 문제점이 지적되고 있어 빅데이터 산업의 성장과 함께 해결해야 하는 부분입니다.