[DT광장] `빅데이터 지식화`의 전제조건

인류의 시작에서 데이터는 불의 발견 이전, 자연과 삶에 대한 인간의 행동 결정을 위한 지적판단 도구였다. 그러나 인류의 진보와 함께 무섭게 증폭된 데이터는 그 거대함으로 인해 오히려 우리 삶의 지적판단에 장애요인이 되고 있다. 전 구글의 최고경영자(CEO)였던 에릭 슈미트는 태초부터 2003년까지 인류가 만들어 낸 데이터의 양과 유사한 양의 데이터가 현재에는 불과 이틀 만에 생산되고 있다고 말했다. 이는 데이터가 더 이상 기존의 방법으로는 활용할 수 없는 것이 되었고 새로운 시각으로 기존의 방법을 혁신해야 한다는 것을 의미한다.

수많은 소셜 미디어와 스마트기기, 그리고 우리 삶의 행동과 함께 발생하는 데이터와 콘텐츠들은 개인과 사회가 수용할 수 있는 인지의 능력을 넘어서고 있다. 이렇게 발생한 물리적 관리 관점의 '빅데이터'에 대한 시각을 넘어서 데이터가 다시 지적판단의 도구가 되는 '빅데이터의 지식화'를 위한 새로운 방법이 필요한 시점이다. 이것이 대용량 데이터를 지식화 관점에서 처리하는 빅데이터 기술의 핵심이라고 할 수 있다.

국내에서 빅데이터를 처리하는 방법으로 분산처리 플랫폼이 필요하다는 인식은 이전부터 확산되어왔다. 그러나 아직 사용자에 맞는 빅데이터 처리 방법이나 플랫폼 구축에 대한 실질적인 기술 축적과 확산은 부족한 상황이다. 기존의 데이터를 기반으로 의사결정을 하는 시각을 넘어서 빅데이터를 지식화하고 지식기반의 행동이 요구되는 시대를 맞이하여, 우리에게는 빅데이터의 지식화를 위한 기술과 활용성에 집중한 빅데이터 교육이 필요하다.

빅데이터의 지식화를 위해서는 기술적 측면에서 대표적인 분산처리플랫폼으로 손꼽히는 하둡(Hadoop)기술의 내재화가 선행되어야 한다. 빅데이터가 사회적인 이슈로 대두된 이후 하둡은 빅데이터 관리의 글로벌 실질적 표준(스탠다드디팩토)으로 자리잡고 있다. 이는 리눅스와 같은 오픈소스웨어 (OpenSourceWare)로 빅데이터를 경제적인 방법으로 관리하고 지속적인 기술공유로 자원의 효율을 높이는 것을 목적으로 한다. 누구나 하둡을 빅데이터 활용을 위한 플랫폼으로 구축하고 사용할 수 있지만, 에러가 낮고 안정성이 높은 분산처리시스템을 구축하기 위해서는 기술적 숙련과 전문가의 도움이 필요하다. 당사는 하둡 분야의 글로벌 리더인 미 호튼웍스(Hortonworks)에서 배포하는 HDP (hortonworks data platform)을 기반으로한 하둡 교육을 제공해 빅데이터가 단순히 물리적으로 많은양의 데이터가 아닌 의사 결정을 위한 지식으로 기능할 수 있도록 지원하고 있다.

교육을 통해 실제 기업 내에서 데이터를 다루어야 하는 담당자들의 고민을 들어보면 빅데이터 교육을 표방하는 많은 교육의 내용이 피상적이거나 개론 중심이어서 실무 적용에 어려움이 많다고 입을 모은다. 기업이 실질적으로 직면하고 있는 빅데이터에 대한 고민은 조직에 있는 다양하고, 많고, 여기저기 흩어져있는 데이터를 '어떻게 처리할 것인가'. '어떻게 플랫폼을 구축할 것인가' 하는 '활용'의 문제가 대부분인 것이다.

이러한 고민을 해결하기 위해서 빅데이터 교육은 또한 '활용'의 관점에서 진행되어야 할 것이다. 예를 들어 해외사례를 통해 데이터 처리에 대한 정보를 얻고, HDP 플랫폼을 사용한 사업 분야별 실제 사례를 통해 직접 데이터를 처리해보는 방법 등이 유효할 수 있다. 또한 무엇보다 지금 이 시각에도 계속 진화하고 있는 빅데이터 플랫폼에 대한 이해를 높이고 실질적인 구축 정보를 얻기 위해서는 HDP의 최신 버전에 맞는 교육도 필요할 것이라고 기대한다.

2014년 말 현재, 여전히 국내 기업들의 빅데이터 활용은 기대에 못미치는 수준이지만 빅데이터에 대한 거품이 진정되고 정부와 선도 기업들을 중심으로 빅데이터 활용에 관한 실제 효용사례가 나오면서 실질적인 활용에 대한 고민이 본격적으로 시작될 것으로 예상된다. 물리적 관리 관점의 '빅데이터'를 넘어서 '빅데이터의 지식화'를 위한 빅데이터 교육, 실질적인 빅데이터 기술과 활용 중심의 교육이 데이터 강국으로 가기 위한 우리에게 필요한 시점이다.