빅데이터로 가는 여정 5단계

최근 국내 기업 사이에 빅데이터 열풍이 몰아쳤다. 대다수의 기업이 당장 빅데이터를 능숙하게 다룰 수 있는 솔루션을 찾고 있다. 하지만, 2013년 현재의 상황은 솔루션이 아니라, 여러 단계를 거치며 성숙해야 빅데이터를 활용할 수 있는 상황이다.

빅데이터로 가는 여정은 크게 5단계로 나뉜다. 업계는 이를 빅데이터 성숙모델이라고도 부른다. 사람에 따라 조금씩 달라지긴 하지만 대체적인 흐름과 내용은 비슷하다.

여기 소개할 성숙모델은 2011년 마르쿠스 스프렌저가 정의한 모델로 3년간 2천개 조직을 대상으로 인터뷰와 업무를 통해 도출됐다.


어떤 성숙모델이든 단계를 뛰어넘는 건 매우 어렵다. 단계를 뛰어넘게 해주는 솔루션은 현재 없다. 기업은 차근차근 단계를 밟아야 하며, 그 사이에 필요한 요소를 무시해선 안 된다. 사실 빅데이터 성숙모델의 교훈은 여기에 있다.


■1단계 사용할 만한 데이터가 없는 단계

1단계는 성숙모델의 이론적 토대이자 출발점이다. 이 상황의 기업은 어떤 사용가능한 데이터도 갖고 있지 않다. 이 단계에서 조직은 통계를 운영할 수 없다. 그리고 확실히 이해도 않으며, 정보화 거버넌스와 이디스커버리 수요에 대해 넘겨 짚을 뿐이다. 사업을 개선해줄 정보에 기반한 인사이트도 없다. 조직은 밖에 조언을 구하고, 서비스프로바이더가 정보화 요구를 충족하기 위해 많은 돈을 사용하게 한다며 경멸한다.

■2단계 빅데이터

조직은 이 단계에서 빅데이터를 수용하기 위한 첫발을 뗀다. 그들은 꾸준히 내부와 외부의 소스로부터 데이터를 모은다. 그러나 이 데이터를 가치있는 정보로 바꿀 도구는 갖고 있지 않다. 단순히 데이터만 모아둘 뿐이다.

직원들은 분석보다 정보를 찾는데 더 많은 시간을 들인다. 많은 경우에 직원들은 데이터의 홍수 속에 포기해버린다. 그들의 결정은 정보가 거의 없이 이뤄진다. 그들의 회사는 결코 그들의 정보를 전략적인 정보, 경쟁력있는 자산으로 바꿀 기회를 얻지 못한다.

일부 회사들은 내부 데이터 인프라스트럭처를 창조하고 싶어한다. 이들의 첫 단계는 내외부에서 수집된 데이터 소스에 그들과 관련된 아이덴티티를 부여하는 것이다. 그들은 순위를 정해 데이터를 캡처하는 메커니즘을 만들어간다. 이를 통해 그들은 초보적인 분석을 할 수 있는 데이터 구조를 세우며, 이 지점에서 성숙의 단계를 밟아갈 기초를 닦는다.

이런 조직은 회랑에서 걸어내려와 전례없는 움직임을 고려해야 할 필요가 있다. 그들은 빅데이터 분석 데이블에 법률, 정보화 거버넌스 이해관계자를 초대할 필요가 있다. 이는 빅데이터 분석과 정보화 거버넌스, 이디스커버리 등의 통합을 시작하는 중요한 절차다.

■3단계 적합한 데이터

세번째 모습은 양질의 데이터를 사용하는 조직이다. 이들은 문맥과 관련성을 그들의 데이터 모델에 적용한다. 그들은 기업 분류체계와 분류를 도와주고 의미있는 수단뿐만 아니라 데이터 사이의 관계와 상호의존성을 설명하는 메타데이터를 수립했다.

3단계의 달성의 핵심 요소는 문화적인 교체다. 조직은 동시에 기술적인 교체를 가져간다. 이 단계의 기업은 전략을 최적화하고, 데이터를 이해하고, 가치를 깨닫게 된다. 정책에 기반한 인프라 관리와 거버넌스가 수립된다.

■4단계 예측 단계

이 단계에 이른 조직들은 역사적인 혹은 소급해가는 분석을 더 많이 할 수 있게 된다. 그들은 예측 분석도 수행할 수 있다. 내일, 혹은 그 이후 무슨일이 일어날 것인지 아는 것으로 기업은 소비자의 행동, 시장 수요, 내부의 리스크와 잠재적인 법률 문제를 예측할 수 있다.

■5단계 전략

마지막 단계에 다다른 조직은 전체적인 사업 모델이 분석 모델을 중심에 두고 마련된다. 5단계에 이르기 위해선 역사적인 분석으로부터 꽤 다른 운영인 예측 모델의 개발을 요구한다. 역사 분석에 사용되는 데이터 마이닝과 같은 기술은 앞을 더 잘 내다보기 위한 수단으로 여전히 중요하다.

예측 분석은 따로 운영되는 게 아니다. 위기와 기회를 구분하고 가능한 수단을 쉽게 찾기 위해선 핵심 비즈니스 프로세스와 통합돼야 한다.