'유행 휩쓸린 접근은 곤란' 빅 데이터 프로젝트 가이드라인

빅 데이터는 이제 그 이름처럼 ‘거대한' 비즈니스 활동으로 자리 잡았다. 그러나 문화적, 기술적 준비가 제대로 되어있지 않은 기업들에게 이는 단순한 흉내 내기 수단, 또 일시적 유행의 의미에 불과할 것이다.

즉 일관성 있는 목표와 강력한 데이터 통제력, 데이터 정확성 담보를 위한 엄격한 프로세스, 그리고 이를 다루는  올바른 마음가짐까지, 다시 말해 전략적 계획이 마련되지 못한다면 빅 데이터 계획은 가치가 아닌 방대한 시간 낭비만을 가져다 줄 것이다.

여기 빅 데이터 계획을 성공으로 이끄는데 도움을 줄 5가지 전략적 조언들을 소개한다. 많은 이들은 데이터 관리 프로젝트와 관련한 조언을 전하며 그 데이터 세트의 규모를 고려치 않는 모습을 보여준다. 하지만, 오늘날 시장이 경험하고 있는 막대한 규모의 데이터의 도래는 그만의 독특한 어려움을 내포하고 있다. 지금부터 여러 소스들로부터 전해져 오는 수많은 데이터들을 한데 섞어 그 속에서 성공의 기회를 찾아낼 전략을 함께 고민해보자.

빅 데이터 성공 팁 No.1: 빅 데이터를 비즈니스 중심 원리로
리어던 커머스(Rearden Commerce)의 CTO 필 스타이츠는 빅 데이터 활동 성공의 핵심을 간결히 정리했다. ‘애널리틱스 및 데이터 주도 의사 결정 문화를 비즈니스 전략의 핵심에 통합하라'가 그것이다.

스타이츠는 “‘빅 데이터'가 전문가들만의 내부 용어로만 사용될 경우, 그것의 역할은 문제 해결 솔루션 이상으로 나아가지 못할 것”이라고 말했다.

리어던 커머스는 자사의 전자 상거래 플랫폼을 통한 구매자와 판매자 간의 상품 및 서비스, 정보 거래 과정을 최적화하는데 빅 데이터를 비롯한 자산들을 이용하고 있다. 이 기업에게 있어 ‘완전 타당성'(적절한 경제 행위자에게 적절한 시간에 적절한 거래 기회를 제시하는 것)은 비즈니스 핵심 개념이다.

스타이츠는 “전략을 도입하고 이끄는 방식에 대한 고민의 일환”이라고 설명했다.

그는 이어서 이러한 접근법에서는 데이터 과학자와 시맨틱 애널리스트(semantic analyst), 빅 데이터 엔지니어로 구성된 소규모 전문 팀을 구성하고 이들 팀과 비즈니스 영역의 선진적 의사결정권자 사이에 쌍방적 소통이 이뤄질 수 있도록 구조를 마련하는 노력 역시 포함될 필요가 있다고 강조했다.

그는 “애널리틱스 및 시맨틱 분석 테크놀로지에서 가치를 뽑아내는 과정에 있어 가장 큰 걸림돌은 이를 실현할 기술 전문가와 그 과정을 진정으로 ‘이해하고' 지원할 수 있는 비즈니스 리더 사이의 긴밀한 소통이 필요하다는데 있다”라고 말했다.

빅 데이터를 전반적 비즈니스 전략과 통합하는 노력이 성공하기 위한 또 다른 핵심은 데이터 파트너십(data partnership)을 효율적으로 관리하는데 있다.

스타이츠는 “오늘날의 시장에서 기업 전체의 데이터 공유 노력 없이 고객 경험과 경제 가치를 최적화하기란 사실상 불가능하다. ‘저녁마다 처리한 파일들을 보내주세요'와 같은 순진한 방법을 말하는 것이 아니다. 이런 방식은 운영상의 문제뿐 아니라 프라이버시나 보안의 문제 역시 유발할 수 있는 방법이다”라고 말했다.

빅 데이터 성공 팁 No.2: 데이터 거버넌스는 필수적인 과정
빅 데이터 프로젝트에는 보안이나 프라이버시, 규제 준수 등의 고민들이 함께 따라오곤 한다. 이 문제들이 특히 민감하게 다뤄지는 영역으로는 의료 산업을 꼽을 수 있을 것이다.

베스 이스라엘 병원(Beth Israel Deaconess Medical Center)은 전자 의료 기록(EMR, Electronic Medical Record), 새로운 의료비 상환 모델, 그리고 수 년 간 수집해온 의료 및 민원 데이터 처리 등에 빅 데이터를 적극적으로 활용하고 있는 의료 기관이다. 이 과정에서 데이터 거버넌스는 핵심적 임무로 다뤄졌다.

병원의 CIO 빌 길리스는 “의료 IT 기관들에는 데이터를 신속히 처리해 재전달해야 한다는 압박이 점점 강하게 가해지고 있다”라고 말했다.

그에 따르면 강력한 거버넌ㅅ 구조는 기관들이 데이터의 정확성과 자신들의 의료 활동의 질을 증명하는데 많은 도움을 준다.

길리스는 “‘긴급 상황'이라는 용어가 모든 행위를 정당화하던 시대는 끝났다. 이제는 적절한 거버넌스 구조만이 우리가 활동을 지속할 수 있게 하는 근거가 되어주고 있다”라고 강조했다.

이와 관련해 주요한 핵심은 단연 보안과 프라이버시다. 빅 데이터 관련 자문을 제공해온 컨설팅 기관 벤처 디벨롭먼트 센터(Venture Development Center)의 회장 겸 CEO 찰스 스트라이커는 “빅 데이터라는 새로운 존재는 그 불확실성으로 인해 기업들에게 기존의 전통적 의사 결정 데이터들보다 더 많은 프라이버시 및 보안 관련 고민거리들을 안겨주고 있다. 현재의 시장 상황은 어떤 브랜드도 프라이버시와 보안의 한계를 시험해보지 않고 있다. 즉 그 한계가 증명되지 않고 있다 할 수 있다”라고 설명했다.

정부 기관들의 빅 데이터 프로젝트 도입을 지원해 온 테크놀로지 및 매니지먼트 컨설팅 기관 DRC의 상임 기술 고문 루이 샤봇은 “빅 데이터 솔루션이 제공하는 데이터를 이용하기에 앞서 기업들은 해당 데이터가 어디로부터 온 것인지(데이터의 출처를 설명하는 메타데이터)를 확실히 이해할 필요가 있다”라고 말했다.

샤봇은 이어서 “데이터의 출처를 설명하는 메타데이터를 관리하고 그에 기초해 의사 결정을 진행하는 과정은 ‘끼워 맞추기'식 사후 작업으로 이뤄져서는 안 된다. 이러한 활동은 초기 단계에서부터 프로젝트에 통합되어야 한다. 이 과정 가운데 실수로, 혹은 누군가의 고의로 메타데이터에 손상이나 변경이 가해질 가능성도 있다. 이러한 사고를 방지하기 위해서는 디지털 서명(digital signature)과 같은 전문 테크놀로지의 도입 역시 고려해 볼 필요가 있을 것”이라고 조언했다.

프라이버시 법률과 규제 역시 기업들이 고려해야 할 부분이다. 샤봇은 “기업들은 보안 및 프라이버시 규제 준수를 위해 데이터 익명화나 데이터 요소 제거, 데이터 사용 및 배포 제한 등의 방법을 활용할 수 있다”라고 설명했다.

빅 데이터 성공 팁 No.3: 데이터 정밀도가 중요하다
에버딘 그룹(Aberdeen Group)은 최근 연구 발표를 통해 빅 데이터 프로젝트의 성공을 가늠할 수 있는 지표 중 하나로 데이터 정밀도(data accuracy 를 강조한 바 있다.

보고서에 따르면 시장의 우수 기업들(에버딘의 지표에 의해 평가된)은 평균 94%의 데이터 정밀도를 목표로 설정하고 있었으며, 이를 위해 약 1% 수준의 개선이 요구되고 있었다. 반면 평균적인 기업들은 91%의 데이터 정밀도를 목표로 하고 있었으며 이를 위해 18%의 데이터 관리 방법론 향상을 필요로 하고 있었다. ‘후진적' 기업들의 경우에는 목표 데이터 정밀도 80%, 현재 데이터 정밀도 40%라는 결과를 보여줬다.

데이터 정화(cleansing)와 마스터링(mastering)이 빅 데이터 전략에 미치는 영향의 중요성을 잘 보여주는 자료였다.

데이터 관리 및 빅 데이터 컨설팅 기관 카세트라 컨샙츠(Caserta Concepts)의 설립자 겸 CEO 조 카세트라는 “일부의 생각과는 달리 데이터 정화 및 마스터링의 필요성은 늘 존재하는 요인이다. 데이터 소스에 관계 없이 고객, 상품, 직원, 위치 등 모든 데이터를 정리할 수 있는 능력이 필요하다”라고 강조했다.

그는 데이터 분석의 신뢰성에 악영향을 줘왔던 데이터 품질 문제가 제대로 다뤄지지 않는다면 빅 데이터 애널리틱스에도 같은 영향을 끼치게 될 것이라 덧붙였다.

DRC의 샤봇은 일반적 빅 데이터 프로젝트를 진행함에 있어 개발자들은 데이터 관리를 ‘차선적’ 과제로 인식하는 경향을 보여왔고 따라서 문제가 해결되지 않고 남아있는 경우가 많았다고 지적했다.

그는 효율적 데이터 관리를 위해서는 모델 관리, 메타데이터 관리, 참조 데이터 관리, 마스터 데이터 관리, 용어 관리, 데이터 품질 관리, 데이터 목록 관리 등 데이터 관리의 여러 요소들을 제 위치에 배치하는 성숙한 프로세스 및 자동화 테크닉이 필요할 것이라 덧붙였다.

빅 데이터 성공 팁 No.4: 베스트 프랙티스를 수집하라
이제 일부 사람들은 빅 데이터 관리 및 애널리틱스의 과정 중 무엇이 효과적이고 무엇이 효과가 없는 작업인지를 이해하기 시작했다. 그런데, 왜 이런 값진 지식을 기업의 다른 이들과 공유하지 않는 것일까?

공유를 촉진하는 한 방법으로는, 빅 데이터를 다루는 최고 기관(CoE, Center of Excellence)를 설립하는 것이다. 이를 통해 기관 전반에 공동의 리더십과 베스트 프랙티스(best practice), 그리고 지원과 훈련을 제공할 수 있다.

빅 데이터 및 애널리틱스 프로그램 전문 컨설팅 기관 메시브 데이터 인사이트(Massive Data Insight)의 공동 설립자 엘리엇 아놀드는 CoE의 특징을 설명했다. 전용 예산으로 운영되며 문제 분석 및 계획, 미래, 표준 정의, 사용자 훈련, 계획 실행, 프로세스 유지 등의 과정에 목표를 두고 있다는 것이다.

그는 “처음 CoE를 실행하기 위해서는 활용 가능한 자원을 검토하고 상임 위원의 지원을 확보하는 등의 노력이 필요할 것”이라고 말했다.

그러나 DRC의 샤봇은 빅 데이터 CoE가 이론상으론 분명 좋은 아이디어지만, 실질적인 시행 과정이 제대로 이뤄지지 못한다면 적절한 효용성을 담보하기 어려울 것이라 지적했다.

샤봇은 “CoE가 데이터 라이프사이클 전반을 포괄하는 데에는 여러 기본적인 어려움들이 존재한다. 베스트 프랙티스 구축 및 증명, 조사, 적용 가능성 문서화, 채택 현황 감독, 그리고 지속적 보완까지, 모든 과정이 적잖은 어려움을 안겨줄 것”이라고 말했다.

DRC는 빅 데이터 성숙도 수준을 기업들에서 이용되는 프로세스 개선 프레임워크인 국제 품질 인증 심사(CMMI, Capability Maturity Model Integration)와 유사하게 정의해왔다.

이에 따라 빅 데이터 성숙도 수준 모델은 관련 베스트 프랙티스로도 연결된다. 베스트 프랙티스는 계획/관리 및 프로젝트 실행, 아키텍처, 개발/런타임/실행 네 부분으로 나뉜다. 샤봇은 이것이 빅 데이터 전략이 너무 세부적으로, 혹은 너무 날림으로 전개되는 것을 막아주는 역할을 한다고 설명했다.

빅 데이터 성공 팁 No.5: 전문 지식과 협력이 핵심
빅 데이터는 비즈니스 활동이다. 기술 프로젝트가 아니다. 계획에서 실행, 유지까지 모든 과정에서 비즈니스의 참여가 필수적으로 요구된다는 뜻이다.

아놀드는 “빅 데이터 프로그램 진행에 어려움을 주는 문제 중 하나는 IT와 비즈니스 간의 연결고리를 마련하지 못하는 것이다. 전략과 활동을 통제하는 권한이 비즈니스에 주어지는 상황을 고려할 때 이는 심각한 문제가 아닐 수 없다. 좀 더 성숙하지 못한 기업들에서는 전략이 문서화 되어있지 않거나 생산 도구들이 정리조차 되어있지 않은, 또 정확한 자료가 아닌 의사 결정권자의 직관에 의해 전략이 좌우되는 등의 모습이 보여지기도 한다. 데이터의 가치를 인식하지 못하는 이들이라 할 수 있다”라고 지적했다.

DRC의 샤봇은 “비즈니스 리더와 IT 담당자는 프로젝트의 목표와 니즈, 그리고 투자 수익률(ROI, Return On Investment)이나 비즈니스/미션이 필요로 하는 분석적 역량 도표화, 지속적 피드백 매커니즘 수립 등의 각종 요구 사항 등을 신중히 협의할 필요가 있다. 빅 데이터 프로젝트는 단계에 따라 분할되어 각 단계 별로 새로운 가치를 더하는 방식으로 진행되어야 한다”라고 강조했다.

그러나 IT와 현업 부서가 협의를 이루고, 데이터 계획에 대해 모든 사업부의 동의를 이끌어내는 과정이 언제나 손쉽게 이뤄지는 것은 아니다.

벤처 디벨롭먼트 센터의 스트라이커는 “대부분의 기업들에서 이는 실질적 난관이다. 빅 데이터 활동이 최고 데이터 관리자의 주도 하에 IT 사업부와 마케팅 사업부, 리스크 관리 사업부 등에 각자의 과제를 부여하는 방식으로 이뤄져야 할지, 혹은 각 사업부가 자체적으로 빅 데이터 활동을 진행하며 이를 한 곳에 통합하고 조정하는 방식으로 이뤄져야 할 지는 고민이 필요한 문제”라고 설명했다.

(대량의 데이터 세트과 분석 과제를 저렴한 비용과 높은 효율로 관리할 수 있도록 해주는) 하둡과 같은 빅 데이터 기술 전문가 확보 역시 기업들이 신경 써야 할 부분이다.

카세트라는 “빅 데이터 활동이 데이터 과학자라는 새로운 역할의 인물이 필요하다는 점에 대한 기업들의 동의가 확산되고 있다. 데이터 과학자는 선진 수학, 시스템 엔지니어링, 데이터 엔지니어링, 그리고 비즈니스까지의 총체적인 영역들에 대한 심도 있는 이해 역량을 갖추고 있어야 한다. 그러나 현실적으로 이런 인물을 찾기란 어렵다. 따라서 최근에는 그에 대한 대안으로 통계 전문가, 테크놀로지 전문가, 그리고 비즈니스 전문가 등으로 구성된 데이터 과학 팀을 구성하는 방식 역시 주목 받고 있다”라고 말했다.

카세트라는 이와 함께 데이터 애널리틱스 분야에 곧 커다란 문화적 변화가 발생할 것이라 전망하며 다음과 같이 말했다.

“빅 데이터 프로젝트는 무작정 시작될 수 있는 것이 아니다. 이는 기업이 새로운 패러다임을 받아들일 준비가 되어 있는지를 전략적으로 검토하는 과정을 선행적으로 요구한다. 비즈니스 애널리스트들은 새로운 것을 배우고 목표를 새로이 설정하는 노력을 진행해야 할 것이다."

"빅 데이터 플랫폼에서 기존의 대응적 분석(특정 캠페인의 효과 분석과 같은)은 더 이상 중요한 부분이 아니다. 빅 데이터 환경에서 우리의 목표는 예측적 분석(다음의 캠페인이 무엇을 제공해야 할까?)으로 옮겨가야 한다. 이제는 비구매자에게 충성도 높은 고객의 행동 양식을 따르도록 하는, 또는 적극적 고객이 유출되는 듯한 패턴이 발견되었을 때 그들을 더욱 자극하는 등 타깃에 선행적으로 영향을 미치는 것이 가능해졌기 때문이다.”

그렇다면 견고한, 그리고 일관적인 빅 데이터 전략을 수립하지 않았을 때 발생할 수 있는 위협은 무엇이 있을까? 말 그대로 값비싼 투자를 하고도 아무 것도 얻지 못하는 상황이 벌어질 수도 있을 것이다.

샤봇은 “빅 데이터 프로젝트는 다층적이고 복잡한 활동이다. 이는 정확한 계획 수립 없이는 성공할 수 없는 과정이다. 프로젝트를 이끌 리더들은 시작 과정에서부터 이것의 전략적, 기능적, 데이터, 애널리틱스, 그리고 테크놀로지 로드맵을 정확히 정리할 필요가 있다. 비즈니스, 시스템, 소프트웨어, 데이터, 그리고 테크놀로지 아키텍처 등 모든 영역의 활동들은 이 로드맵들에 기초해 이뤄져야 한다”라고 강조했다.

그는 이어서 “로드맵 관리의 실패는 프로젝트 전반에 위협을 안겨줄 수 있다. 견고하고 일관적인 빅 데이터 전략과 적절한 로드맵을 준비하지 못한 기업은 비용 초과, 기대 불일치, 가치 전달 실패, 그리고 궁극적으로는 프로그램 자체의 실패를 경험하게 될 것”이라고 경고했다.