[공개SW 활용 성공사례 82] GSshop - 하둡 기반 빅데이터 분석 플랫폼

시공간의 제약이 없는 쇼핑 환경을 제공해 사용자 선택의 가치를 높인다는 비전을 달성하고자 GS샵은 기존 TV 홈쇼핑 중심의 사업구조에서 탈피해 위성방송, 양방향 TV 쇼핑, 모바일 쇼핑 등 다양한 서비스를 선보여 왔다. 그 결과 지난해에는 매출 1조 원을 달성하며 국내 대표 온라인 커머스 기업으로 자리매김하는 데 성공했다는 평가를 받았다.

특히 GS샵은 자사의 사업 기반이 온라인 커머스에 있는 만큼 IT가 단순히 비즈니스를 지원하는 차원을 넘어 새로운 비즈니스 기회 창출에 직∙간접적인 영향을 미친다고 여겨왔다. 이에 IT를 비즈니스에 잘 활용하는 수준을 넘어 우수한 IT 플랫폼을 확보함으로써 다른 온라인 커머스 업체들과의 차별화된 경쟁력을 갖추고자 노력했다.

그 일환으로 GS샵은 사용자들의 구매 내역을 바탕으로 상품 선택 패턴을 분석한 다음 그 결과를 토대로 사용자가 관심을 가질 만한 신제품이나 관련 상품들을 맞춤식으로 추천해주는 새로운 상품 추천 서비스를 구축하기로 했다. 그러나 기존 고객관계관리(CRM) 시스템을 위해 운영 중인 데이터웨어하우스를 대신해 구매 내역을 통합 관리하고 분석할 새로운 데이터 플랫폼을 도입하는 게 중복 투자로 이어질 수 있다는 우려와 사업 확장에 따른 변화를 수용할 수 있어야 한다는 점을 고려해야만 했다.

▲ 노트북과 태블릿, 스마트PC로 보는 GS샵

빅데이터 플랫폼 확보와 기술 내재화 동시 추진

고객 상품 추천 서비스 개발을 주도한 김준식 GS샵 인터넷사업부 상무는 기술적인 측면과 중장기적인 사업전략에 부합해야 한다는 것 외에도 IT에 기반을 둔 온라인 리테일 사업을 추진하려면 기술 내재화를 통해 회사 내부 개발자들도 충분히 활용할 수 있는 수준으로 기술을 발전시키고 이를 경쟁력으로까지 승화시켜야 한다는 점도 무시할 수 없었다고 강조했다.

그런 점에서 상용 데이터웨어하우스 업체나 데이터베이스 관련 업체들은 빅데이터 플랫폼에 대한 솔루션과 기술 컨설팅을 제공했지만, 대부분이 하둡과 맵리듀스 그리고 Mahout이나 NoSQL 등에 대한 핵심 엔진 관련 기술력을 제공하지 않았다. 게다가 GS샵 내부 개발인력으로도 충분히 상용 솔루션 업체가 제공하는 수준의 하둡 에코시스템을 활용해 자체적인 서비스를 개발할 수 있었기 때문에 상용 솔루션 도입을 고려하지 않았다.
특히 고객과의 접점을 확보하기 위해서는 GS샵의 내부 개발자들이 상품 추천 시스템의 핵심 엔진에 대한 내용뿐 아니라 웹로그 및 비정형 데이터 등의 빅데이터 분석을 위한 개발에 대해서도 잘 알고 있어야만 했다.

이에 GS샵은 2012년 7월부터 하둡 기반 빅데이터 플랫폼으로 사용자의 구매 내역과 온라인 게시판에 남긴 텍스트 데이터를 이관하는 동시에 CEP(Continuous Event Processing)나 오피니언 마이닝(Opinion Mining) 등과 같은 빅데이터 관련 내부 연구 과제를 마련해 국내외 파트너사들과 함께 수행했다. 그 과정에서 빅데이터 플랫폼에 대한 기술이전을 제공하는 그루터의 빅데이터 솔루션이 자사에 적합한 솔루션이라고 판단했다.

오픈소스에 대한 단일화된 관리 기능 제공

사전에 염두에 둔 고려사항들뿐만 아니라 기술 내재화를 만족시키고 GS샵이 제공하는 다양한 서비스에 빅데이터 플랫폼을 적용할 수 있는 확장성을 제공한다는 측면에서 그루터의 빅데이터 솔루션과 컨설팅은 큰 도움이 됐다는 게 회사 측 설명이다. 특히 통합 관리 시스템 환경 구축의 경우 빅데이터 플랫폼에 탑재되는 다양한 오픈소스들이 조합돼 사용되기 때문에 각각의 오픈소스들을 관리하는 데 많은 노력이 요구됐다.

그런 점에서 그루터 솔루션은 오픈소스를 단일 시스템에서 관리하는 구축 시스템을 갖추고 있었다. 특히 클루몬은 오픈소스와 관련된 다양한 인프라에 대한 모니터링은 물론 데이터의 수집, 분석 및 배치, 서비스에 이르는 전체 라이프사이클을 단일 툴에서 보다 쉽게 수행할 수 있게 했다.

하둡과 H베이스(HBase)뿐 아니라 주키퍼(Zookeeper), 플룸, 하이브 등 하둡 에코시스템에 대한 통합 관리와 분석 작업을 지원하는 클루몬은 최대 수백 대의 분산 서버와 SW를 웹 기반 환경에서 관리할 수 있다. 특히 하이브와 H베이스 등에서 데이터 분석가가 직접 질의 시행과 결과 조회를 할 수 있어 빅데이터 솔루션으로도 활용 가능하며, 주키퍼의 znode 관리와 ACL 관리 기능은 클루몬만 제공하고 있다.

또한 분산 환경에서의 성능장애 모니터링과 하둡 파일 브라우저, 하이브, H베이스 질의 클라이언트 그리고 워크플로우 디자이너 등의 기능도 갖췄다. 그 밖에도 ExtJs에 기반을 둔 리치 웹 화면으로 이뤄져 있어 보다 쉽고 편리한 사용자 환경을 제공한다는 것도 클루몬이 제공하는 이점이다.

현재 GS샵 빅데이터 플랫폼은 운영 중인 다양한 몰에서 동일하게 서비스될 수 있도록 구현돼 있다. 각 사이트별 에이전트와 컨트롤러로 구성된 수집기가 사용자와 구매 내역을 하둡에 보내면, 이를 맵리듀스에서 분석한다. 이렇게 분석된 데이터는 다시 관계형 데이터베이스시스템(RDBMS)으로 보내져 사용자에게 추천 서비스를 제공하는 데 활용된다.

▲ GS샵 상품 추천 서비스 아키텍처

빅데이터 플랫폼 적용으로 서비스 수준 향상 추진

GS샵은 하둡 기반 시스템이 현재는 상품 추천 서비스에만 도입됐지만 보다 다양한 서비스로까지 그 적용범위를 확대해 나갈 방침이라고 전했다. 이를 위해 연구개발팀은 검색과 텍스트마이닝 분야에 빅데이터 플랫폼을 적용해, 서비스 최적화를 위한 연구개발과 실제 적용을 위한 노력을 병행하고 있다고 덧붙였다. 회사 측은 아직까지 가시화된 비즈니스 성과가 나타나진 않았지만 순차적으로 빅데이터 플랫폼을 적용하면 서비스 수준을 향상시켜 수익창출을 기대할 수 있을 것으로 내다봤다.

한편 김준식 상무는 데이터 플랫폼 도입을 고려하는 기업들에게 우선 빅데이터 분석으로 무엇을 하고 싶은지에 대한 보다 구체적인 활용방안을 고민할 것을 당부했다. 또 작은 규모의 프로젝트부터 빅데이터 플랫폼을 도입해 개발자들에게는 동기부여를, 경영자들에게는 가치를 보여준 다음 좀더 큰 규모의 프로젝트에 적용하라고 덧붙였다. 그 밖에도 외부 역량에 투자하기보다 프로젝트 수행을 통한 내부 인력을 강화하는 편이 좀더 긍정적인 결과를 얻을 수 있다는 것이 GS샵 측의 분석이다.

[인터뷰]

“실시간 상품추천뿐 아니라 기획 및 준비에도 큰 도움”
김준식 GS샵 인터넷사업부 상무

▲ 김준식 상무

Q> 빅데이터 플랫폼 구축을 통한 기대 효과는

온라인 유통사들은 사용자의 숨은 의도가 대부분 웹로그나 텍스트 등에 고스란히 담겨져 있다고 본다. 따라서 빅데이터 분석은 궁극적으로 사용자의 사생활을 침해하지 않는 선에서 숨은 의도를 파악해 새로운 통찰력(Insight)을 얻어내는 과정인 셈이다. 그런 점에서 GS샵이 구축한 추천 서비스를 위한 데이터 플랫폼은 좀더 거시적인 관점에서 해석하면 상품의 기획 및 준비 단계에 도움을 줄 수 있고, 단기적으로는 보다 정교한 실시간 상품추천을 가능케 할 것이다.

Q> 이전에 수집한 데이터는 어떻게 활용한 것인가

가능한 한 많은 부분을 구축한 빅데이터 플랫폼으로 흡수할 방침이다. 다만 진행 과정에서 비즈니스 요구와 기술의 흐름 그리고 내부적인 준비를 모두 고려한 상태에서 단계적으로 추진할 계획이다. 사실 데이터를 효과적으로 활용하지 못하는 것은 데이터 부족이나 이를 지원하는 분석 시스템에 대한 문제에서 비롯됐다기보다는 데이터를 통해 얻으려는 가치와 목적에 대한 인식이 부족하기 때문이라고 본다. 빅데이터에 수많은 통찰력이 숨어 있음은 인정하지만 더 좋은 것은 이를 분석하지 않고도 효율적으로 사업적 가치를 찾아내는 일일 것이다.