온라인 게임 회사가 빅데이터를 도입한 이유는?

엔씨소프트는 국내에서 하둡기반의 빅데이터 플랫폼을 가장 선도적으로 도입한 기업 중 하나다. 금융권이나 대형 제조업도 이제 겨우 검토 단계에 돌입한 현재, 엔씨소프트는 이미 3세대 분석 플랫폼을 거의 완성했다.

사실 온라인 게임회사가 왜 빅데이터 플랫폼이 필요할까 쉽게 예측이 되지 않는다. 금융회사처럼 트랜잭션 및 비정형 데이터가 쏟아질 것 같지도 않고, 제조업체의 센서데이터도 없을 것이기 때문이다. 유통회사처럼 다루는 제품이 엄청나게 많은 것도 아니고, 인터넷 포털처럼 1000만명 단위의 회원을 보유하지도 않았다.

엔씨소프트 윤종완 TC테이터플랫폼실 실장에 따르면, 이 회사가 빅데이터 플랫폼을 도입한 이유는 ‘로그 데이터’ 때문이다. 갈대와 같은 고객의 마음을 잡기 위해서는 고객의 행동을 분석해 게임을 떠나지 않도록 해야 하기 때문이다.

윤 실장은  `빅데이터 구현 사례 및 비즈니스 인사이트` 컨퍼런스에서 “아이온 게임이 나온 이후 고객의 행태가 점점 더 복잡해져 이벤트나 마케팅 할 때 쉽지 않다는 내부 평가가 있었다”면서 “예전의 분석 결과대로 이벤트나 마케팅을 하면 효과가 없는 경우가 많았다”고 말했다.

이용자들의 마음을 좀더 구체적으로 살펴보려면, 보다 세밀하게 이용자 활동 행태를 살펴야 한다. 이를 위해서는 더 많은 로그데이터가 필요하다. 윤 실장에 따르면, 매일 새로 쌓이는 로그 데이터가 1테라바이트에 달하고, 분석 대상 로그는 1.6페타바이트 정도다.이 때문에 엔씨소프트는 하둡 에코시스템 기반으로 빅데이터 플랫폼을 구축했다. 

엔씨소프트는 원래 경영정보 분석 시스템을 가지고 있다. 오라클(DW), 코그너스(OLAP), 인포메티카(ETL), EMC(스토리지) 등으로 구성된 일반적인 시스템이다. 이 시스템은 여전히 일반적인 정보계 시스템에 활용되고 있다.

새로 구축한 빅데이터 플랫폼은 로그 분석을 위해 사용된다. 당초 로그분석시스템은 마이크로소프트 MS SQL 서버 기반으로 돼 있었지만 데이터가 급증하면서, 하둡 에코시스템으로 교체했다. 

오픈소스 기반으로 빅데이터 플랫폼을 구축 한 이유는 확장성 때문이다. 상업용DB와 ETL을 그대로 사용할 경우 확장할 때 비용이 급증한다. 기존에는 디스크만 해도 수 테라이트 늘리면 억대의 비용이 소요됐다. 이 때문에 데이터 수입 저장, 관리는 오픈소스 기반으로 하고, 분석만 상용 소프트웨어를 사용키로 했다. 

또 일부 시스템은 자체 개발했다. 오픈소스의 수준이 아직 기업에서 사용할 정도로 올라오지 않았기 때문이다. 대표적인 것이 SQL엔진이다. 

SQL 기반으로 30분 미만의 빠른 조회처리가 필요한데, 클라우데라의 임팔라같은 솔루션은 아직 메인 업무에 채택하기에는 부족하다고 판단했다. 때문에 엔씨소프트는 자체적으로 ‘로그알’이라는 SQL처리 엔진을 개발했다.

하이브알이라는 자체 제품도 만들었다. 기존 DB에는 토드와 같은 뛰어난 써드파티 관리 툴이 있는데, 하이브는 이런 툴이 없어서 하이브알을 개발했다. 윤 실장은 “비데이터 처리를 위해서는 오픈소스가 유용하다”면서 “그러나 오픈소스를 다루려면 외부에 의존할 곳이 별로 없고, 외부 도움을 받는다고 하더라도 내부에 개발자는 꼭 필요하다”고 말했다.

윤 실장은 “이 때문에 빅데이터 도입에 앞서 경영진의 조직적, 비용적인 의사결정이 우선돼야 한다”고 덧붙였다.