“똑똑한 토종 추천 알고리즘, 써보시렵니까”

전세계에서 가장 많은 상품 거래가 이뤄진다는 아마존닷컴 웹사이트와 지마켓, 11번가, 옥션 같은 국내외 유명 e쇼핑몰 웹사이트에는 한 가지 공통점이 있다. 모두 매출을 높이기 위해 상품 추천 서비스를 활용한다는 점이다.

위 웹사이트는 구매자가 특정 물품을 선택하기가 무섭게 화면 아래나 옆에 작을 창을 띄우고 이용자를 졸졸 따라다니며 ‘이 상품엔 관심 없으세요?’라고 묻는다. 그런데 참 신기하다. 모두 내가 관심을 가질 법한 물건만 골라서 보여준다. 어떻게 이렇게 할 수 있을까.

어려운 일은 아니다. 추천 알고리즘 개발업체의 솔루션을 웹사이트에 탑재하면 누구나 고객에게 추천 상품을 보여줄 수 있다. 쇼핑몰 웹사이트 서버와의 연동, 방화벽 개방, 로그 포맷과 같은 작업만 추가하면 된다. 개발자를 따로 두고 있는 전문 e쇼핑몰 업체라면 큰 어려움 없이 곧바로 추천 서비스를 웹사이트에 적용할 수 있다.

그럼 개발자가 없는 중소 중견 쇼핑몰 업체는 어떻게 해야 하나. 상품 추천 서비스를 제공하려면 개발 인력을 새로 뽑거나 추가 비용을 들여 시스템 통합(SI) 업체에 따로 부탁이라도 해야 한다. 자칫하면 배보다 배꼽이 더 클 수도 있는 일이 벌어진다.

“모든 쇼핑몰 업체가 개발자를 두고 있는 건 아니잖아요. 솔루션을 구입할 정도로 형편이 넉넉한 곳만 있는 것도 아닐거고요. 그래서 생각했습니다. 고품질의 추천 서비스를 개발 없이도 제공할 수 있는 법을요.”

이채현 SK플래닛 플래닛X 인큐베이션 센터 레코픽팀 팀장은 이같은 고민을 어떻게 풀어줄까 고민했다. 궁리 끝에 그가 속한 팀은 간단한 스크립트 삽입만으로 상품 추천 서비스를 제공할 수 있는 ‘레코픽 알고리즘‘을 개발했다. 별도로 솔루션을 설치할 필요도, 서버와 연동할 필요도 없다. 스크립트 한두 줄 정도만 웹페이지에 추가하면 추천 서비스가 웹사이트에 찰싹 붙는다.

이채현 팀장은 팀 이름을 ’Editor’s Pick’에서 아이디어를 얻었다. 그는 ‘추천’을 뜻하는 ‘Recommendation’과 ‘뽑다’인 ‘Pick’을 합친 ‘Recommendation Pck’에서 브랜드명을 따 왔다. 잘 추천해서 보여주겠다는 각오를 담은 이름이다.

레코픽은 대용량 데이터 처리를 도와주는 오픈소스 하둡과 하이브, 하둡 맵리듀스에서 실행되는 머신 러닝 라이브러리 마후트, 아마존웹서비스 클라우드 서버를 이용해 추천 알고리즘을 개발했다. SK플래닛에서 추천 알고리즘 개발을 맡았던 이채현 팀장의 경험도 서비스 개발에 한몫했다.

“저흰 사내벤처입니다. 그래서 다른 벤처처럼 완전히 무(無)에서 시작한 건 아닙니다. 기존 팀에서 추천 알고리즘을 개발하던 실력이 있었지요. 여기에 자연어 처리 방법, 실험을 통해 얻은 경험 등을 바탕으로 쇼핑몰과 언론사에 최적화된 추전 알고리즘을 개발하게 됐습니다.”

레코픽의 추천 알고리즘도 기본 뼈대는 아마존 같은 쇼핑몰이 제공하는 추천 서비스와 같다. 이들은 쇼핑몰을 방문하는 고객들의 구매 패턴을 분석해 상품을 추천한다. 만약 어떤 고객이 A 상품을 구매하면, A를 구매한 다른 구매자들이 주로 구매하는 B 상품을 찾아 추천하거나, A와 관계가 많은 C, D, E 상품을 찾아내 추천하는 식이다.

그런데 이처럼 단순히 관계만 분석해서 상품을 추천했더니 문제가 생겼다. 쇼핑몰 웹사이트 첫 화면에 뜬 물품을 무작위로 클릭하는 사용자 때문에 관련도가 낮은 엉뚱한 상품이 추천되는 일이 더러 발생했다.

예를들어 농수산물을 판매하는 쇼핑몰 첫페이지에 상추와 애플망고가 동시에 올라가 있었는데, 상추를 사러 온 고객이 호기심에 애플망고를 클릭하는 경우도 더러 있다. 그러자 관련성이 낮은 애플망고가 상추를 사러 온 고객에게 추천 상품으로 등장하기 시작했다. 이런 일이 쌓이면서 추천 상품에 목록의 정확도가 떨어지기 시작했다.

그 뿐만이 아니다. 쇼핑몰에서 적용하는 알고리즘을 언론사 추천 기사 서비스에 적용하자 또 다른 문제가 생겼다. 전혀 연관없는 기사가 추천 기사로 떠오르는 것이었다. 가장 많이 읽는 기사에 보이는 목록 순서대로 별 뜻 없이 눌러보는 사용자 습관이 원인이었다. 가장 기본적인 사용자 클릭만으로 추천 알고리즘을 제공하는 데는 한계가 있었다.

추천 선정 방식의 다른 기준이 필요했다. 쇼핑몰과 언론사 등 산업군별 다양한 추천 기준도 필요했다. 레코픽팀은 수집하는 각 항목 간 가중치를 달리 두는 방식으로 문제를 해결했다.

“초기 실수를 바탕으로 이제는 사용자의 행동, 체류시간, 물품의 구매 여부, 추천 리스트 클릭 여부 등을 종합적으로 판단해 상품 간 추천 목록을 제공합니다. 상품 간 유사도를 파악해 추천 품질을 높이는 콘텐츠 기반 추천 알고리즘도 함께 제공하고 있습니다. 앞으로 차차 알고리즘을 늘려나갈 예정입니다.”

현재 레코픽의 추천 알고리즘을 적용하면 쇼핑몰 웹사이트에서는 제품 구매 연관성이 높은 상품이, 언론사 웹사이트에서는 유사성이 높은 기사가 추천된다. 11번가를 비롯한 다양한 웹사이트에서 레코픽의 추천 알고리즘을 사용하고 있다. 국내 한 언론사와도 서비스 도입 논의를 마치고 곧 정식 적용에 들어갈 예정이다.

“저희 알고리즘을 탑재한 기업의 추천 클릭률이 적게는 30%에서 많게는 50%까지 늘었다는 얘기를 들었습니다. 어떤 쇼핑몰은 구매 전환율이 300%나 뛰었다고 하더군요.”

이채현 팀장은 레코픽을 추천 알고리즘계의 구글 애널리틱스로 발전시키길 꿈꾼다고 했다.

“지금도 추천 알고리즘 서비스는 많지만, 저희처럼 스크립트만으로 구현하는 곳은 거의 찾아볼 수 없었습니다. 이같은 단순하고 편리한 적용 방식 덕분에 기업이 레코픽을 더 많이 찾지 않을까 기대합니다. 물론, 기능도 더 추가해야지요. 앞으로는 지금과 같은 상품 기반의 추천이 아니라 사용자 맞춤형 추천 기능도 선보일 생각입니다.”

▲ 레코픽 팀원과 서진우 SK플래닛 대표(가운데)