Home > 정보마당 > 공개SW 활용 성공사례

공개SW 활용 성공사례

2014
ElasticSearch, 아리랑형태소분석기, Fluentd, Hadoop, HBase, Spark, MySQL 등

공개SW 기반 검색 서비스 고도화


세계적인 이커머스 기업인 아마존이 트래픽 관리 노하우를 바탕으로 시작한 AWS(아마존웹서비스)는 어느덧 클라우드 시장을 선도하는 플랫폼으로 자리했다. 과거 아마존닷컴이 인터넷 서점으로 처음 문을 열었을 때, 이 회사가 글로벌 IT기업으로 성장해 새로운 B2B 시장까지 주도할 것이라고 내다본 이는 그리 많지 않았을 것이다.
국내 이머커스 시장의 경쟁이 나날이 치열해지는 가운데, 국내 기업들 또한 생존과 성장을 위한 경쟁력을 소프트웨어(SW)를 비롯한 IT분야에서 찾고 있다. 특히 그 대표주자인 위메프는 공개SW를 통해 앞선 기술력과 비용효율성을 취하면서 경쟁에서 앞서나가고 있어 눈길을 끈다. 고객을 만족시키는 ‘핫딜(hot deal)’을 공개SW가 뒷받침하고 있는 것이다.

- 기관 위메프
- 수행년도 2014년
- 도입배경 검색서비스 고도화
- 솔 루 션 ElasticSearch, 아리랑형태소분석기, Fluentd, Hadoop, HBase, Spark, MySQL
- 도입효과 검색성능 향상, 비용절감 및 기술내재화

‘We Make Price’를 기치로 내세운 위메프는 지난 2010년 순수 국내자본 소셜커머스로 첫 서비스를 시작했다. 파트너들의 양질의 상품을 고객에게 합리적인 가격으로 제공하는 온라인 플랫폼을 목표로 출범, 하루 한 개 소비자의 호기심을 자극하는 ‘블라인드딜’에서 시작해 현재는 하루 20,000개 이상의 딜이 진행되는 대표적인 소셜커머스로 성장했다. 지난 6월 기준으로 1,800만 명의 회원을 확보하고 있으며, 월 거래액은 2,700억 원에 이른다.



▲ 위메프 홈페이지


이커머스는 기본적으로 인터넷을 기반으로 이뤄지므로, 이커머스 기업의 IT경쟁력은 곧 기업경쟁력으로 이어지게 된다. 더 나은 인프라와 더 앞선 기술력은 더 좋은 상품을 더 빠르게 전달할 수 있게 해주기 때문이다. 이에 따라 위메프 역시 IT경쟁력 제고에 박차를 가하고 있으며, 특히 그 핵심을 공개SW에서 찾아 비용 절감과 기술 내재화를 이루고 있다.



검색서비스 고도화 통해 고객만족도 향상

위메프가 IT경쟁력 제고를 위해 가장 먼저 신경 쓴 부분 중 하나는 고객을 대하는 창구라 할 수 있는 검색서비스다. 위메프의 검색서비스 고도화 프로젝트를 주도한 이상호 검색플랫폼개발팀장은 “고객이 원하는 결과를 보다 수월하게 얻을 수 있도록 검색 서비스 품질 향상에 초점을 맞췄다”고 설명했다. 기존에는 ‘스핑크스(Sphinx)’ 검색엔진을 사용하고 있었으나, 추가적인 기능개발이나 유지보수에 한계를 느끼고 있었다. 무엇보다 한글을 형태소단위로 분석·추출해주는 모듈인 형태소분석기를 접목하는데 어려움이 있었다.


이러한 문제를 해소하기 위해 위메프는 분산검색엔진 ‘엘라스틱서치(ElasticSearch)’를 지난해 8월 도입, 현재 모든 검색서비스에 적용하고 있다. 충분한 검색성능과 함께 개발편의성을 제공하며, 커뮤니티도 활성화 되어있다. 최근 사용량이 더욱 증가해 레퍼런스가 다양해지고 있고 범용성 측면에서도 우수하다는 이점 때문에 ‘엘라스틱서치’를 선택하게 됐다. 특히, 한글 처리를 위해 지난 1월 도입해 ‘엘라스틱서치’에 접목시킨 ‘아리랑 형태소분석기’의 경우, 정확도를 상용 수준으로 끌어올리기 위해 언어처리 전공 박사도 팀에 합류시키고 튜닝을 거듭한 끝에 이커머스에 적합한 성능을 구현해 내는데 성공했다.



▲ 위메프 검색서비스 아키텍처



물론 시중에는 구축 및 사용 편의성을 제공하는 여러 상용 검색 솔루션들이 출시돼있고, 국산 솔루션들의 경우 한글 처리에 대해서도 강점을 보인다. 그러나 이커머스 분야는 빠르게 변화하는 비즈니스에 대응하기 위해 수시로 검색엔진의 기능을 변경하거나 새로운 시스템을 추가 구성하는 경우가 잦으며, 이를 짧게는 1주 내로 완성해야 할 때도 적지 않다는 점이 위메프가 공개SW를 택한 이유다. 어떠한 영역이든 특정 솔루션 업체에게 라이선스 문제를 논의하고 기술지원을 기다리기보다는, 가능하면 직접 해결하는 편이 급박한 시장상황에서 더욱 민첩하고 유연하게 대응 가능하기 때문이다.


자체적으로 검색서비스를 구축하면서 위메프는 검색품질에서부터 경쟁력을 갖추게 됐다. 검색되는 상품에 제한이 없고, 상품이 급격히 늘어나도 검색속도를 일정하게 유지해줄 수 있게 했으며, 검색결과 랭킹을 조절할 수 있도록 다양한 튜닝도 이뤄졌다. 모든 딜에 대한 색인 및 검색서비스는 ‘엘라스틱서치’를 통해 제공되고 있으며, 자동완성과 같은 고속 검색서비스에도 활용되고 있다. ‘아리랑 형태소분석기’는 검색대상이 되는 딜의 한글 처리를 전담하고 있고, 일반적인 오타를 스스로 교정해 고객들의 반복 검색 소요를 줄여주는 등 언어처리가 필요한 부분에서 핵심적인 역할을 하고 있다.



빅데이터 분석으로 고객 니즈에 더 가까이

나아가 위메프는 빅데이터 분석 프로젝트를 추진, 유통(리테일) 분야에 특화된 공개SW 빅데이터 플랫폼을 직접 구축하기에 나섰다. 먼저 ‘하둡(Hadoop)’을 지난해 10월 도입해 기반 플랫폼으로 삼았고, ‘플루언티드(Fluentd)’를 지난 3월 도입해 모든 웹서버의 로그데이터를 수집하는 용도로 사용하고 있다. 또 지난 4월 도입한 NoSQL DB ‘H베이스(HBase)’로는 기존 MySQL 등 RDBMS(관계형데이터베이스관리시스템)로 처리하기 어려웠던 비정형데이터 등을 다루고 있다.


특히 최근 각광받고 있는 인메모리 분석 프레임워크 ‘스파크(Spark)’를 지난 4월 도입하면서 효과를 보고 있다. 메모리 기반의 빠른 데이터 처리와 기계학습(머신러닝)의 적극적인 활용을 통해 기존 ‘하둡’의 ‘맵리듀스(MR)’ 작업보다 생산성이 5~6배 수준으로 향상됐다는 것이 회사 측의 설명이다. ‘스파크’는 위메프 내 인기검색어, 연관검색어 등 짧은 시간 내 대용량 데이터를 처리하고 결과를 추출해야 하는 서비스에 맞춰 효율적으로 적용되고 있는 것이다.



▲ 위메프 빅데이터 플랫폼 아키텍처



위메프의 빅데이터 플랫폼은 구글 클라우드와 연계돼 활용되고 있으며, 실시간 분석을 위해 ‘스파크’를 집중적으로 활용하는 것이 특징이다. 웹서버의 로그데이터를 실시간으로 수집하기 위해 모든 웹서버에 ‘플루언티드’를 설치하고, 수집된 로그를 구글 클라우드로 전송한다. 이후 ‘스파크’를 통해 통계분석 및 기계학습을 수행 한 후 결과를 ‘H베이스’에 저장한다. 이를 기반으로 다양한 서비스 지표를 산출해 의사결정에 요구되는 인사이트를 도출하거나 필요로 하는 서비스 정보로 재가공하게 된다.


이러한 위메프의 빅데이터 플랫폼에는 하루에 수십 기가바이트(GB)씩 데이터가 쌓이고 있다. 이에 위메프는 비(非)개발자들도 방대한 데이터에 보다 쉽게 접근하고 활용할 수 있도록 SQL온하둡(SQL on Hadoop) 도입을 고려, 현재 ‘타조(Tajo)’ 도입을 검토하고 있다. 빅데이터 분석을 활용해 고객에게 맞춤형 서비스를 제공하면서 이커머스 시장을 지속적으로 선도한다는 것이 위메프의 계획이다.



[인터뷰]


“이커머스의 경쟁력은 곧 공개SW 활용능력”

이상호 위메프 검색플랫폼개발팀 부장


이상호 위메프 검색플랫폼개발팀 부장

이커머스 분야에서 공개SW란.

이커머스는 태생적으로 인터넷을 떠나서는 할 수 없는 비즈니스로, IT경쟁력은 필수요소라 할 수 있다. 남들보다 뛰어난 IT경쟁력이 없다면 뒤쳐질 수밖에 없으며, IT경쟁력을 위한 기본적인 기술요소는 공개SW에서 찾을 수 있다. 이커머스 사이트들을 보면 수많은 서비스 모델이 순식간에 나타났다가 사라지는 것을 반복하고 있다. 다른 도메인에 비해 아주 빠르게 비즈니스 모델이 바뀌거나 접목되는 것으로, 이러한 상황에서 플랫폼을 개발할 때 공개SW를 선택하는 것은 당연하다고 여긴다. 앞으로도 공개SW를 도입하고 지속적으로 새로운 시도를 꾀할 계획이다.


공개SW를 활용해 검색서비스부터 개선한 것은 고객의 만족도와 직결되기 때문이다. 고객이 이커머스 서비스를 접하는 창구는 결국 웹사이트고, 여기서 원하는 상품을 찾기 위해서는 검색을 통하게 되기 마련이다. 검색 관련 개발을 15년간 해오면서 익혀오고 생각해왔던 점들을 이번 검색서비스 고도화에 적용했으며, 특히 검색 성능과 한글 언어처리에서 경쟁사들보다 월등하다고 자부한다. 개발자들이 편하게 일할 수 있는 업무환경이 조성됐고 IT개발에 대한 전사적인 지원도 이뤄지고 있어 수월하게 프로젝트를 진행할 수 있었다. 현재는 빅데이터 분석을 통해 고객에게 지금보다도 더 나은 서비스를 제공하는 것에 중점을 두고 있다.



공개SW 도입 및 활용 시 주의할 점이 있다면.

공개SW는 저비용으로 간단하게 사용할 수 있다는 장점이 있지만, 이를 복잡한 서비스에 접목할 때는 의외로 진입장벽이 높다. 이는 그 이론이나 핵심을 이해하지 못하고 단순히 도구로 사용하는 수준에서 벗어나지 못하기 때문이다. 제대로 활용하기 위해서는 해당 분야의 기본적인 이론이나 전문적인 경험을 필요로 하게 되며, 이에 대한 고민과 검토 없이 쉽게 도입을 결정한다면 어려운 상황에 직면할 수도 있다.


만약 꼭 필요한 공개SW 솔루션이지만 이에 대해 충분히 학습할 여유가 부족하다면, 외부 전문가를 합류시켜 전담할 수 있는 여건을 만드는 것도 하나의 방법이 될 수 있다. 많은 기업들이 내부에 전문인력를 키우기보다는 당장의 비즈니스나 인건비 절감을 위해 상용SW를 도입하는 경우가 많지만, 특정 솔루션벤더에 기술이 종속되면 비즈니스 또한 종속될 수 있다는 점을 염두에 둘 필요가 있다. 오히려 공개SW 활용과 내부 전문가 육성에 투자한다면 장기적으로 기업에게 이익으로 돌아올 것이라 본다.




- 공개SW 역량프라자

맨 위로
맨 위로