본문 바로가기

Home > 정보마당 > 공개SW 활용 성공사례

공개SW 활용 성공사례

[공개SW 활용 성공사례 182] 버즈니 - 공개SW 기반 홈쇼핑 포털 서비스

OSS 게시글 작성 시각 2015-04-22 11:27:30 게시글 조회수 1691
스타트업의 경쟁력이 된 공개SW

인터넷의 보급은 2000년대를 전후로 인터넷 혁명을 촉발, 벤처 붐을 일으키며 다양한 성공 신화들을 역사에 남겼다. 십수 년이 흐른 지금, 닷컴버블의 붕괴로부터 침체됐던 창업 시장이 다시금 새로운 전기를 맞이하고 있다. 스마트폰의 보급이 이뤄지면서 모바일 시대가 도래, 새로운 비즈니스 모델을 내세운 스타트업들의 도전이 거세지고 있다.
모바일 홈쇼핑 포털 ‘홈쇼핑모아’를 서비스하고 있는 버즈니 또한 이 같은 새로운 도전자 중 하나다. 버즈니는 자사 시스템에 공개SW를 적극적으로 도입 및 활용, 저자본의 한계를 극복하면서 고유의 경쟁력을 갖춰나가고 있다. 공개SW가 새로운 기회를 잡기 위한 무기가 된 것이다.

- 기     관 버즈니
- 수행년도 2014년
- 도입배경 딥러닝 기반 홈쇼핑상품 분류 / 홈쇼핑상품 검색·분석 시스템 구축
- 솔 루 션 ElasticSearch(엘라스틱서치), Fluentd(플루언티드), Kibana(키바나), Caffe(까페), Digits(디지츠), PostgreSQL(포스트그레SQL), MongoDB(몽고DB), Redis(레디스), Memcached(멤캐시드), RabbitMQ(래빗MQ), Celery(셀러리), Django(장고), Falcon(팔콘)
- 도입효과 : 비용절감 및 기술경쟁력 강화

버즈니는 포항공대 지식·언어공학연구실(KLE)에서 석사과정을 밟고 있던 남상협, 김성국 두 명의 대표가 검색·분석기술을 활용한 서비스 개발에 뜻을 두고 의기투합, 지난 2007년 설립됐다. 텍스트를 분석해 얼마나 긍정적이거나 부정적인 의견을 나타내고 있는지에 대한 데이터를 자동으로 추출하는 오피니언 마이닝(opinion mining) 기술을 보유, 의견검색엔진과 관련 서비스를 개발 및 제공해왔다.


지난 2008년에는 미국국립표준기술원(NIST) 주최 ‘전 세계 검색 컨퍼런스(TREC)’의 블로그 의견검색 부문에서 국내 최초로 1위를 차지한 바 있으며, 미국에도 특허로 등록된 ‘웹문서에서의 의견추출과 분석장치 및 그 방법’을 비롯해 총 6종의 국내 특허를 보유하고 있다. ‘버즈니영화’, ‘버즈니맛집’ 등 다양한 개인화 추천서비스를 출시했으며, GS홈쇼핑으로부터 10억 원의 투자를 지난 2011년 유치한 바 있다.


특히, 의견검색 기술을 기반으로 지난 2013년 선보인 모바일 홈쇼핑 포털 서비스 ‘홈쇼핑모아’는 국내 주요 6개 홈쇼핑사와의 MOU를 통해 6개 TV홈쇼핑채널 모바일 스트리밍, 실시간 홈쇼핑상품 검색, 홈쇼핑상품 리뷰 분석, 홈쇼핑상품별 예약 알람 기능 등을 제공하고 있다.



공개SW로 초기 개발부터 서비스 고도화까지



▲ 홈쇼핑모아 모바일 앱


버즈니는 스타트업으로 출발할 때부터 공개SW와 밀접한 관계를 맺어왔다. 저자본의 스타트업인 만큼 비용효율적인 방법이 요구됐고, 가능성을 타진하기 위해 선보이는 각종 서비스를 적은 인력으로 관리하기 위해서도 공개SW 도입이 필요했다는 것이 남상협 버즈니 대표의 설명이다.


이에 따라 버즈니는 설립 초기부터 ▲RDBMS ‘포스트그레SQL(PostgreSQL)’ ▲NoSQL DB ‘몽고DB(MongoDB)’ ▲인메모리 기반 키값 스토어 ‘레디스(Redis)’ ▲메모리 캐싱 시스템 ‘멤캐시드(Memcached)’ ▲메시지 큐 ‘래빗MQ(RabbitMQ)’ ▲비동기 작업 큐 ‘셀러리(Celery)’ ▲웹 프레임워크 ‘장고(Django)’ 및 ‘팔콘(Falcon)’ 등을 지속적으로 도입 및 활용해왔다.


현재 주력서비스로 자리한 ‘홈쇼핑모아’의 개발 및 서비스에도 공개SW가 활용됐음은 물론이다. 메인DB로 쓰고 있는 ‘포스트그레SQL’은 직접 서버에서 운영할 뿐 아니라 AWS(아마존웹서비스) 클라우드 버전을 적극 활용해 관리 소요를 줄이고 있다. ‘레디스’는 사용자 관리 세션에, ‘멤캐시드’는 검색결과 캐싱을 통한 빠른 전달에 쓰이고 있고, 사용자가 관심 있어 하는 상품에 대한 푸시메시지 관련 프로세스는 ‘래빗MQ’와 ‘셀러리’로 진행된다.


나아가 ‘홈쇼핑모아’에는 기계학습(머신러닝)을 활용한 서비스도 적용됐다. 6개 홈쇼핑사의 상품분류 카테고리 분류방식이 다소 차이가 있어, 이 데이터들을 통합해 서비스하기 위해서는 자체적인 하나의 기준으로 재정리해 제공할 필요가 있었기 때문이다.


이를 위해 버즈니는 일반적으로 사용되는 자연어 분석 기반 분류가 아닌, 딥러닝(deep learing)을 통한 이미지 분석 기반 분류방식을 채택키로 했다. ▲딥러닝 개발 프레임워크 ‘까페(Caffe)’ ▲딥러닝 GPU 트레이닝SW 디지츠(Digits) 등을 적용, 상품의 이미지를 분석해 자동으로 카테고리가 지정될 수 있게 했다. 이를 통해 분류과정에서 상품코드나 영문상품명으로 인한 오류를 감소시킨 것이다.



공개SW 기반 ‘EFK’로 모니터링부터 마케팅까지



▲ 홈쇼핑모아 ‘EFK’ 구조도


‘홈쇼핑모아’에 구축된 공개SW 기반 시스템 가운데 핵심은 ‘EFK’다. ▲검색엔진 ‘엘라스틱서치(ElasticSearch)’ ▲로그 수집기 ‘플루언티드(Fluentd)’ ▲데이터 시각화 ‘키바나(Kibana)’의 머리글자를 조합한 것으로, 기존 ‘ELK’ 중 ‘로그스태시(logstash)’ 대신 ‘플루언티드’를 도입 및 커스마이징해 데이터 파싱에서 사용성을 높였다는 것이 이동균 버즈니 리서치엔지니어의 설명이다.


‘EFK’ 시스템을 통해서는 데이터를 ‘플루언티드’로 수집·가공, 이를 ‘엘라스틱서치’로 색인, 이후 ‘키바나’를 통해 다양한 통계를 표현할 수 있다. 지난해 상용SW인 ‘스플렁크(Splunk)’를 도입하는 대신 2개월 만에 구축했으며, 각종 플러그인으로 기능을 구현하고 필요한 플러그인은 직접 제작해 추가하기도 했다. 또 검색기술 회사답게 학계에서 논의되고 있는 방법론도 반영했다.


이 시스템은 현재 실시간 모니터링, 마케팅 성과분석, 홈쇼핑상품 통합검색 등 여러 곳에 쓰이고 있다. 6개 홈쇼핑에서 생성되는 데이터를 검색하고, 실시간으로 시스템 프로세스를 모니터링하며, 이를 바탕으로 로그데이터를 분석해 활용한다. 특히, 사내 마케팅팀이나 디자인팀에서도 간단한 교육을 통해 직접 로우데이터를 원하는 형태로 가공하고 활용할 수 있어, 데이터 주도적인 업무환경 조성이 가능해졌다.


버즈니는 지속적인 커스터마이징을 통해 ‘EFK’ 시스템을 강화해나가고 있으며, 특히 데이터 인텔리전스를 가미하기 위해 사용자 행동패턴 분석을 기계학습으로 수행하고 있다. 이를 위해 ‘테아노(Theano)’, ‘사이킷(Scikit)’, ‘까페(Caffe)’ 등을 이용하고 있으며, 향후 해당 기능을 ‘EFK’에 쉽게 적용할 수 있도록 발전시킬 계획이다. 아울러, 서버 설정 및 서비스 배포 자동화를 위해 시범적으로 도입했던 ‘도커(Docker)’를 앞으로 다양한 곳에 적용할 예정이다.



[인터뷰]

“공개SW로 소통하는 회사”

버즈니 남상협 대표, 이동균 리서치엔지니어


버즈니 남상협 대표이사
▲ 남상협 대표이사

스타트업에게 공개SW란?

공개SW는 기술기반 벤처기업에 꼭 필요한 것으로, 우수한 SW를 자사 니즈에 맞게 커스터마이징할 수 있다는 것이 큰 매력이다. 또 단순히 비용절감뿐만 아니라 관련업계 종사자들끼리 이어줄 수 있는 통로역할도 하고 있다고 생각한다. 엘라스틱서치나 도커의 국내 사용자 모임 등을 통해 다양한 정보를 얻고 있으며, 최근 엘라스틱서치 미트업에도 참석해 클러스터 운영 및 설정 관련 정보를 얻기도 했다.


뉴턴은 거인의 어깨 위에 있었기에 더 멀리 내다볼 수 있었다고 말했다. SW업계에서 공개SW는 거인의 어깨와 같다고 여겨진다. 스스로 그 높이까지 올라서려면 많은 시간과 노력이 필요하지만, 공개SW는 이러한 진입장벽을 현저히 낮춰준다. 또한, 이렇게 자사가 얻은 노하우가 그 거인의 키를 높이는데 일조하는 선순환도 기대할 수 있다.
버즈니는 모든 임직원들에게 파이썬(Python)을 교육하고 활용을 권장하며 자체적으로 역량을 강화해나가고 있다. 또 키바나(Kibana)를 마케팅팀과 디자인팀에서도 활용중인데, 웹디자이너에게 이를 알려줬더니 어느새 스스로 고급기능을 체득해 쓰고 있어서 최근에는 역으로 배우기도 한다.



버즈니 이동균 리서치엔지니어
▲ 이동균 리서치엔지니어

공개SW 도입 과정에서 어려움은 없었나?

급속히 성장하고 있는 공개SW 생태계여서 플러그인 개발도 활발히 이뤄지고 있다. 따라서 원하는 기능을 구현한 비슷한 플러그인의 코드를 분석해 자사 니즈에 맞는 기능들을 추가할 수 있었다. 이 과정에서 키바나와 플루언티드의 경우 관련 문서가 적어서 도입 및 커스터마이징에 진입장벽이 있었다.


더불어 대부분의 서버 운영이 그렇듯이 엘라스틱서치 클러스터 구축 및 운영에도 노하우가 필요한 부분이 있는데, 지속적인 시도와 학습으로 경험을 축적해 해결해나갔다. 또 ‘Q박스(Qbox)’라는 엘라스틱서치 클라우드 호스팅을 이용해 운영 관련 리소스 이슈를 상당부분 해소할 수 있었다.



공개SW 관련 바라는 점이 있다면.

국내 개발자들은 꼭 코드를 제공해야 프로젝트에 기여한 것이라는 고정관념이 일부 남아있다. 컨트리뷰션은 해당 공개SW에 대한 의견 올리는 쉬운 방법부터 시작할 수 있다. 또 이런 논의의 장에서 공개SW에 대한 이슈나 성격별로 분류해줄 수 있는 사람도 필요하고, 중복된 부분이나 이미 해결된 사안에 대해 말해줄 수 있는 사람도 필요하다. 이런 것도 모두 기여에 해당된다고 할 수 있다. 꼭 코드를 컨트리뷰션해야 기여에 해당되는 것이 아니라, 작은 것부터 단계를 밟아나가는 것도 의미 있는 기여고 즐거운 일이다.


이밖에도, 국내에서 공개SW를 제작해 내놓아도 세간에서는 이를 불안하게 인식하는 경향이 있다. 이러한 인식을 불식시키고 공개SW 개발 및 유통이 활성화될 수 있도록, 정부에서 나서서 우수 공개SW 개발을 장려하고 또 한데 모아서 제공해주는 곳이 있었으면 좋겠다. 신뢰와 안정성을 부여해주는 측면에서 지원해준다면 큰 도움이 될 것이다.




- 공개SW 역량프라자
맨 위로
맨 위로