[공개SW 활용 성공사례 79] 줌인터넷 - 공개SW기반 빅데이터 플랫폼과 실시간 데이터 처리 시스템 구축

인터넷을 이용하는 모든 사용자들에게 편리한 인터넷 환경과 질 좋은 콘텐츠를 제공하는 것을 목표로 2011년 줌닷컴을 선보인 줌인터넷은 작은 박스 형태의 ‘줌앱’을 자유롭게 배치하고, 배경화면 변경 기능을 제공하는 등 나만의 인터넷 시작페이지를 구성할 수 있다는 것을 강점으로 내세워 검색 서비스 시장에 진출했다. 지금껏 수동적으로 제공된 서비스 내에서 콘텐츠를 소비해야 했던 이들은 이런 줌닷컴의 차별화에 주목했으며, 이에 힘을 얻은 줌인터넷은 사용자들이 포털 사이트 내부 정보에 묶여 있기보다 검색 결과로 제공되는 질 좋은 사이트와 외부 정보를 통해 양질의 자료에 더 간편하게 다가갈 수 있도록 하는 포털의 본질적 역할에 충실하자는 의미에서 개방형 포털을 지향하고 나섰다. 이에 따라 줌인터넷은 광고성 답변을 배제하고 답변의 정확도를 높인 ‘아하줌’과 선정적인 광고 없이 원하는 뉴스를 빠르게 찾아볼 수 있도록 기획한 ‘뉴스줌’ 정도로 자체적인 서비스 구현을 최소화하고 사용자들이 검색을 통해 외부 정보로 연계될 수 있도록 구현함으로써 개방성을 강화했다.

분산 시스템 도입으로 확장성+가용성 얻어

사용자들을 보다 좋은 정보로 안내하기 위해서는 데이터 검색 결과의 질을 높이는 일이 무엇보다 중요했다. 이를 위해 줌인터넷은 줌닷컴 오픈 전부터 오랜 기간 준비해온 자체적인 빅데이터 기술을 활용해 검색의 질을 강화하기 위한 다양한 전략을 모색했다. 특히 빅데이터를 저장하고 프로세싱할 수 있는 인프라를 구축하기 위해서는 수백 대의 서버가 필요했다. 이런 시스템을 상용 솔루션으로 구축한다면 요구 기능에 제약을 받거나 최적화에 필요한 비용을 감당하는 데 한계가 따른다고 판단한 줌인터넷은 자체 기술에 기반한 적극적인 공개SW 활용을 선택했다.

대용량 데이터 처리를 위해서는 확장성이 중요했고, 이를 위해 고가의 시스템보다 X86 서버 여러 개를 묶어 처리할 수 있는 것이 핵심 요소로 지목됐다. 대용량 데이터 처리를 위해 분산 시스템 구성을 결정한 줌인터넷은 검색 결과의 질을 향상시키고 검색 플랫폼의 데이터를 저장 및 프로세싱하는 데 매우 중요한 빅데이터 플랫폼의 구축 과정에서 대용량 데이터를 분산 처리해 실시간으로 저장하고 조회하는 HBase와 하둡 분산 파일시스템, 그리고 서버 내에서 직접 데이터를 처리해 성능을 높여주는 맵리듀스를 조합해 시스템을 구현했다. 이렇게 얻어진 확장성 덕분에 한 서버에 문제가 발생해도 여러 경로를 통해 대처할 수 있는 안정적 운영이 가능해졌다.

이와 관련해 김우승 줌인터넷 검색기술본부 연구소장은 “빅데이터를 위한 공개SW가 없었다면 매우 큰 비용을 들여서 SAN 또는 NAS와 같은 상용 스토리지 솔루션과 하드웨어, 그리고 데이터베이스와 데이터웨어하우스 등의 솔루션을 도입해야만 했을 것”이라고 설명하며 “정말 그랬다면 줌인터넷이 지금과 같은 검색 시스템을 만들어서 시장에 나올 수 없었을 것”이라고 덧붙였다.

줌닷컴 시스템 구성도

줌앱을 이용한 줌닷컴 시작페이지 설정

이밖에도 줌인터넷은 안정성과 호환성을 고려해 전체적인 기본 서버를 센트OS로 구성했으며, 사용자들이 직접적으로 체감하게 될 웹서비스 인프라 개발에는 자바와 스프링 프레임워크를, 콘텐츠 데이터베이스에는 MySQL을 활용했다. 또한 네트워크 최적화를 위해 아파치 트래픽 서버와 스퀴드를 활용해 캐싱 서버를 구성하고, 아파치 HTTP 서버와 엔진엑스를 용도에 따라 병행해 사용하며 정적 데이터를 처리하고 있다. 그 뒤에는 톰캣을 활용한 애플리케이션 서버를 두고, 고가의 L4스위치 대신 LVS(Linux Virtual Server)를 이용해 서비스 측면의 시스템 다운타임을 최소화했다. 그밖에도 세션 관리와 사용자 관리를 위해 인메모리 데이터베이스인 멤베이스를, 검색 요청이 들어오는 부분에는 아파치 HTTP 검색 API를 적용하는 등 빠른 검색 시스템 구현을 위해 다양한 공개SW를 도입했다. 이에 더해 줌인터넷은 요청 데이터를 찾는 검색 플랫폼에 자체적으로 개발한 엔진 외에도 아파치 솔라를 이용한 검색 엔진을 도입해 활용하고 있다.

이처럼 다양한 공개SW를 도입해 검색 시장에 진입한 줌인터넷은 계속해서 새로운 공개SW 기술을 주시하고 있다. 특히 공개SW의 종류가 많은 만큼 그 중에서도 어떤 기술이 더욱 안정적이고 효과적인지 성능을 비교하고 도입을 검토하는 데 회사 차원에서 많은 노력을 기울이고 있다. 이에 김우승 연구소장은 “줌닷컴은 아직 시작 단계인 만큼 다루는 데이터의 양이 타 포털 업체에 비해 많지 않지만, 향후 증가할 데이터 트래픽도 별도의 개선 작업 없이 감당할 수 있는 아키텍처를 만들기 위해 노력하고 있다”고 전했다.

줌앱을 이용한 줌닷컴 시작페이지 설정

“자체 기술 내재화로 새로운 공개SW 도입 이어갈 것”

줌인터넷은 다양한 공개SW 활용을 위한 오랜 성능 테스트 경험과 빅데이터를 다루며 기술을 내재화한 인력들의 성장을 자사의 경쟁력으로 내세웠다. 또한 자체적인 인력 풀과 기술력을 통해 현재 수백 테라바이트 정도 쌓인 데이터양이 향후 페타바이트까지 누적될 것으로 기대하고 있다. 새로운 시스템 기술 도입에 적극적인 줌인터넷은 계속해서 새로운 아키텍처를 활용해 빅데이터 플랫폼 단에 수십억 건의 문서를 모을 수 있는 최신 시스템 구축을 계획하고, 이미 그 개발 작업을 진행하고 있다. 이외에도 검색 서비스의 질을 높이기 위한 통계 시스템의 개편도 준비 중이며, 빠르게 발전하고 있는 공개SW에 대한 모니터링을 지속하고 있는 만큼 향후 시스템 개발에도 아파치를 비롯한 다양한 공개SW 도입이 적극 검토되는 분위기다.

[인터뷰]

“단순 시스템 구축을 넘어 자체적 공개SW 기술 기반 확보가 중요”
김우승 줌인터넷 검색기술본부 연구소장

공개SW 도입을 고려하는 이들에게 조언한다면

공개SW를 활용해서 서비스를 만드는 것도 중요하지만 자체적으로 기술을 확보하는 것도 중요하다. 따라서 끊임없이 테스트하고 자신들 환경에 최적화할 수 있는 내부 엔지니어들이 필요하다. 상용 솔루션 업체들은 일정 비용을 받고 지원을 해주지만 공개SW의 경우에는 이런 엔지니어의 역량이 바로 공개SW의 활용가치를 높일 수 있는 주요 요소가 된다. 외부 엔지니어를 확보하는 것도 중요하지만 장기적 관점에서 내부 엔지니어의 역량을 높일 수 있는 기회와 시간을 투자해야만 공개SW의 가치를 더 높일 수 있다. 더불어 국내의 공개SW 커뮤니티에 참여하고 트렌드를 파악하는 노력도 필요하다. 인터넷으로 검색만 할 것이 아니라 개발자들이 직접 발품을 팔아 사람들을 만나고 노하우를 듣고 아무리 작고 사소한 것이라도 자신들의 경험을 나눠야 한다. 또한 공개SW를 가져다 빠르게 결과물을 생성해내는 데 급급하기보다 깊이 있게 공부하고 직접 만들면서 배우려는 의지와 노력이 필요하다.

빅데이터와 공개SW의 미래를 전망해 달라

빅데이터와 관련된 공개SW의 행보는 레드햇과 우분투에서 힌트를 얻을 수 있다. 하둡을 기반으로 다양한 상용 서비스를 지원하는 배포판 공급업체들이 등장했고 기존 IT 업체들 역시 이러한 빅데이터 기술들을 자신들의 데이터 플랫폼에 흡수하거나 연동해서 비즈니스를 하고 있다. 이러한 비즈니스의 움직임은 리눅스가 발전해 온 모습과 같이 빅데이터 관련 공개SW를 더 건강하게 만들 것이다. 단기적으로는 이런 움직임에 거품이 우려되기도 하지만, 장기적인 관점에서 보면 공개SW는 데이터 중심의 비즈니스가 강조되는 빅데이터 시대에 매우 중요한 기술 요소로서 그 역할이 커질 것으로 기대된다.