[공개SW 활용 성공사례 160] SK텔레콤 – 공개SW 기반 빅데이터 인프라 구축

1984년 차량전화(AMPS 방식)로 사업을 개시한 SK텔레콤은 1996년 CDMA 상용화 이후 대표적인 이동통신사로 자리매김 했다. 이후 광대역 LTE-A가 서비스되는 지금까지 시장점유율 50% 이상을 확보하는 등 국내 통신업계 손꼽히는 기업 중 하나이다.

올해로 창사 30주년을 맞아 향후 30년을 위한 비전으로 ‘ICT노믹스(ICT + Economics)’를 제시했다. 관계자에 따르면 ‘ICT노믹스’는 ICT가 생산과 소비뿐만 아니라 사회 전반에 걸쳐 혁명적 변화의 촉매로 작용하는 새로운 형태의 경제를 일켣는다고. SK텔레콤은 비전을 실현하기 위한 새로운 성장 기반을 닦는데 한창이다. 그 중 빅데이터 인프라와 인공지능 기술이 융합된 지능형 플랫폼을 향후 10년간 최대 성장 분야로 전망하고 빅데이터 인프라 구축을 서둘러 진행했다.

공개SW 전면 도입

그동안 버려졌던 데이터들까지 활용 가능한 인프라 구축을 계획한 후, 회사도 처음에는 기존에 사용하던 버티카(Vertica)를 대신해 클라우데라의 하둡 시스템 구입을 고려했다고 SK텔레콤 성장기술원 데이터테크 랩 안성화 부장은 설명한다. 하지만 서버 당 연간 400만 원에 가까웠던 가격은 대규모 시스템을 구축하는데 상당히 부담스러운 액수였다. 게다가 다른 공개SW를 추가적으로 활용하기 어려운 점 등 호환성에 제약이 있다는 단점도 존재했다.

이에 따라, 성장기술원의 데이터테크 랩(Data Tech. Lab)은 공개SW로 빅데이터 인프라를 구축하기로 의견을 모았다고. 2013년부터 본격적으로 사업에 착수했다. 하둡(Hadoop) 서버를 기존 40대에서 1,100대까지 늘리면서 주키퍼(Zookeeper), Flume(플럼), 스톰(Storm), 스파크(Spark) 등을 구비하는 한편, SQL 온 하둡(SQL on Hadoop)으로 기존에 사용하던 하이브(Hive)에 더해 임팔라(Impala)와 타조(Tajo)도 도입했다.

안팀장은 구축 당시 임팔라와 타조 외에는 BMT(벤치마크 테스트) 결과만 제시되는 등 선택이 쉽지는 않았다고 한다. 고려대학교 정보통신대학 컴퓨터학과 DB연구실에서 개발되기 시작해서 최근 호튼웍스의 하둡 배포판에도 포함된 타조의 경우, SK텔레콤에서 그 가능성을 인정하고 초기부터 시범적으로 적용하면서 프로젝트를 함께 발전시켜왔다. 처리속도는 빠르지만 접근하려는 데이터양이 일정 수준 이상 올라가면 작동하지 않거나 불안정해지는 임팔라와 달리, 타조는 맵리듀스보다는 속도면에서 우수하기도 하고 접근하려는 데이터양이 많아져도 안정적이란 점에서 선택하게 되었다는 것이다. 현재는 하이브와 함께 각각의 용도에 맞춰 사용하고 있다고 덧붙여 말했다.

하둡 위주의 구성에 램캐시도 사용하는 효율적인 시스템 구성이지만, 최종적으로 정제된 일부 데이터를 위한 RDBMS로는 소수의 마리아DB(MariaDB)를 사용하고 있다. 기존에는 MySQL을 사용했으나, 썬마이크로시스템즈가 오라클에 인수되면서 혹시 모를 라이선스 정책에 대비하기 위해 마리아DB로 대체한 것이다.

공개SW로만 빅데이터 인프라를 구성

▲ SKT 빅데이터 아키텍처

SK텔레콤의 빅데이터 아키텍처는 일반적인 하둡 에코시스템과 대동소이하다. 먼저 통신기지국을 예를 들면, 상태와 장애여부, 장애의 원인까지 신호를 보내온다. 이전엔 장애원인을 알아내기 위해서는 사람이 직접 기지국에 가서 파악해야 했지만, 이 로그를 활용하면서부터 그런 수고를 덜 수 있게 되었다.

이러한 로(Raw) 데이터를 플럼으로 수집, 분석을 위해 하둡으로 옮긴다. 주키퍼는 이 과정에서 노드들을 조정해주는 역할을 맡는다. 통신량 급증 지역을 파악해 이동기지국 차량을 파견하기 위해서는 실시간 분석이 요구된다. 이러한 스트리밍 데이터 처리를 위해 스톰 또는 스파크로 옮긴다. 이때 스톰의 경우에는 레디스가 중간 매개체 역할을 맡아 데이터를 보다 빠르게 받도록 돕는다. 기존에는 스톰만 쓰다가, 머신 러닝도 지원하는 스파크가 등장하면서 각각 적용해보고 있다.

하둡에 적재된 로그데이터들은 먼저 구성해놓은 하이브를 통해 표준화되며 1차적으로 정제된다. 이후 2차적으로는 각 클러스터에서 하이브, 임팔라, 타조 등을 통해 용도에 맞게 다시 정제된다. 속도보다 다각도의 접근방법이 필요한 경우에는 다양한 기능을 제공하는 하이브를, 작은 데이터에 대해 빠르게 결과를 도출하기 위해서는 임팔라를, 안정적으로 정형화된 리포트를 만들기 위해서는 타조를 활용한다.

이밖에 갱글리아는 이러한 과정들을 전체 클러스터 관점에서 모니터링해주고, 서버 매니지먼트 툴인 패브릭은 프로비져닝을 지원한다. 시스템에서는 하루에 2만 7천여 개의 잡이 처리되고, 가공을 마친 데이터는 별도의 분석 파트로 옮겨져 R 등의 프로그램을 통해 분석에 활용된다.

분석 파트로 데이터를 보내기 전까지 일련의 과정은 관제·프로파일링의 5명과 클러스터별 개발의 10명이 담당해 SK텔레콤 내부에서 직접 관리하고 있다. 여기에 SK C&C, 그루터, 모비젠 등 협력사 인력 15명까지 총 30명이 근무 중이다.

빅데이터를 향한 한걸음, 기술 내재화를 통한 경쟁력 확보

회사 관계자는 SK텔레콤이 이러한 분석결과를 기지국 관리, 유동인구 분석, 통화품질 관리, VoC 분석, 전환이탈(Churn-Out) 예측 등 다양하게 활용중이라고 말한다. 초기부터 전면적인 공개SW 도입을 구상했기에 이러한 대규모 시스템을 구축할 수 있었고, 이를 상용SW로 구축하려면 수백억 원으로도 부족할 수 있으므로 어쩌면 시작조차 못했을 일이라고.

더붙여 안부장은 “빅데이터는 우리 손으로 직접 한다”는 생각으로 다양한 기술을 접목하면서 역량을 강화, 기술 내재화를 이룰 수 있었다고 말한다. 이를 통해 벤더종속을 탈피, 자체적으로 꾸준한 업그레이드가 가능해져 저비용이나 고효율로 원하는 데이터를 빠르게 얻을 수 있는 기반을 갖추게 되었다는 것이다. 회사는 앞으로도 지속적으로 시스템 구축에 공개SW를 활용을 더욱 확대해 나갈 계획을 밝혔다.