데이터 분석과 인공지능 개발? 구글 클라우드에서 하시라

클라우드 컴퓨팅 서비스(이하 클라우드) 업계는 크게 2강 4중 정도로 판도를 요약할 수 있다. AWS(아마존웹서비스)와 마이크로소프트 애저가 2강에 속하고, 구글클라우드플랫폼(GCP, Google Cloud Platform), IBM 클라우드, 오라클 클라우드, 알리바바 클라우드가 4중에 속한다. 4중 중에서는 구글의 GCP가 가장 앞서 나간다고 평가받고 있다.

하지만 이러한 평가는 글로벌 시장에서나 통하는 얘기다. 국내 클라우드 시장에서는 GCP 관련 소식이 잘 들려 오질 않는다. 타사 클라우드 서비스의 경우 특정 기업이 채택했다는 뉴스가 지속적으로 들려오는 것과 대조적인 모습이다. 때문에 구글 GCP가 국내 시장을 크게 신경 쓰지 않고 있다는 평가까지 나오고 있다.

이는 GCP의 시장 전략을 잘 이해하지 못하는 것에서 나오는 오해다. GCP는 기업의 서비스 인프라 확보에 치중하는 다른 클라우드 사업자와 다른 행보를 보여주고 있다. GCP의 클라우드 서비스는 인프라 제공보다 데이터 분석과 인공지능 개발에 더 초점이 맞춰져 있다. 즉, 인프라는 타사의 클라우드 서비스를 이용하더라도, 데이터 분석과 인공지능 개발은 GCP를 활용해 진행하라는 전략이다. 기업 입장에서도 두 가지 이상의 클라우드 서비스를 동시에 이용함으로써 서비스 인프라가 특정 클라우드에 종속되는 것을 막고, 둘 중 더 나은 서비스를 선택할 수 있게 된다는 장점이 있다. 실제로 많은 글로벌 대기업과 스타트업이 타사의 클라우드 인프라를 이용하면서 빅쿼리, TPU(텐서프로세싱유닛) 등 GCP가 제공하는 데이터 분석 기술 및 인공지능 개발 서비스를 함께 이용하고 있다.

구글이 직접 제공하는 클라우드, 구글클라우드플랫폼

세계 최대의 인터넷 서비스 기업 구글이 제공하는 클라우드 GCP는 어떤 서비스일까? 장혜덕 구글 클라우드 한국 총괄에게 GCP의 비전에 대해 자세히 물어봤다. 장 총괄은 현재 구글코리아에서 구글 클라우드팀을 이끌고 있으며, 구글에 합류하기 전에는 아마존웹서비스 한국 지사장을 역임한 클라우드 분야의 전문가다.

<장혜덕 구글 클라우드 한국 총괄>

"구글은 따로 설명이 필요하지 않을 정도로 유명한 회사다. 구글검색, 안드로이드, 크롬, 플레이스토어, 지메일, 유튜브, 구글지도 등 10억 명이 넘는 사용자가 이용하는 서비스를 7개나 보유하고 있다. 이 가운데 안드로이드 사용자는 20억 명이 넘는다. 이렇게 거대한 인터넷 서비스를 사용자들에게 제공하기 위해 지난 15년 동안 내부에서 다양한 IT 기술을 직접 개발했다. IT 기술뿐만 아니라 인프라 확충도 지속되었다. 이러한 자체 인프라 덕분에 세계 최대의 인터넷 동영상 서비스인 유튜브는 아무런 장애 없이 10억 명이 넘는 사용자에게 서비스되고 있다." 

"아쉽게도 과거에는 이러한 IT 기술과 인프라를 구글 내부에서만 이용했다. 때문에 이러한 구글의 IT 기술과 인프라를 외부 기업과 개발자들에게 제공하기 위해 클라우드 서비스 GCP를 개시했다. GCP의 목표는 간단하다. 외부 기업과 개발자들이 구글처럼 훌륭한 인터넷 서비스를 만들 수 있게 하는 것이다. 기존 구글의 서비스가 일반 사용자를 대상으로 했다면, GCP는 기업을 대상으로 한다는 차이만 있을 뿐이다. 더 나은 경험을 제공한다는 목표는 동일하다."

"기업 비즈니스의 핵심은 데이터다. 데이터를 지속적으로 수집하고 분석해서 체계화할 수 있어야 혁신을 일으킬 수 있다. 이러한 데이터를 보관하기 위해 인프라가 필요하고, 분석하기 위해 데이터 분석 기술과 인공지능이 필요하다. 구글과 GCP가 기업에게 이러한 인프라, 데이터 분석 기술, 인공지능 등을 제공하고 있다."

"사실 다른 클라우드 사업자에 비해 행보가 느리다는 평가를 받은 것은 사실이다. 내부적으로 서비스 정비를 하느라 시장 대응이 느렸다. 1년 반 전부터 많이 달라졌다. VM웨어의 창업자인 다이엔 그린을 구글 클라우드 사업 글로벌 총괄로 임명하고 내부 조직 체계화 및 관련 기술 개발과 인프라 투자를 공격적으로 진행하고 있다. 마케팅과 클라우드 파트너 확보도 동시에 진행됐다. 이를 통해 클라우드 시장에서 입지를 공고히 하는데 성공했다."

GCP의 다섯 가지 장점

장 총괄은 GCP의 강점을 다섯 가지로 요약했다. 빠른 인프라, 저렴한 가격, 강력한 데이터 분석 도구, 독보적인 인공지능 기술, 다른 곳에서 찾아 볼 수 없는 독특한 부가 서비스 등이 그것이다.

"타 클라우드 서비스 대비 GCP의 뛰어난 점은 다섯 가지로 요약할 수 있다. 첫 번째 강점은 우수하고 빠른 인프라다. 구글은 전 세계 기업 가운데 가장 방대한 인프라를 보유하고 있다. 구글은 10억 명이 넘는 사용자들을 수용하기 위해 전 세계 곳곳에 자체 데이터센터를 구축했다. 구글의 전 세계 데이터센터는 구글이 직접 설치한 해저케이블을 통해 연결되어 있다.  때문에 전 세계 어디서나 구글의 서비스를 빠르게 경험할 수 있다. GCP는 이러한 구글의 글로벌 데이터센터를 활용해 서비스를 제공하고 있다."

<구글 클라우드 플랫폼 전 세계 리전>

"예를 하나 들어보자. 국내의 한 기업은 타사의 클라우드 서비스를 이용하다가 GCP로 이동해왔다. 과거에는 글로벌 서비스를 위해 6개의 데이터센터를 이용했는데, 현재는 GCP 미국 데이터센터 하나만 이용하고 있다. 그럼에도 불구하고 서비스 접근 속도가 3.3배 향상되었다. 1개의 데이터센터로 6개의 데이터센터 이상의 효과를 낸 것이다."

"구글은 지난 3년 동안 31조 원의 비용을 투입해 인프라를 확충해왔다. 이는 전 세계 기업 가운데 제일 많은 비용을 인프라 구축에 투입한 것이다. 앞으로도 지속적으로 이러한 비용을 투입해 인프라와 네트워크 설비를 확충할 것이다. 구글은 데이터센터를 임대해서 서비스를 제공 중인 경쟁사와 달리 모든 데이터센터를 직접 구축하고 있다. 현재 미국 4개, 아시아 4개, 유럽 2개 등 전 세계에 10개의 리전(클라우드 서비스 제공을 위한 복수의 데이터센터)을 보유하고 있고, 내년까지 16개로 확장할 예정이다."

"두 번째 강점은 뛰어난 빅데이터 분석 도구다. 현재 시장의 빅데이터 분석 도구는 '아파치 하둡'이 대세다. 하지만 하둡은 알다시피 구글이 만든 '맵리듀스'에서 탄생한 오픈소스 기술이다. 기술의 근간이 구글에게 있는 것이다. 논문 형태로 기술을 공개했는데, 이를 외부에서 다듬어서 오픈소스화했다. 구글 내부에서 이용하는 데이터 분석 기술은 외부에 공개된 기술 대비 3~5년 정도 앞서 나가고 있다. 빅데이터 분석 뿐만 아니라 실시간 데이터 분석 도구도 앞서 나가는 것은 마찬가지다. 이러한 데이터 분석 도구를 구글 내부에서만 이용하다가 GCP를 통해 외부에 공개했다."

"GCP를 활용하면 다른 클라우드를 이용하는 것보다 데이터 분석을 훨씬 빠르고 저렴하게 진행할 수 있다. 대표적인 기술이 GCP에서 제공하는 '구글 빅쿼리'다. 빅쿼리는 쉽게 말해 기업을 위한 구글 검색이다. 과거에는 마케터가 데이터 속에서 인사이트(해법, 통찰력)를 추출하기 위해 직접 분석 작업을 진행해야 했다. 시간도 오래 걸리고 정확성을 보장하기도 힘들었다. 반면 빅쿼리는 구글 검색이 인터넷에서 사용자가 원하는 답을 찾아주는 것처럼 기업의 데이터베이스 속에서 마케터가 원하는 답을 찾아준다."

"빅쿼리를 이용해서 데이터를 분석하고 인사이트를 얻은 대표적인 사례가 세계 최대의 실시간 음악 스트리밍 서비스 '스포티파이'다. 스포티파이는 미국 18~30세 사용자 가운데 힙합을 즐겨 듣는 사용자가 얼마나 되는지, 이들이 어떤 플랫폼으로 음악을 감상하는지, 스포티파이가 제공하는 플레이리스트를 이용하는지 직접 플레이리스트를 만드는지 등을 GCP와 빅 쿼리를 활용해 빠르게 파악했다. 과거에는 이러한 데이터를 얻기 위해 오랜 시간이 걸렸으나, 이제는 몇 분 정도면 충분히 파악할 수 있다."

"세 번째 강점은 앞서 나가는 인공지능 기술이다. GCP는 인공지능을 개발하길 원하는 기업을 위해 다양한 소프트웨어와 하드웨어 기술을 제공한다. 구글이 자체 인공지능 서비스와 알파고를 개발할 때 이용한 기술을 모두 GCP를 통해 제공하고 있다. 구글 인공지능 기술의 대표적인 사례가 바로 오픈소스 인공지능 기술인 '텐서플로'다. 텐서플로는 인공지능을 개발하기 위해 기업과 학계에서 널리 이용되는 기술이다. GCP를 활용하면 텐서플로를 활용해 대규모 인공지능 모델을 구축할 수 있다."

<구글의 오픈소스 인공지능 기술 '텐서플로'>

"텐서플로 뿐만 아니라 구글이 이미지 검색, 번역 등을 제공하기 위해 개발한 인공지능 화상분석, 인공지능 음성분석, 인공지능 언어분석 기술도 API 형태로 제공하고 있다. 기업은 GCP에서 제공하는 6개의 인공지능 API를 활용해 인공지능 서비스를 직접 개발할 수 있다. 예를 들어 글로벌 비디오 채팅 서비스 '아자르'를 제공 중인 하이퍼커넥트는 GCP의 음성분석, 언어분석, 번역 기술 등을 활용해 특정 언어를 듣고 텍스트로 바꾼 후 이를 번역해서 상대방에게 제공하는 해외 통역 메뉴를 개발해서 아자르에 적용했다. 이를 통해 언어가 다른 사용자 간에도 소통이 가능하도록 하고 있다."

"인공지능 개발을 위한 소프트웨어 기술 제공에만 치중하는 경쟁사와 달리 GCP는 하드웨어 기술 제공에도 힘쓰고 있다. 대표적인 것이 바로 알파고의 하드웨어 TPU다. 기업은 GCP를 통해 TPU를 인공지능용 인프라로 채택할 수 있다. TPU는 텐서플로 기술을 활용해 더욱 효율적으로 인공지능을 구축할 수 있도록 도와주는 하드웨어다. 과거 TPU는 인공지능 구동용(추론)으로만 쓰이고, 인공지능 학습용(훈련)으로는 이용할 수 없었다. 하지만 알파고에 적용된 2세대 TPU부터는 구동, 학습 등 인공지능 모델 구축을 위한 모든 분야에 적용할 수 있다. 물론 GPGPU(인공지능, 암호해독 등을 위한 범용 GPU)를 활용한 인공지능 구현에 익숙한 기업을 위해 GPGPU 인프라도 제공하고 있다. 기업이 원한다면 TPU와 GPGPU를 동시에 활용해 인공지능을 구축할 수도 있다."

<인공지능 구현을 위한 전용 하드웨어 구글 TPU>

"구글과 GCP의 목표는 인공지능의 민주화다. 누구나 텐서플로 논문과 GCP의 인프라와 기술을 활용해 인공지능을 개발할 수 있게 하고 있다."

"네 번째 강점은 저렴한 이용 비용이다. 단도직입적으로 말해 GCP는 경쟁 클라우드 서비스보다 훨씬 저렴하다. 제일 저렴한 클라우드 서비스라고 할 수 있다. 인프라 서비스 기준 타사 대비 평균 60% 저렴한 비용으로 서비스를 이용할 수 있다. 과금 체계도 합리적이다. 1시간 단위로 과금을 하는 경쟁사와 달리 1분 단위로 과금을 하고 있다. 아무런 약정을 하지 않아도 한달 내내 켜 놓으면 30%의 요금 할인도 제공한다."

"경쟁사의 클라우드 중고 장터 서비스에 대응하기 위해 1일 동안 1/5 가격으로 가상머신을 확충할 수 있는 서비스(프리엠티블 VM, Preemptible VM)도 제공한다. 이를 활용해 많은 하드웨어 인프라가 필요한 빅데이터 분석을 빠르고 저렴하게 처리할 수 있다. 한 유전자 연구 회사는 유전자 연구를 위해 프리엠티블 VM을 활용해 5만 코어의 가상머신을 확보한 후 3일 만에 데이터 분석을 완료했다. 기존의 내부 시스템으로는 1달 동안 진행해도 끝내지 못할 프로젝트였으나, GCP를 통해 빠르고 저렴하게 마무리할 수 있었다."

"기업과 개발자가 이용 비용을 더욱 절감할 수 있도록 비용 절감을 위한 인공지능 비서 '웹 콘솔'도 제공한다. 웹 콘솔은 머신러닝을 활용해 기업과 개발자가 이용 중인 서비스를 분석한 후 최적화된 하드웨어와 서비스 사용량을 추천해준다. 이를 통해 불필요하게 낭비되고 있는 하드웨어와 서비스를 제거해 이용 비용을 절감할 수 있다."

"다섯 번째 강점은 독특한 부가 서비스다. GCP는 타 클라우드에는 없는 독특하고 유용한 서비스를 통해 경쟁력을 확보하고 있다. 대표적인 사례가 백엔드 서비스 '파이어베이스'다. 파이어베이스는 분석도구, 광고, 데이터베이스 등 앱 개발을 위한 고급 기술을 클라우드에서 API 형태로 제공해, 기업이나 개발자가 만든 앱과 서비스를 더욱 세련되게 다듬어주는 서비스다."

<파이어베이스와 구글클라우드플랫폼>

"파이어베이스는 안쓰는 모바일 개발사를 찾기 어려울 정도로 많은 개발사가 적극 활용하고 있다. 구글 애널리틱스가 웹 페이지 분석의 대세로 떠오른 것처럼 파이어베이스가 앱 분석의 대세가 되었다."

"이 외에도 신용카드나 주민등록증 등 들어오면 안되는 개인정보가 수집되면 이를 자동으로 필터링 해주는 기술 등 기업과 개발자에게 유용한 서비스를 클라우드를 통해 제공하고 있다."

스타트업만을 위한 클라우드가 아니다

글로벌 시장에서 GCP는 '스타트업만 이용하는 클라우드'라는 오명을 벗고 닌텐도, 스포티파이, HSBC, 이베이, 넷플릭스 등 여러 산업 분야의 거물들을 고객으로 확보했다. 국내에서도 스타트업 뿐만 아니라 대기업을 고객으로 확보하기 위해 관련 비즈니스를 진행 중이다. 

"현재 GCP는 국내에서 두 가지 작업에 집중하고 있다. 첫 번째는 기반을 다지는 것이다. 기업이 구글의 IT 기술을 잘 이해하고 사용한 사례를 발굴해서 개발자 커뮤니티 등을 중심으로 널리 알리고 있다. 얼마 전 구글캠퍼스 서울에서 고객들을 초청해 GCP를 성공적으로 활용한 사례를 소개했다. 요기요, 캐시슬라이드, 쉐이커미디어, 꿈많은청년들 등 국내 기업이 GCP를 활용해 어떤 효과를 거뒀는지 소개했다. 계약 때문에 실명을 공개할 수는 없지만, 이러한 스타트업 뿐만 아니라 이름만 대면 알 만한 유통 관련 대기업도 GCP의 고객으로 합류했다."

"두 번째는 파트너 확보다. 구글은 GCP 파트너 확보에도 심혈을 기울이고 있다. GCP 파트너는 고객들이 좀 더 쉽게 클라우드를 이용할 수 있도록 돕는 서비스 파트너(SI 파트너)와 GCP 앱장터를 통해 고객들에게 보안, CRM/ERP, 오픈소스 패키지 등 다양한 IT 기술을 API 형태로 제공하는 테크놀러지 파트너(소프트웨어 서비스 파트너)로 나눌 수 있다. 현재 국내에서 서비스 파트너 확보는 차근차근 진행되고 있다. 락플레이스, 나무기술, 꿈많은청년들 등 여러 클라우드/오픈소스 개발사가 국내 기업이 좀 더 쉽게 GCP를 이용할 수 있도록 돕고 있다. 테크놀러지 파트너의 경우 해외에선 SAP 등 주요 비즈니스 소프트웨어 개발사가 GCP의 파트너로 합류하고 있다. 국내에서도 GCP 테크놀러지 파트너를 확보하기 위해 노력 중이다."