구글 오픈소스 텐서플로우 1.0 데뷔 “플랫폼 주도권 노린다”

구글 브레인(Google Brain)이 텐서플로우 개발자 서밋에서 머신러닝 라이브러리 텐서플로우(TensorFlow) 1.0을 발표했다. 머신러닝은 자바, C# 또는 파이썬과 같은 언어로 프로그램을 만드는 방법이 아닌 데이터를 사용해 높은 신뢰성으로 예측을 수행하는 컴퓨터를 프로그래밍하는 방법이다.

머신러닝은 은 이미지 인식, 언어 번역, 코멘트나 추천 등의 순위 매기기와 같은 문제 해결 방법으로 효율적이다. 구글을 비롯해 페이스북, IBM, 마이크로소프트는 검색 결과 순위 결정 등의 분야에 내부적으로 머신러닝을 사용해 왔다.



약 1년 전 구글은 독자적인 머신러닝 라이브러리인 디스트빌리프(DistBelief)에 대한 경험을 바탕으로 텐서플로우를 출시했다. 텐서플로우는 구글 내에서 텐서플로우 모델 설명 파일을 포함한 약 4,000개의 소스 코드 디렉터리와 함께 사용되고 있으며, 분야도 구글 검색, 지도, 지메일 스팸 필터 등 다양하다.

구글 선임 연구원이자 인공 지능 분야의 슈퍼스타인 제프 딘에 따르면, 텐서플로우는 깃허브에서 가장 인기 있는 머신러닝 리포지토리다. 딘이 언급한 몇 가지 수치를 보자. 500명의 독립 프로그래머가 소프트웨어를 개발해 제출했고, 월별 커밋(새 코드 모듈 및 패치 적용) 수는 1,000회이며 5,500개의 독립적인 깃허브 리포지토리가 있다. 토론토, 버클리, 스탠포드 대학은 머신러닝 과정을 위한 기본 프레임워크로 텐서플로우를 사용한다.


독창적인 머신러닝 모델을 만들기 위해서는 선형 대수, 확률, 그리고 머신러닝 분야에 대한 고등 교육을 받은 고급 기술 개발자가 필요하지만, 이러한 조건을 충족하는 개발자는 얼마 없다. 다만 머신러닝을 적용하는 것은 다른 개발자들도 가능하다. 각기 다른 기술을 보유한 개발자들이 수행할 수 있는 머신러닝 응용의 유형은 세 가지다.

전문가 : 예를 들어 인간보다 아타리 딥 큐(Atari Deep Q)를 더 잘 플레이하도록 학습할 수 있는 모델과 같은 오리지널 머신러닝 모델은 선형 대수와 확률, 머신러닝에 대한 전문적인 기술을 보유한 소수의 개발자들에 의해 구축된다.

분야 전문가 : 두 번째 그룹은 인셉션(Inception) 3 이미지 인식과 같은 기존 모델을 가져와서 분야별 전문 지식을 적용해 자신의 전문 분야 문제를 해결할 수 있는 개발자들이다. 서밋에서 언급된 사례는 헬스케어 분야였다. 인셉션 V3은 이미지 내의 여러 가지 다양한 사물을 인식하며, 새로운 유형의 이미지를 인식하도록 재교육할 수 있다.

스탠포드 박사과정 학생인 브렛 쿠프렐은 인간 피부과 전문의와 대등한 정확성으로 피부암에서 양성 병변 이미지를, 그리고 양성 피부암과 악성 피부암을 구분하는 인셉션 V3 애플리케이션을 발표했다. 이 내용은 지난 달 저널 네이처(Journal Nature)에 게재됐다.

구글의 릴리 펭은 미국 의학 협회 저널(Journal of the American Medical Association)에 게재된 또 다른 인셉션 V3 애플리케이션을 발표했는데, 이 애플리케이션은 시각 상실의 주 원인인 당뇨병성 망막증을 인간 안과의사보다 약간 더 높은 정확성으로 진단했다.

애플리케이션 개발자 : RESTful API 사용에 능숙한 개발자(즉, 거의 모든 웹 및 모바일 개발자)는 사전에 교육된 모델을 사용해서 기존 애플리케이션에 기능을 추가할 수 있다. 예를 들어 음성에서 텍스트로 변환하기, 언어 번역, 코멘트 순위 매기기 등이 있다.

추상화를 통해 더 많은 개발자와 사용 사례로 확산되는 머신러닝
텐서플로우 1.0은 다양한 기량을 갖춘 더 많은 개발자들이 애플리케이션별 사용 사례에서 텐서플로우를 사용할 수 있도록 해주는 고수준 구조를 제공한다.


이 그림은 앞서 설명한 다양한 개발자 기술에 해당한다. 전문가는 계층(Layers) 이하 스택에서 도구를 사용해서 독창적인 모델을 구축하고, 분야 전문가는 스택의 에스티메이터(Estimator) 및 케라스(Keras) 모델 수준에, 애플리케이션 개발자는 맨 위, 박스 내의 모델(Models in a Box)로 표시된 부분에 위치한다.

확장 가능한 하드웨어 플랫폼
텐서플로우는 실험부터 생산에 이르기까지 다양한 스케일로 하드웨어 플랫폼으로 확장 가능한 소프트웨어 플랫폼이다.

실험적인 XLA 컴파일러는 LLVM 오픈 소스 프레임워크를 사용하는 다양한 하드웨어 아키텍처로 머신러닝 모델을 컴파일한다. 이 프레임워크는 X86, ARM, 엔비디아 DSP와 같은 특정 플랫폼에서 컴파일러를 추상화하는, C++로 작성된 모듈형의 재사용 가능한 컴파일러 및 툴체인 기술 모음이다.

XLA는 하드웨어 스케일과 관련된 중요한 두 가지 사항에 대처하도록 설계됐다. 첫째, 기능 확장을 위해 IoT와 스마트폰 기기에서 실행되는 소형 모델을 구축할 수 있다. 퀄컴은 CPU에서 헥사곤(Hexagon) DSP로 머신러닝 애플리케이션을 옮겨 스냅드래곤 820의 성능을 8배 높이는 것을 시연했다. 퀄컴은 XLA 컴파일러를 사용하지 않았지만 스마트폰의 성능과 전력 프로파일 내에서 최적화된 머신러닝 모델을 실행함으로써 얻을 수 있는 잠재력을 입증했다. XLA는 현재까지 IBM의 파워AI(PowerAI) 배포판과 모비디우스(Movidius)의 미리어드2(Myraid2) 가속기에 적용됐다.

그러나 현재의 하드웨어 속도로는 대형 머신러닝 모델의 프로덕션 요구 사항을 충족하지 못한다. 연구 용도로는 충분한 속도지만 연구원이 모델을 교육시키고 결과를 받기까지 며칠이나 몇 주, 또는 한달 가까이 걸리기도 한다. 연구를 통해 연구원은 자신의 논지를 입증할 수 있지만 이 증명을 수천, 수백만 명이 사용하는 수백 대의 데이터센터 서버가 운용되는 프로덕션에 적용하는 것은 연구와는 전혀 다른 문제다.

머신러닝의 깊고 넓은 프로그래밍 패러다임은 새로운 것이다. 여기에는 대규모 매트릭스와 벡터를 수용하고 감소된 정밀도에 대한 관용도가 극히 높은 아키텍처가 필요하다. 대부분의 경우 최적화는 아직 머신러닝을 위한 실리콘 시스템 아키텍처로 최적화되지 않은 하드웨어 아키텍처에서 이 유형의 연산을 위한 역량을 확장하기 위한 목적으로 이뤄진다.


프랑수아 콜레가 시연한 텐서플로우와 통합된 케라스는 모듈형이자 확장 가능한 최소한의 코딩으로 빠른 심층 신경망 실험이 가능하도록 설계된 오픈소스 신경망 라이브러리다. 콜레는 비디오를 분석해서 (비디오의) 여성이 무엇을 하고 있으며 이 여성이 입고 있는 셔츠의 색은 무엇인지, 두 가지 질문에 답하는 20줄 미만의 케라스 코드로 된 애플리케이션을 시연했다.

첫 번째 질문은 간단치 않다. 여성이 짐을 싸고 있는지, 짐을 풀고 있는지 머신러닝 모델이 판단해야 하기 때문이다. 콜레의 시연은 소량의 소프트웨어와 높은 수준의 추상화를 통해 이 두 가지 질문에 답하기 위한 꽤 복잡한 작업을 수행하는 방법을 보여줬다. 그러나 프로덕션 환경에서는 이 모델 또는 이보다 더 큰 규모의 머신러닝 모델에서 주어진 애플리케이션에 대해 발생하는 지연이 너무 크고 따라서 모델에 대한 최적화가 필요할 가능성이 매우 높다.

스택 내에서, 그리고 케라스 프로그램 범위 내에서 성능 병목 현상은 제약이 되는 코드를 네이티브 C++ 코드로 다시 쓰는 방법으로 해결될 수 있다. 구글 검색 랭킹과 같이 정말 큰 모델은 단일 GPU는 물론 여러 GPU에서도 실행할 수 없고, 고속 내부 시스템 버스 또는 여러 시스템을 연결하는 광섬유 버스로 통신하는 상호 연결된 GPU 뱅크에서 실행해야 한다.

연구 단계에서 입증된 머신러닝 모델이라도 경제성 면에서도 프로덕션 환경까지 확장되지 않을 수도 있다. 특히 구글 검색에서 사용자가 기대하는 것과 같은 수백 ms 수준의 낮은 지연이 필요한 경우 더욱 그렇다. 하드웨어를 더 추가하면 비용은 크게 늘면서 문제는 여전히 해결되지 않을 수 있다. 대규모 머신러닝을 구축하는 사람들은 실리콘 하드웨어 아키텍처에서 필요한 역량이 구현될 때까지 아직 기다리는 중이다. 텐서플로우는 전문가가 C++로 네이티브 코드를 작성해서 시스템 버스 및 상호 연결된 시스템을 통해 워크로드를 분산하고 조율할 수 있게 해주는 분산 텐서플로우 API를 통해 최적화된다.

구글에게 어떤 의미가 있고 왜 오픈소스인가
구글은 다음과 같은 4가지 이유로 텐서플로우와 이를 중심으로 한 커뮤니티를 구축했다.

1. 텐서플로우의 기능을 확장할 독립적으로 개발된 코드 기여와 새로운 사용 사례. 구글의 직원 혜택이 아무리 좋아도 구글에서 일하기를 원하지 않으면서 텐서플로우에 기여하고자 하는 전문 개발자가 있을 것이다. 또한 구글의 머신러닝 애플리케이션이 텐서플로우 2.0 이상을 정의할 모든 잠재적 사용 사례를 다 포괄하지도 못한다. 오픈소스 라이서스를 주고, 코드와 관점을 받는 셈이다.

2. 구글은 최고의 인재를 채용할 수 있는 경로인 오픈소스 커뮤니티와 학생 인턴을 통해 꾸준히 인재를 확보함으로써 번창하는 기업이다.

3. 학계와 산업의 인공 지능 및 머신러닝 커뮤니티는 대단히 개방적이어서 서로의 연구를 공유하고 발판 삼기도 한다. 구글과 경쟁업체 페이스북의 연구개발 팀이 상호 연구 논문에 기여할 정도로 개방적이다. 폐쇄적 접근 방식은 혁신의 속도를 느리게 한다.

4. 구글은 커뮤니티의 혁신에 힘입어 제품을 개선하고 구글 클라우드 플랫폼에서 텐서플로우를 제공, 수익을 거둘 수 있다.

텐서플로우는 플랫폼이다. 구글의 목적은 리눅스만큼 보편적이고 안드로이드만큼 큰 플랫폼이 되도록 텐서플로우를 키우는 것이다.