"하둡 상에서 텐서플로우 구동"··· 링크드인, 토니 프로젝트 오픈소스화 발표
2018년 09월 15일
ⓒ CIO Korea, Serdar Yegulalp | InfoWorld
토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다.
링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) 작업 스케줄링 시스템을 사용해 텐서플로의 딥러닝 작업을 확장 및 관리하게 해주는 프로젝트를 오픈소스화했다.
'토니'라는 이름의 이 프로젝트는 링크드인이 하둡 상에서 예정된 텐서플로우 작업을 실행하려는 목적으로 2가지 오픈소스 솔루션을 시도한 후 태동됐다. 하둡에서 텐서플로우를 실행하게끔 하는 프로젝트가 몇몇 있었지만 링크드인은 이들에 한계를 감지했다.
이를테면 '텐서플로우 온 스파크'의 경우 아파치 스파크의 업무 엔진을 통해 텐서플로우를 구동했지만 이는 스파크와 지나치게 긴밀하게 짝을 이루고 있었다. 또 '텐서플로우온얀'의 경우 기본적인 기능성을 제공했지만 유지보수가 되지 않고 내결함성 측면에서 취약했다.
링크드인에 따르면 텐서플로우 내의 딥러닝 모델은 일종의 업무 관리가 필요하다. 트레이닝 모델은 몇 시간 또는 며칠의 시간을 요구할 수 있기에 트레이닝 프로세스가 완벽히 완료될 수 있다는 일종의 보장이 요구된다.
링크드인은 토니가 얀의 자원 및 작업 스케줄링 시스템을 사용하여 하둡 클러스터에서 텐서플로우 작업을 설정한다고 전했다. 토니는 또 하둡을 통해 GPU 기반 텐서플로우 작업을 예약하고, 다양한 종류의 리소스 (GPU 대 CPU)를 요청하거나, 텐서플로우 노드에 대해 메모리를 다르게 할당할 수 있다. 아울러 작업 출력을 HDFS에 주기적으로 저장하고, 작업 출력을 주기적으로 HDFS에 저장할 수 있으며, 충돌이나 중단이 발생할 경우 이탈된 지점으로부터 작업을 재개할 수 있다.
토니는 클라이언트, 응용 프로그램 마스터 및 작업 실행자라는 3가지 내부 구성 요소로 작업을 분할한다. 클라이언트는 들어오는 텐서플로우 작업을 허용한다. 응용 프로그램 마스터는 얀의 자원 관리자와 조율해 얀에서 작업을 제공한다. 작업 실행자는 텐서플로우 작업을 실행하기 위해 실제로 얀 클러스터에서 실행되는 작업이다.
링크드인 측은 토니가 "텐서플로우를 배포하고 텐서플로우 작업의 실제 실행을 방해하지 않는 계층에 있기 때문에 텐서플로우 작업에 대해 특정할 만한 오버헤드가 없다고 주장했다.
토니는 이 밖에 텐서플로우 애플리케이션을 시각화, 최적화 및 디버깅하기 위해 텐서보드 애플리케이션과 함께 작동될 수 있다. ciokr@idg.co.kr
※ 본 내용은 한국IDG(주)(http://www.itworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒITWORLD. 무단전재 및 재배포 금지
[원문출처 : http://www.ciokorea.com/news/39589]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 363647 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 353453 | 2020-10-27 |
| 8039 | 글로벌 운송사 페덱스도 하이퍼레저 커뮤니티에 참여 | 4577 | 2018-09-27 |
| 8038 | [해외소식]프랑스 사이버 보안 기관의 오픈 소스 CLIP OS, 보안이 강화 된 OS | 5572 | 2018-09-21 |
| 8037 | ARM, 오픈소스 저전력 블루투스 소프트웨어 스택 공개 | 5480 | 2018-09-21 |
| 8036 | [오픈테크넷서밋 2018] HPE코리아 "딥러닝, 컨테이너로 빠르고 유연하게" | 5865 | 2018-09-19 |
| 8035 | [오픈테크넷서밋 2018] 래블업 “GPU 공급 홍수, 딥러닝 자동화 시대 연다” | 5170 | 2018-09-19 |
| 8034 | 주니퍼, 소형화 엣지 솔루션 ‘콘트레일 엣지 클라우드’ 발표 | 5294 | 2018-09-19 |
| 8033 | [주간 OSS 동향 리포트]텐서플로우의 자바스크립트 라이브러리, Tensorflow.js | 10461 | 2018-09-19 |
| 8032 | 큐브리드, 행정안전부 ‘문서24’ 서비스에 오픈소스 DBMS 큐브리드 공급 | 4815 | 2018-09-18 |
| 8031 | SK인포섹, 보안관제플랫폼 주요 기술 오픈소스로 공개 | 5788 | 2018-09-18 |
| 8030 | "하둡 상에서 텐서플로우 구동"··· 링크드인, 토니 프로젝트 오픈소스화 발표 | 5784 | 2018-09-17 |
0개 댓글