Home > 열린마당 > 공개SW 소식

공개SW 소식

2018년 09월 15일      

ⓒ CIO Korea, Serdar Yegulalp | InfoWorld

 

토니(Tony) 프로젝트는 하둡의 기본 스케줄러를 사용해 텐서플로우 작업을 실행함으로써 내결함성을 강화하고 GPU를 좀더 쉽게 이용할 수 있게 해준다.

링크드인이 하둡의 얀(YARN ; Yet Another Resource Negotiator) 작업 스케줄링 시스템을 사용해 텐서플로의 딥러닝 작업을 확장 및 관리하게 해주는 프로젝트를 오픈소스화했다.

'토니'라는 이름의 이 프로젝트는 링크드인이 하둡 상에서 예정된 텐서플로우 작업을 실행하려는 목적으로 2가지 오픈소스 솔루션을 시도한 후 태동됐다. 하둡에서 텐서플로우를 실행하게끔 하는 프로젝트가 몇몇 있었지만 링크드인은 이들에 한계를 감지했다.

이를테면 '텐서플로우 온 스파크'의 경우 아파치 스파크의 업무 엔진을 통해 텐서플로우를 구동했지만 이는 스파크와 지나치게 긴밀하게 짝을 이루고 있었다. 또 '텐서플로우온얀'의 경우 기본적인 기능성을 제공했지만 유지보수가 되지 않고 내결함성 측면에서 취약했다.

링크드인에 따르면 텐서플로우 내의 딥러닝 모델은 일종의 업무 관리가 필요하다. 트레이닝 모델은 몇 시간 또는 며칠의 시간을 요구할 수 있기에 트레이닝 프로세스가 완벽히 완료될 수 있다는 일종의 보장이 요구된다.

링크드인은 토니가 얀의 자원 및 작업 스케줄링 시스템을 사용하여 하둡 클러스터에서 텐서플로우 작업을 설정한다고 전했다. 토니는 또 하둡을 통해 GPU 기반 텐서플로우 작업을 예약하고, 다양한 종류의 리소스 (GPU 대 CPU)를 요청하거나, 텐서플로우 노드에 대해 메모리를 다르게 할당할 수 있다. 아울러 작업 출력을 HDFS에 주기적으로 저장하고, 작업 출력을 주기적으로 HDFS에 저장할 수 있으며, 충돌이나 중단이 발생할 경우 이탈된 지점으로부터 작업을 재개할 수 있다.

토니는 클라이언트, 응용 프로그램 마스터 및 작업 실행자라는 3가지 내부 구성 요소로 작업을 분할한다. 클라이언트는 들어오는 텐서플로우 작업을 허용한다. 응용 프로그램 마스터는 얀의 자원 관리자와 조율해 얀에서 작업을 제공한다. 작업 실행자는 텐서플로우 작업을 실행하기 위해 실제로 얀 클러스터에서 실행되는 작업이다.

링크드인 측은 토니가 "텐서플로우를 배포하고 텐서플로우 작업의 실제 실행을 방해하지 않는 계층에 있기 때문에 텐서플로우 작업에 대해 특정할 만한 오버헤드가 없다고 주장했다.

토니는 이 밖에 텐서플로우 애플리케이션을 시각화, 최적화 및 디버깅하기 위해 텐서보드 애플리케이션과 함께 작동될 수 있다. ciokr@idg.co.kr
 

※ 본 내용은 한국IDG(주)(http://www.itworld.co.kr)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒITWORLD. 무단전재 및 재배포 금지

[원문출처 : http://www.ciokorea.com/news/39589]

번호 제목 조회수 작성
공지 [주간 OSS 동향 리포트] 기업이 오픈소스를 꼭 이용해야 하는 이유 new 2 2019-10-23
공지 [주간 OSS 동향 리포트] "살상 무기에 오픈소스 쓰지 말라"··· '히포크라테스 라이선스' 제안 화제 310 2019-10-15
공지 [주간 OSS 동향 리포트] 한국의 개방형OS, 리눅스 생태계 살아날까? 496 2019-10-07
공지 [주간 OSS 동향 리포트] 금융권의 클라우드, NHN이 선정된 이유는? 647 2019-09-24
8031 SK인포섹, 보안관제플랫폼 주요 기술 오픈소스로 공개 408 2018-09-18
8030 "하둡 상에서 텐서플로우 구동"··· 링크드인, 토니 프로젝트 오픈소스화 발표 408 2018-09-17
8029 [오픈테크넷서밋 2018] 네이버 챗봇, “자연어 처리, 다국어에 강해” 355 2018-09-14
8028 [오픈테크넷서밋 2018] SK C&C “이제 코딩없이 머신러닝, 딥러닝 분석 가능” 418 2018-09-14
8027 [오픈테크넷서밋 2018] 호텔에선 환영받은 KT 기가지니, "오픈소스의 힘" 358 2018-09-14
8026 [오픈테크넷서밋 2018] 삼성전자 “개인화된 IoT, ‘엣지 컴퓨팅’에 주목” 411 2018-09-14
8025 [오픈테크넷서밋 2018] SKT “오픈소스SW, ICT 생태계 혁신 동인” 328 2018-09-14
8024 “웹브라우저에서 머신러닝을” 텐서플로우 자바스크립트 라이브러리 Tensorflow.js 505 2018-09-14
8023 “거인(오픈소스SW)의 어깨에 올라서자”…오픈테크넷 서밋 2018 개최 442 2018-09-14
8022 [오픈테크넷서밋 2018] 큐브리드가 제안하는 클라우드 전환 방안은? 339 2018-09-14
맨 위로
맨 위로