Home > 열린마당 > 공개SW 소식

공개SW 소식

5월20일

ⓒ CIO Korea, Serdar Yegulalp | InfoWorld | ciokr@idg.co.kr


인메모리 빅데이터 처리 프레임워크인 아파치 스파크(Apache Spark)가 엔비디아 래피즈(RAPIDS)를 기반으로 GPU 가속화를 지원할 예정이다.

 

아파치 스파크가 곧 공개될 3.0 버전에서 네이티브 GPU 가속화를 지원한다. 무엇보다도 현재 스파크 애플리케이션들을 수정하지 않고도 GPU 가속화를 적용할 수 있다. 기존 스파크 API가 모두 그대로 작동한다. 


엔비디아가 제공하는 GPU 가속화는 추출·변환·적재(Extract·transform·load, ETL)부터 머신러닝 학습이나 추론까지 스파크 애플리케이션의 파이프라인 전반의 성능을 개선하도록 설계됐다. 이는 엔비디아 래피즈(RAPIDS) 스위트를 기반으로 한다. 래피즈는 GPU 가속화를 지원하는 데이터 사이언스 라이브러리다. 

 

스파크 3.0의 성능 향상이 GPU 가속화만으로 이뤄지는 것은 아니다. 스파크 3.0은 GPU를 오가는 데이터 이동을 최소화해 성능을 개선했다. 클러스터 간 데이터 이동이 필요한 경우 유니파이드 커뮤니케이션 X(Unified Communication X) 프레임워크를 활용해 특정 GPU 메모리 블록의 데이터를 다른 블록으로 직접 이동시켜 오버헤드를 최소화한다.

 

엔비디아에 따르면 데이터브릭스(Databricks) 플랫폼에서 실행되는 아파치 3.0의 프리뷰 버전은 GPU 가속 기능을 사용할 때 7배의 성능 향상을 보였다. 단 워크로드와 데이터세트에 대한 세부 정보는 공개되지 않았다. 

 

아파치 3.0의 정식 출시 일자는 아직 확정되지 않았다. 현재 아파치 스파크 프로젝트 웹사이트에서 프리뷰 버전을 다운로드받을 수 있다. 

 

 

※ 본 내용은 한국IDG(주)(http://www.ciokorea.com)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒCIO Korea. 무단전재 및 재배포 금지

 

[원문출처 : http://www.ciokorea.com/news/152845#csidx0390e446858a85b94443e169d05590c]

맨 위로
맨 위로