열린마당
5월20일
ⓒ CIO Korea, Serdar Yegulalp | InfoWorld | ciokr@idg.co.kr
인메모리 빅데이터 처리 프레임워크인 아파치 스파크(Apache Spark)가 엔비디아 래피즈(RAPIDS)를 기반으로 GPU 가속화를 지원할 예정이다.
아파치 스파크가 곧 공개될 3.0 버전에서 네이티브 GPU 가속화를 지원한다. 무엇보다도 현재 스파크 애플리케이션들을 수정하지 않고도 GPU 가속화를 적용할 수 있다. 기존 스파크 API가 모두 그대로 작동한다.
엔비디아가 제공하는 GPU 가속화는 추출·변환·적재(Extract·transform·load, ETL)부터 머신러닝 학습이나 추론까지 스파크 애플리케이션의 파이프라인 전반의 성능을 개선하도록 설계됐다. 이는 엔비디아 래피즈(RAPIDS) 스위트를 기반으로 한다. 래피즈는 GPU 가속화를 지원하는 데이터 사이언스 라이브러리다.
스파크 3.0의 성능 향상이 GPU 가속화만으로 이뤄지는 것은 아니다. 스파크 3.0은 GPU를 오가는 데이터 이동을 최소화해 성능을 개선했다. 클러스터 간 데이터 이동이 필요한 경우 유니파이드 커뮤니케이션 X(Unified Communication X) 프레임워크를 활용해 특정 GPU 메모리 블록의 데이터를 다른 블록으로 직접 이동시켜 오버헤드를 최소화한다.
엔비디아에 따르면 데이터브릭스(Databricks) 플랫폼에서 실행되는 아파치 3.0의 프리뷰 버전은 GPU 가속 기능을 사용할 때 7배의 성능 향상을 보였다. 단 워크로드와 데이터세트에 대한 세부 정보는 공개되지 않았다.
아파치 3.0의 정식 출시 일자는 아직 확정되지 않았다. 현재 아파치 스파크 프로젝트 웹사이트에서 프리뷰 버전을 다운로드받을 수 있다.
※ 본 내용은 한국IDG(주)(http://www.ciokorea.com)의 저작권 동의에 의해 공유되고 있습니다.
Copyright ⓒCIO Korea. 무단전재 및 재배포 금지
[원문출처 : http://www.ciokorea.com/news/152845#csidx0390e446858a85b94443e169d05590c]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 203770 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 193566 | 2020-10-27 |
| 8879 | 마이크로소프트 "윈도PC에서 리눅스 애플리케이션도 바로 사용 가능" | 2849 | 2020-05-25 |
| 8878 | EA, '커맨드&컨커 리마스터 컬렉션'과 함께 소스 코드 공개 | 2830 | 2020-05-25 |
| 8877 | MS "오픈소스에 대한 우리 생각은 틀렸다" | 2979 | 2020-05-25 |
| 8876 | 웨인, 크롬 OS 기반 PC용 OS 공개 | 3585 | 2020-05-25 |
| 8875 | 오픈스택, 21번째 버전 ‘우수리’ 공개 | 3146 | 2020-05-25 |
| 8874 | 삼성전자, 미국서 서버 시장 공략 재시동 | 3316 | 2020-05-22 |
| 8873 | 오픈소스 기반 제주형 저비용 시설과수 스마트팜 모델 개발 | 3288 | 2020-05-22 |
| 8872 | 경희사이버대학교, 온라인 강의 노하우 오픈소스 영상 제작·공유 | 3098 | 2020-05-22 |
| 8871 | 아파치 3.0, 머신러닝 위해 엔비디아 GPU 지원한다 | 3457 | 2020-05-22 |
| 8870 | MS가 리눅스 데스크톱 시대를 열었다 | 3015 | 2020-05-22 |
0개 댓글