본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화”

support 게시글 작성 시각 2023-09-14 13:32:46 게시글 조회수 799

2023.09.13

 © IT비즈뉴스 / 오현식 기자

 

엔비디아가 ‘엔비디아 텐서RT-LLM’ 소프트웨어(SW)의 제원을 정식 공개했다. 오픈소스로 공개된 이 소프트웨어는 암페어, 러브레이스, 호퍼 GPU에서 대규모언어모델(LLM) 추론을 가속화하는 역할을 수행한다. 

텐서RT-LLM은 텐서RT 딥러닝 컴파일러로 구성되며 최적화된 커널, 전처리·후처리 단계, 멀티 GPU/멀티노드 통신 프리미티브를 포함해 엔비디아 GPU에서 최적화된 성능을 제공한다.

(후략)

 

[원본기사 : https://www.itbiznews.com/news/articleView.html?idxno=110648]
 

맨 위로
맨 위로