엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화”
support
게시글 작성 시각 2023-09-14 13:32:46
2023.09.13
© IT비즈뉴스 / 오현식 기자
엔비디아가 ‘엔비디아 텐서RT-LLM’ 소프트웨어(SW)의 제원을 정식 공개했다. 오픈소스로 공개된 이 소프트웨어는 암페어, 러브레이스, 호퍼 GPU에서 대규모언어모델(LLM) 추론을 가속화하는 역할을 수행한다.
텐서RT-LLM은 텐서RT 딥러닝 컴파일러로 구성되며 최적화된 커널, 전처리·후처리 단계, 멀티 GPU/멀티노드 통신 프리미티브를 포함해 엔비디아 GPU에서 최적화된 성능을 제공한다.
(후략)
[원본기사 : https://www.itbiznews.com/news/articleView.html?idxno=110648]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 359009 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 348831 | 2020-10-27 |
| 10735 | 인젠트, 10월 24일 통합 솔루션 서밋 'ISS 2023' 개최 | 1514 | 2023-09-19 |
| 10734 | MS, 새로운 '단백질 생성 AI' 오픈 소스로 공개 | 1874 | 2023-09-18 |
| 10733 | 美 국립에너지연구소, 오픈소스 양자 프로그래밍 프레임워크 '페니레인'으로 양자 시뮬레이션 가속화 | 1559 | 2023-09-15 |
| 10732 | 묶느냐 푸느냐…미국 빅테크 수장들 '오픈소스 AI 규제' 격론 | 1623 | 2023-09-15 |
| 10731 | [오픈테크넷서밋2023] 인베슘 "오픈소스 적극적인 활용 위해서는 성숙도 관리해야" | 1654 | 2023-09-15 |
| 10730 | [오픈테크넷서밋2023] 과기정통부, "자율주행, 지능형 로봇 산업에 오픈소스 SW 사업화 지원할 것" | 1477 | 2023-09-15 |
| 10729 | 테라폼 오픈소스 버전 포크 개발 진행중 | 1594 | 2023-09-15 |
| 10728 | 칼럼 | 오픈소스 지속가능성 문제··· 기업 간 후원이 필요하다 | 1311 | 2023-09-14 |
| 10727 | 엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화” | 1334 | 2023-09-14 |
| 10726 | [주간 OSS 동향리포트] 오픈테크넷서밋 2023, 9월14일 개최 | 1776 | 2023-09-13 |
0개 댓글