엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화”
support
게시글 작성 시각 2023-09-14 13:32:46
2023.09.13
© IT비즈뉴스 / 오현식 기자
엔비디아가 ‘엔비디아 텐서RT-LLM’ 소프트웨어(SW)의 제원을 정식 공개했다. 오픈소스로 공개된 이 소프트웨어는 암페어, 러브레이스, 호퍼 GPU에서 대규모언어모델(LLM) 추론을 가속화하는 역할을 수행한다.
텐서RT-LLM은 텐서RT 딥러닝 컴파일러로 구성되며 최적화된 커널, 전처리·후처리 단계, 멀티 GPU/멀티노드 통신 프리미티브를 포함해 엔비디아 GPU에서 최적화된 성능을 제공한다.
(후략)
[원본기사 : https://www.itbiznews.com/news/articleView.html?idxno=110648]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 365475 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 355262 | 2020-10-27 |
| 10730 | [오픈테크넷서밋2023] 과기정통부, "자율주행, 지능형 로봇 산업에 오픈소스 SW 사업화 지원할 것" | 1487 | 2023-09-15 |
| 10729 | 테라폼 오픈소스 버전 포크 개발 진행중 | 1602 | 2023-09-15 |
| 10728 | 칼럼 | 오픈소스 지속가능성 문제··· 기업 간 후원이 필요하다 | 1318 | 2023-09-14 |
| 10727 | 엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화” | 1345 | 2023-09-14 |
| 10726 | [주간 OSS 동향리포트] 오픈테크넷서밋 2023, 9월14일 개최 | 1783 | 2023-09-13 |
| 10725 | [오토저널] 자동차 공급망 전반 오픈소스 SW 관리체계 구축 | 1381 | 2023-09-12 |
| 10724 | 메타, 내년부터 차세대 LLM 학습 시작..."GPT-4 이상 성능 목표" | 1265 | 2023-09-12 |
| 10723 | EDB, 오픈소스 포스트그레스 배포 및 관리 자동화 도구 ‘TPA’ 발표 | 1551 | 2023-09-12 |
| 10722 | “악용이 많아서…” 계정 인증 추가한 짓시미트 | 2927 | 2023-09-11 |
| 10721 | '한국어 AI 모델' 순위 생긴다...업스테이지, 오픈 LLM '리더 보드' 구축 | 1583 | 2023-09-06 |
0개 댓글