엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화”
support
게시글 작성 시각 2023-09-14 13:32:46
2023.09.13
© IT비즈뉴스 / 오현식 기자
엔비디아가 ‘엔비디아 텐서RT-LLM’ 소프트웨어(SW)의 제원을 정식 공개했다. 오픈소스로 공개된 이 소프트웨어는 암페어, 러브레이스, 호퍼 GPU에서 대규모언어모델(LLM) 추론을 가속화하는 역할을 수행한다.
텐서RT-LLM은 텐서RT 딥러닝 컴파일러로 구성되며 최적화된 커널, 전처리·후처리 단계, 멀티 GPU/멀티노드 통신 프리미티브를 포함해 엔비디아 GPU에서 최적화된 성능을 제공한다.
(후략)
[원본기사 : https://www.itbiznews.com/news/articleView.html?idxno=110648]
번호 | 제목 | 조회수 | 작성 |
---|---|---|---|
공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 446412 | 2020-10-27 |
공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 436156 | 2020-10-27 |
10733 | 美 국립에너지연구소, 오픈소스 양자 프로그래밍 프레임워크 '페니레인'으로 양자 시뮬레이션 가속화 | 1718 | 2023-09-15 |
10732 | 묶느냐 푸느냐…미국 빅테크 수장들 '오픈소스 AI 규제' 격론 | 1781 | 2023-09-15 |
10731 | [오픈테크넷서밋2023] 인베슘 "오픈소스 적극적인 활용 위해서는 성숙도 관리해야" | 1827 | 2023-09-15 |
10730 | [오픈테크넷서밋2023] 과기정통부, "자율주행, 지능형 로봇 산업에 오픈소스 SW 사업화 지원할 것" | 1638 | 2023-09-15 |
10729 | 테라폼 오픈소스 버전 포크 개발 진행중 | 1799 | 2023-09-15 |
10728 | 칼럼 | 오픈소스 지속가능성 문제··· 기업 간 후원이 필요하다 | 1489 | 2023-09-14 |
10727 | 엔비디아, 텐서RT-LLM 공개…“추론 성능 가속에 최적화” | 1520 | 2023-09-14 |
10726 | [주간 OSS 동향리포트] 오픈테크넷서밋 2023, 9월14일 개최 | 1948 | 2023-09-13 |
10725 | [오토저널] 자동차 공급망 전반 오픈소스 SW 관리체계 구축 | 1555 | 2023-09-12 |
10724 | 메타, 내년부터 차세대 LLM 학습 시작..."GPT-4 이상 성능 목표" | 1433 | 2023-09-12 |
0개 댓글