메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선"
support
게시글 작성 시각 2024-07-08 14:07:18
2024.07.05
ⓒAI타임스 /박찬 기자
메타가 '다중 토큰 예측(Multi-token Prediction)’ 아키텍처를 기반으로 하는 코드 생성 모델을 출시했다. 이 방식으로 모델 속도를 최대 3배 빠르게 하는 등 대형언어모델(LLM)의 새로운 돌파구를 만들었다고 주장했다.
벤처비트는 4일(현지시간) 메타가 지난 4월 논문을 통해 발표한 ‘다중 토큰 예측’ 아키텍처를 기반으로, 코드 데이터로 사전 훈련한 70억 매개변수의 ‘멀티-토큰-프리딕션’ 모델을 오픈 소스로 출시했다고 보도했다.
다중 토큰 예측은 전통적인 자동회귀 언어 모델이 한번에 토큰 하나씩 예측하는 것과 달리, 여러 토큰을 동시에 예측함으로써 모델의 속도와 정확도를 향상할 수 있는 방법이다.
(후략)
[원본기사 : https://www.aitimes.com/news/articleView.html?idxno=161325]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 317267 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 307001 | 2020-10-27 |
| 11007 | 허깅페이스, 매개변수 135M에 불과한 ‘스몰LM’ 출시 | 344 | 2024-07-18 |
| 11006 | [주간 OSS 동향리포트] 정부, 2027년 시행 목표로 국가 SW공급망 보안 제도 마련 예정 | 876 | 2024-07-18 |
| 11005 | NIPA "오픈소스 전문가 양성"···15개팀 발대식 | 337 | 2024-07-16 |
| 11004 | 패트로누스 AI, GPT-4보다 똑똑한 '헛소리 탐지기' 오픈 소스 출시 | 304 | 2024-07-16 |
| 11003 | 국가 SW공급망 보안 제도 시행, 2027년 목표…정부 첫 공식화 | 370 | 2024-07-12 |
| 11002 | [2024 금융리스크관리] SW도 식품처럼 ‘성분표기’…“SBOM으로 오픈소스 취약점 대비” | 317 | 2024-07-12 |
| 11001 | 프랑스 kyutai 'GPT-4o' 흡사한 AI 음성 비서 'Moshi' 공개 | 355 | 2024-07-10 |
| 11000 | 구글 차세대 OS 퓨시아 선보인다…안드로이드폰 탑재 예정 | 423 | 2024-07-10 |
| 10999 | “SW 공급망 피해, 2031년 1380억달러···공급망 전반서 리스크 낮춰야” | 298 | 2024-07-08 |
| 10998 | 메타, '다중 토큰 예측' 코드 생성 모델 출시..."단일 토큰보다 속도·성능 개선" | 294 | 2024-07-08 |
0개 댓글