“저지연·모바일 특화 MoE 모델”··· AI2, AI 모델 ‘OLMoE’ 오픈소스로 공개
support
게시글 작성 시각 2024-09-11 09:55:15
2024.09.10
ⓒCIO Korea / 이지현 | CIO KR
비영리 AI 기술 연구 기관 AI2(Allen Institute for AI)가 AI 스타트업 컨텍스추얼AI(Contextual AI), 프린스턴대학, 워싱턴대학과 공동으로 개발한 오픈소스 AI 모델 ‘OLMoE’를 4일 공개했다.
OLMoE는 희소 혼합 전문가(sparse Mixture of Experts, MoE) 구조를 활용한 것이 특징이다. 여기서 말하는 ‘MoE’는 AI 모델의 성능을 높이고 계산 효율성을 극대화하기 위한 구조다. 전통적인 대규모 AI 모델이 주어진 입력에 대해 모델의 모든 매개변수를 사용하여 계산을 수행하는데, 이 과정은 매우 많은 연산 자원을 요구한다. 반면, MoE는 입력 데이터에 맞춰 모델의 일부만 활성화해 연산을 수행하는 방식으로, 불필요한 연산을 피하고 자원을 절약한다.
(후략)
[원본기사 : https://www.ciokorea.com/news/349955]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 338402 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 328178 | 2020-10-27 |
| 11081 | 하정우 "소버린AI가 국뽕?···네이버 어젠다 아닌 대한민국 성장 어젠다" | 4255 | 2024-09-19 |
| 11080 | 구글, 통계 데이터 응답 정확도 높인 모델 ‘데이터젬마’ 공개 | 4239 | 2024-09-19 |
| 11079 | 오픈소스 포기한 키값 저장 SW 레디스, 대안으로 부상하는 ‘발키’ | 4262 | 2024-09-19 |
| 11078 | [주간 OSS 동향리포트]가트너 2024 생성형 AI 보고서, 멀티모달·오픈소스 주목 | 4321 | 2024-09-19 |
| 11077 | 한국공개SW협회, 베트남 IT 협회 비나사와 오픈소스 생태계 확대 ‘맞손’ | 4464 | 2024-09-13 |
| 11076 | “AI 개발 핵심은 평가”··· 허깅페이스, LLM 평가 도구 ‘라이트이벨’ 오픈소스로 공개 | 4425 | 2024-09-13 |
| 11075 | 실시간 음성 대화 가능한 오픈 소스 모델 등장..."GPT-4o보다 대답 빨라" | 4166 | 2024-09-13 |
| 11074 | 업스테이지, 11월 출시 '솔라 프로' 테스트용 모델 오픈소스 공개 | 1029 | 2024-09-12 |
| 11073 | IBM, 유해 언어 거르는 새 HAP 필터 공개 "빠른 오픈소스 경량 모델" | 1024 | 2024-09-12 |
| 11072 | “저지연·모바일 특화 MoE 모델”··· AI2, AI 모델 ‘OLMoE’ 오픈소스로 공개 | 1073 | 2024-09-11 |
0개 댓글