2024.04.03
ⓒ인공지능신문/최광민 기자
이제 누구나 대형언어모델(LLM)을 자체적으로 평가하고 테스트해 볼 수 있다.
업스테이지(대표 김성훈)는 자사가 개발한 노코드 LLM 종합 평가 플랫폼 ‘이벨버스(Evalverse)’를 무료로 공개한다고 3일 밝혔다. 오픈소스 형태로 깃허브(GitHub)에 공개돼 누구나 쉽게 활용할 수 있다.
통상 LLM 성능 평가에는 특정 데이터셋을 기준으로 응답 정확도를 기록한 ‘벤치마크’ 지표를 활용한다. 모델의 추론, 상식, 언어 이해 능력 등 6가지 부문을 측정하는 허깅페이스 ‘H6’ 지표를 포함, 대화 능력 지표 ‘MT-bench’, 감성 평가 지표 ‘EQ-bench’, 및 지시 이행 능력 지표 ‘IFEval’ 등이 주요 벤치마크로 꼽힌다
(후략)
[원본기사 : https://www.aitimes.kr/news/articleView.html?idxno=30810]
번호 | 제목 | 조회수 | 작성 |
---|---|---|---|
공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 302433 | 2020-10-27 |
공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 292754 | 2020-10-27 |
10916 | 오케스트로, 오픈인프라 재단 플래티넘 멤버로 승급 | 337 | 2024-04-12 |
10915 | [주간 OSS 동향리포트] EU ‘사이버복원법’에 글로벌 '오픈소스 재단' 7곳 논의 | 640 | 2024-04-12 |
10914 | 구글, 생성형AI 개발 도구 3종 공개...개발 생태계 지원 | 350 | 2024-04-11 |
10913 | 獨 슐레스비히홀슈타인주 “OS 등 오픈소스로 바꾼다” | 319 | 2024-04-09 |
10912 | 핀란드 사일로, 북유럽 언어 위한 오픈 소스 LLM '바이킹' 출시 | 299 | 2024-04-09 |
10911 | 그레텔, 100개 전문 분야의 세계 최대 오픈 소스 '텍스트-SQL' 데이터셋 출시 | 269 | 2024-04-09 |
10910 | IBK기업은행, 오픈소스 보안 취약점 점검 체계 도입…금융권 오픈소스 대책 | 257 | 2024-04-09 |
10909 | CPU·GPU 워크로드 동시 처리하는 RISC-V 설계 등장..."오픈 소스 궁극의 칩 가능성" | 262 | 2024-04-09 |
10908 | EU ‘사이버복원법’에 글로벌 ‘오픈소스 재단’들 ‘비상’ | 447 | 2024-04-04 |
10907 | 업스테이지, '노코드 LLM 평가 플랫폼' 오픈소스로 전격 공개!… 글로벌 생성 AI 생태계 리딩 | 430 | 2024-04-04 |
0개 댓글