열린마당
2024.04.03
ⓒ인공지능신문/최광민 기자
이제 누구나 대형언어모델(LLM)을 자체적으로 평가하고 테스트해 볼 수 있다.
업스테이지(대표 김성훈)는 자사가 개발한 노코드 LLM 종합 평가 플랫폼 ‘이벨버스(Evalverse)’를 무료로 공개한다고 3일 밝혔다. 오픈소스 형태로 깃허브(GitHub)에 공개돼 누구나 쉽게 활용할 수 있다.
통상 LLM 성능 평가에는 특정 데이터셋을 기준으로 응답 정확도를 기록한 ‘벤치마크’ 지표를 활용한다. 모델의 추론, 상식, 언어 이해 능력 등 6가지 부문을 측정하는 허깅페이스 ‘H6’ 지표를 포함, 대화 능력 지표 ‘MT-bench’, 감성 평가 지표 ‘EQ-bench’, 및 지시 이행 능력 지표 ‘IFEval’ 등이 주요 벤치마크로 꼽힌다
(후략)
[원본기사 : https://www.aitimes.kr/news/articleView.html?idxno=30810]
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 300461 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 290780 | 2020-10-27 |
| 10912 | 핀란드 사일로, 북유럽 언어 위한 오픈 소스 LLM '바이킹' 출시 | 274 | 2024-04-09 |
| 10911 | 그레텔, 100개 전문 분야의 세계 최대 오픈 소스 '텍스트-SQL' 데이터셋 출시 | 249 | 2024-04-09 |
| 10910 | IBK기업은행, 오픈소스 보안 취약점 점검 체계 도입…금융권 오픈소스 대책 | 239 | 2024-04-09 |
| 10909 | CPU·GPU 워크로드 동시 처리하는 RISC-V 설계 등장..."오픈 소스 궁극의 칩 가능성" | 233 | 2024-04-09 |
| 10908 | EU ‘사이버복원법’에 글로벌 ‘오픈소스 재단’들 ‘비상’ | 423 | 2024-04-04 |
| 10907 | 업스테이지, '노코드 LLM 평가 플랫폼' 오픈소스로 전격 공개!… 글로벌 생성 AI 생태계 리딩 | 409 | 2024-04-04 |
| 10906 | 글로벌 칼럼 | “시작은 오픈소스, 수익 내면 상용” 이래도 되나 | 408 | 2024-04-03 |
| 10905 | [기고] 오픈소스 데이터베이스 선택 시 고려해야 할 6가지 | 397 | 2024-04-03 |
| 10904 | [주간 OSS 동향리포트] 레디스, BSD에서 조건부 듀얼 오픈소스 라이선스로 변경 | 731 | 2024-04-03 |
| 10903 | 데이터브릭스, 현존 최강 오픈소스 LLM DBRX 공개 | 496 | 2024-03-28 |
0개 댓글