스노우플레이크 “오픈소스 스위프트KV, LLM 추론 비용 크게 절감”
support
게시글 작성 시각 2025-01-21 11:37:36
2025.01.16
ⓒCIO Korea By Anirban Ghoshal
스노우플레이크(Snowflake)가 스위프트KV(SwiftKV) 최적화 기술을 vLLM에 통합하면 대규모 언어 모델(LLM) 추론 처리량을 최대 50%까지 향상시킬 수 있다고 밝혔다. 또한 코텍스 AI(Cortex AI)에서 메타 라마(Meta Llama) LLM 추론 비용을 최대 75%까지 절감할 수 있다고 설명했다.
클라우드 기반 데이터웨어하우스 기업 스노우플레이크가 생성형 AI 애플리케이션을 운영하는 기업의 추론 워크로드 비용을 절감하기 위해 설계된 독점 기술인 스위프트KV의 성능 수준을 공개했다. 이는 지난해 12월 오픈소스로 공개됐다.
스노우플레이크는 생성형 AI 애플리케이션의 추론 비용이 여전히 높아 기업이 애플리케이션을 확장하거나 새로운 사용 사례에 생성형 AI를 도입하는 데 걸림돌이 되고 있다고 설명했다.
(후략)
| 번호 | 제목 | 조회수 | 작성 |
|---|---|---|---|
| 공지 | [Open UP 활용가이드] 공개SW 활용 및 개발, 창업, 교육 "Open UP을 활용하세요" | 515551 | 2020-10-27 |
| 공지 | [Open UP 소개] 공개SW 개발·공유·활용 원스톱 지원 Open UP이 함께합니다 | 505908 | 2020-10-27 |
| 11209 | [주간 OSS 동향리포트] 오픈소스 분야에서 주목할 트랜드 4가지 | 1635 | 2025-01-22 |
| 11208 | “가격은 오픈AI 대비 95% 저렴, 성능은 비슷” ··· AI 업계 슈퍼 루키 딥시크, 추론 모델 ‘R1’ 오픈소스로 공개 | 1656 | 2025-01-22 |
| 11207 | 레드햇 차량용 OS, ‘혼합 임계성 기능 안전’ 인증 획득 | 1424 | 2025-01-22 |
| 11206 | 금융결제원, 오픈소스 국제 표준 인증 획득 | 2046 | 2025-01-21 |
| 11205 | [IT트렌드] 오픈소스 AI 투자 늘었지만…누적 투자는 여전히 폐쇄형 AI 모델이 우위 | 2005 | 2025-01-21 |
| 11204 | MS "기존 모델보다 2배 안정적인 무기물 생성 AI 개발...오픈 소스 공개" | 1404 | 2025-01-21 |
| 11203 | [1월3주] 2025년 초 LLM 주요 기술 트렌드는...'추론·비용 그리고 에이전트' | 1416 | 2025-01-21 |
| 11202 | 스노우플레이크 “오픈소스 스위프트KV, LLM 추론 비용 크게 절감” | 1394 | 2025-01-21 |
| 11201 | [주간 OSS 동향리포트] IBM, AI 투자수익률 보고서 발표 “ITDM 47%, AI 전략에서 긍정적 ROI 달성” | 1969 | 2025-01-20 |
| 11200 | 개발자를 공략하라...'AI 어시스턴트' 출시에 열올리는 기업들 | 1246 | 2025-01-20 |
0개 댓글