본문 바로가기

Home > 열린마당 > 공개SW 소식

공개SW 소식

2025.01.16

ⓒCIO Korea By Anirban Ghoshal

 

스노우플레이크(Snowflake)가 스위프트KV(SwiftKV) 최적화 기술을 vLLM에 통합하면 대규모 언어 모델(LLM) 추론 처리량을 최대 50%까지 향상시킬 수 있다고 밝혔다. 또한 코텍스 AI(Cortex AI)에서 메타 라마(Meta Llama) LLM 추론 비용을 최대 75%까지 절감할 수 있다고 설명했다.

클라우드 기반 데이터웨어하우스 기업 스노우플레이크가 생성형 AI 애플리케이션을 운영하는 기업의 추론 워크로드 비용을 절감하기 위해 설계된 독점 기술인 스위프트KV의 성능 수준을 공개했다. 이는 지난해 12월 오픈소스로 공개됐다.

스노우플레이크는 생성형 AI 애플리케이션의 추론 비용이 여전히 높아 기업이 애플리케이션을 확장하거나 새로운 사용 사례에 생성형 AI를 도입하는 데 걸림돌이 되고 있다고 설명했다.

(후략)

 

[원본기사 : https://www.cio.com/article/3804534/%EC%8A%A4%EB%85%B8%EC%9A%B0%ED%94%8C%EB%A0%88%EC%9D%B4%ED%81%AC-%EC%98%A4%ED%94%88%EC%86%8C%EC%8A%A4-%EC%8A%A4%EC%9C%84%ED%94%84%ED%8A%B8kv-llm-%EC%B6%94%EB%A1%A0-%EB%B9%84%EC%9A%A9.html]

맨 위로
맨 위로