오픈소스 프로젝트

Monthly OpenSource Component

신규 프로젝트

zwan

ㆍZNS(Zoned Namespace) SSD는 저장장치 내부 관리 오버헤드를 제거한 신개념 고성능 저장장치로, 순차 쓰기 제약을 가지며 다양한 응용 분야에서 도입이 확대되고 있음 ㆍLSM-tree 기반 키-값 저장소(RocksDB 등)는 대용량 순차 쓰기 패턴을 가져 ZNS SSD에 적합함. 그러나 데이터 내구성을 위해 모든 쓰기 요청을 WAL(Write-Ahead Log)에 먼저 기록해야 함 ㆍWAL 기록은 블록(4KB)보다 작은 레코드도 블록 단위로 기록하여 쓰기 증폭을 늘리고, 동시 쓰기가 하나의 쓰기 포인터(WP)에서 직렬화되어 병목이 됨. 본 연구진은 이를 WAL 세금(WAL Tax)으로 정의함 ㆍ기존 RocksDB의 그룹 커밋은 쓰기 증폭을 줄이지만 꼬리 지연시간을 늘리고, 최신 연구인 WALTZ는 지연시간을 줄이지만 쓰기 증폭이 크게 증가하는 상충 관계가 존재함 ㆍ본 연구진은 NVMe ZNS 명령어 세트의 ZRWA(Zone Random Write Area) 기능을 활용하여 이 상충 관계를 해소하는 LSM-tree 키-값 저장소인 ZWAN을 개발함 ㆍZWAN은 ZRWA의 제자리 덮어쓰기 기능을 이용해 여러 WAL 레코드를 하나의 블록에 채워 넣어, 일괄 처리 지연 없이 쓰기 증폭을 제거함 ㆍ또한 소유권 기반 버퍼 할당과 WP 인지 우선순위 기법을 적용한 전용 I/O 엔진으로 ZRWA의 성능 이점을 최대한 활용함 ㆍ실물 ZNS SSD 기반 평가 결과, 최신 ZNS용 LSM-tree(WALTZ) 대비 처리량은 최대 3.4배 향상되었고, P50 지연시간은 최대 3.0배, P99 지연시간은 최대 9.8배 감소했으며, 쓰기 증폭은 98.6% 감소함

zraid

ㆍZNS(Zoned Namespace) SSD는 저장 공간을 순차 쓰기만 허용하는 존(zone) 단위로 나누어, 기존 블록 인터페이스 SSD의 내부 오버헤드와 비용을 줄인 신개념 고성능 저장장치임 ㆍ데이터센터에서는 성능과 신뢰성 확보를 위해 여러 저장장치를 RAID로 묶어 사용하나, ZNS SSD는 덮어쓰기가 불가능하여 불완전한 스트라이프를 보호하기 위한 부분 패리티(Partial Parity) 관리가 큰 문제가 됨 ㆍ기존 ZNS RAID 연구(RAIZN)는 소수의 전용 존에 부분 패리티를 영구 기록하여 쓰기 처리량 병목, 쓰기 증폭 증가, 저장장치 수명 단축을 유발함. 본 연구진은 이를 부분 패리티 세금(Partial Parity Tax)으로 정의함 ㆍ본 연구진은 NVMe ZNS 명령어 세트에 새로 추가된 ZRWA(Zone Random Write Area) 기능을 활용한 소프트웨어 ZNS RAID 계층인 ZRAID를 개발함 ㆍZRAID는 부분 패리티를 각 데이터 존의 ZRWA에 임시로 기록하고, 이후 들어오는 데이터로 덮어써 불필요한 플래시 쓰기를 제거함 ㆍ부분 패리티 쓰기를 여러 데이터 존에 분산하여 처리량 병목을 해소하고, ZNS 전용 스케줄러의 큐 깊이 제약 없이 범용 스케줄러를 사용할 수 있음 ㆍ실물 ZNS SSD 기반 평가 결과, 기존 ZNS RAID 대비 쓰기 처리량이 fio에서 최대 48%, RocksDB db_bench에서 평균 14.5% 향상되었고, 플래시 쓰기 증폭은 최대 1.6배 감소함

spexis

ㆍ 대규모 언어모델(LLM)을 여러 GPU에서 효율적으로 서빙하기 위한 분산 추론 스케줄링 기술임 ㆍ 개발 배경 및 필요성 - LLM의 파라미터 규모와 KV 캐시 메모리 요구량이 크게 늘어 다중 GPU 추론이 필수가 되었으며, 주로 파이프라인 병렬화(PP)와 텐서 병렬화(TP)를 사용함 - PP는 마이크로배치마다 KV 캐시를 따로 두어야 해 메모리 압박으로 배치 크기가 줄어드는 한계가 있음 - TP는 레이어마다 GPU 간 동기화가 필요해 통신 오버헤드가 발생함 - 두 병목 모두 GPU 수가 늘수록 심해져, 병렬화 정도를 높여도 처리량이 오히려 떨어지는 경우가 있음 ㆍ 기술 개념 및 원리 - 추측 디코딩(speculative decoding)을 새로운 병렬화 축인 추측 병렬화(Speculative Parallelism, SP)로 확장함 - 모델 앞단 레이어를 초안(draft) 모델로 재사용하는 자기추측(self-speculative) 방식으로 다음 토큰을 미리 예측하고, 이 추측 실행을 일반 실행과 병렬로 처리함 - 추가 KV 캐시 메모리 없이 파이프라인 유휴 시간(bubble)을 채워 병렬성을 추가로 확보함 ㆍ 대표 기능 - 추측 성공 가능성과 요청별 남은 생성 길이를 예측하는 선행 스케줄링(lookahead scheduling)으로 불필요한 추측, KV 캐시 축출(eviction), 재계산 비용을 줄임 - PP·TP·SP 비용 모델을 바탕으로 최적 병렬화 조합과 신규 요청 투입 시점을 자동으로 결정함 ㆍ 성능 - vLLM 기반으로 구현했으며, A40, A100, H100, L40S, RTX PRO 6000 등 다양한 GPU 환경에서 최적 PP+TP 조합보다 성능이 최대 34% 높은 것으로 확인함 ㆍ 적용 분야 - 클라우드 기반 LLM 서비스, 기업용 AI 추론 서버, GPU 자원이 제한된 온프레미스 환경 등 높은 처리량과 메모리 효율이 필요한 LLM 서빙 분야

PICTURE

방법론의 개발 배경 및 기존 방법의 한계 - 대규모 언어모델을 활용하여 인간과 같은 마음 이론 능력을 모사하는 것은 자연어처리 분야에서 오랜 문제였음 - 특히 이 문제를 해결하는 데 있어 가장 큰 병목은 대규모 언어모델이 이야기 속 인물의 잘못된 믿음(False belief)을 추론할 때 해당 인물이 모르는 사건에 대한 반응을 억제하지 못하는 것임 - 이로 인해 대규모 언어모델은 인물의 관점이 아닌 전지적 관점에 기반하여 잘못된 결론을 도출함 - 이러한 병목에 대응하기 위해, 기존 연구들은 관점수용(Perspective-taking)이라는 사전 추론 단계를 도입하였음 - 관점수용은 마음 이론 질문에 답하기에 앞서, 이야기 속 인물이 모르는 사건을 이야기에서 삭제하는 방식인 사건 숨기기를 통해 구현되었음 - 이를 통해 대규모 언어모델은 인물이 모르는 정보에 대한 반응을 억제할 필요가 없어짐 - 해당 방식은 관점수용을 구현하기 위한 표준적인 접근법이지만, JSON 배열이나 그래프 표현, 이야기의 부분집합과 같은 엄격한 출력 형식 제약을 요구함 - 이러한 출력 형식 제약은 대규모 언어모델의 추론 능력을 저하시킬 수 있는 것으로 알려짐. 이러한 문제를 완화하기 위해, 이야기 속 인물의 무지를 자유 형식의 연쇄사고 안에서 생성하도록 대규모 언어모델을 지도하는 프롬프팅 방법 PICTURE를 제안함 - 인물의 무지를 생성하는 과정을 통해 대규모 언어모델은 해당 인물이 모르는 사건에 대한 반응을 억제할 수 있음

furiosa-only

배경 및 필요성 ㆍ 국산 AI 반도체 기반 마이크로 데이터센터(uDC)는 퓨리오사에이아이 워보이(Warboy) NPU를 영상 인식(분류·객체 검출) 추론 가속에 활용하며, 서비스 개발자는 모델을 워보이용으로 변환하고 실행하는 절차를 응용마다 구현해야 함 ㆍ 워보이 NPU에서 모델을 가속하려면 부동소수점 ONNX를 보정 데이터로 양자화하고 furiosa-compiler로 .enf 파일을 만든 뒤 furiosa-runtime으로 실행해야 하는 등 여러 도구의 사용법을 익혀야 함 ㆍ 양자화 모델은 입력 자료형(uint8/float32)과 전처리 방식이 모델마다 달라 추론 입력을 잘못 구성하기 쉽고, 제공사 모델 저장소(furiosa-models)의 사전 컴파일 모델과 사용자 모델은 준비 절차가 서로 다름 ㆍ 장치 노드(/dev/npu*) 전달, 공개 APT·pip 패키지 버전 정합 등 실행 환경 구성 부담이 있어, 재현 가능한 컨테이너 환경이 요구됨 기술의 개념, 특징 ㆍ 본 기술은 워보이 NPU의 모델 컴파일·추론 기능을 공통 SDK 인터페이스로 제공하는 Python 기반 개발용 소프트웨어임 ㆍ 모델 입력 준비·양자화, 컴파일(빌드), 런타임 생성, 추론, 종료 절차를 구분하고, 공통 API(build_unified, create_runtime, infer, destroy_runtime)로 furiosa-compiler·furiosa-runtime 호출을 래핑함 ㆍ 빌드는 사전 컴파일 .enf 배치와 양자화 ONNX → .enf 컴파일을 담당하고, 양자화는 별도 준비 도구와 입력 준비 계층이 담당하도록 역할을 분리함 ㆍ 빌드 시 입력 자료형·형상 등 입력 계약을 .enf 옆 메타데이터 파일(sidecar, .enf.json)로 기록하고, 추론 시 sidecar, 런타임 조회, 모델 저장소 전처리 순으로 입력 계약을 확정하며 확정할 수 없으면 실행을 중단(fail-closed)함 ㆍ 공통 설정과 워보이 전용 옵션(컴파일 대상 NPU warboy-2...

rbln-only

배경 및 필요성 ㆍ 국산 AI 반도체 기반 마이크로 데이터센터(uDC)는 리벨리온 NPU를 탑재한 서버에서 영상 인식과 대규모 언어모델(LLM) 추론 서비스를 운영하며, 서비스 개발자는 모델을 NPU용으로 컴파일하고 실행하는 절차를 응용마다 구현해야 함 ㆍ 리벨리온 NPU를 활용하려면 영상 모델은 rebel-compiler의 컴파일·런타임 API를, 언어모델은 optimum-rbln 컴파일과 vllm-rbln 생성 API를 각각 익혀야 하며, 모델 입력 준비·장치 지정·실행 핸들 정리 코드를 반복 작성하게 됨 ㆍ 모델 출처(모델 저장소 원본, 사용자 체크포인트, 사전 컴파일 파일 등)에 따라 준비 절차가 달라 오류 원인을 파악하기 어렵고, 컴파일 결과의 출처와 적용 옵션을 추적할 수단이 부족함 ㆍ SDK 설치에 제공사 패키지 저장소 인증과 컨테이너 장치 연동(CDI) 설정이 필요하여, 실행 환경을 일관되게 재현할 수 있는 구성 도구가 요구됨 기술의 개념, 특징 ㆍ 본 기술은 리벨리온 NPU용 모델 컴파일·추론 기능을 공통 SDK 인터페이스로 감싼 Python 기반 개발용 소프트웨어임 ㆍ 모델 입력 준비, 빌드, 런타임 생성, 추론(텍스트 생성), 실행 핸들 정리의 절차를 영상 모델용 공통 API 4종과 언어모델용 공통 API로 일관되게 제공함 ㆍ 공통 설정(BuildConfig·RuntimeConfig)과 리벨리온 전용 옵션(대상 NPU, 정밀도, 장치 번호, 텐서 형식, 텐서 병렬 수 등)을 분리하여, 공통 사용 방식을 유지하면서 장치 고유 기능을 설정할 수 있음 ㆍ 입력 준비 계층이 모델 출처를 판별해 준비 결과를 빌드에 전달하고, 빌드 결과에 입력 출처·적용 옵션·처리 단계·제공사 API 대응 정보를 메타데이터로 기록함 ㆍ 어댑터 등록(Registry) 구조로 공통 API와 리벨리온 어댑터 구현을 분리함 공통 SDK 래핑 기능 코드 리벨리온 전용 시스템 개요도

우수 프로젝트

Backend.AI

AI 개발 및 고성능 컴퓨팅을 위한 GPU/AI 가속기 벤더 독립적 워크로드 호스팅 플랫폼으로, 자체 개발한 오케스트레이션 엔진과 작업 스케줄러를 기반으로 클라우드 및 온프레미스/폐쇄망 환경에서의 클러스터 운영 기술을 백엔드부터 프론트엔드까지 모두 경험할 수 있는 프로젝트- 컨테이너 기반 AI 연산 플랫폼으로 GitHub에서 전체 구성 확인 가능 - 컨테이너 오케스트레이션을 위한 개별 컨테이너의 수명주기 관리부터 클러스터 수준의 스케줄링 추상화 계층까지 전체 스택을 모두 보유하여다중노드 분산시스템 관점에서 수직통합을 경험해볼 수 있는 프로젝트 [라이선스 정보] LGPLv3 (코어 엔진) - 상업적 사용 가능. 해당 라이선스 코드를 수정한 부분은 공개해야 하나, 기업의 독점 소프트웨어와 동적 링크(Dynamic Linking) 방식으로 연결하여 사용할 경우 기업 코드는 공개할 의무가 없음 (단, 정적 링크 시 오브젝트 코드 공개 의무 발생). 특허 침해 소송 및 저작권 관련 소송 제기 시 라이선스 권리가 즉시 종료됨. 활용 시 해당 모델(또는 코드)의 LICENSE 원문을 기준으로 특허 관련 조항, 소프트웨어 결합 방식(정적/동적 링크)에 따른 소스코드 공개 범위 조건을 정확히 확인할 필요가 있음. MIT License (클라이언트 및 공통 라이브러리)