개발 배경
ㆍ엣지 기기는 역전파를 지원하지 않아 영차 최적화로 학습하며, 사양에 따라 같은 모델을 서로 다른 비트폭으로 양자화해 사용함
ㆍFedAvg로 집계한 LoRA 어댑터를 그대로 쓰면 검증 손실이 최소가 되지 않고, 손실을 최소화하는 스케일링 팩터가 양자화 모델마다 다른 것으로 확인
기술 개념
ㆍ서버가 매 라운드 양자화 모델별로 JVP 한 번으로 스케일링 팩터를 추정해 배포 모델에만 적용함
ㆍ기기 측 학습과 통신은 그대로 두고 목표 정확도 도달을 앞당김
적용분야
ㆍ엣지 기기 온디바이스 AI의 연합 파인튜닝