대규모 언어 모델(LLM)을 훈련하는 데 필요한 계산적 요구가 증가함에 따라 보다 효율적인 방법이 필요합니다. 양자화된 훈련은 이러한 비용을 줄이기 위해 저비트 산술 연산을 가능하게 함으로써 유망한 솔루션을 제공합니다. FP8 정밀도는 실현 가능성이 입증되었지만, FP4를 활용하는 것은 상당한 양자화 오류와 제한된 표현 용량으로 인해 여전히 어려운 문제입니다. 이 연구에서는 LLM을 위한 최초의 FP4 훈련 프레임워크를 소개하고, 정확한 가중치 업데이트를 위한 미분 가능한 양자화 추정기와 활성화 붕괴를 방지하기 위한 이상치 클램핑 및 보상 전략이라는 두 가지 핵심 혁신을 통해 이러한 문제를 해결합니다. 안정성을 보장하기 위해 프레임워크는 혼합 정밀도 훈련 방식과 벡터별 양자화를 통합합니다. 실험 결과에 따르면 FP4 프레임워크는 최소한의 저하로 BF16 및 FP8과 비슷한 정확도를 달성하며, 최대 100B 토큰에서 훈련된 13B 매개변수 LLM으로 효과적으로 확장됩니다. FP4를 지원하는 차세대 하드웨어가 등장하면서, 프레임워크는 효율적인 초저정밀 훈련을 위한 기반을 마련합니다.

https://arxiv.org/abs/2501.17116