https://arxiv.org/abs/2310.18313

1. 이 논문에서는 대형 언어 모델 (LLM)의 효율적인 훈련을 위한 FP8 낮은 비트 데이터 형식을 탐구합니다. LLM 훈련에서 대부분의 변수는 저정밀도 데이터 형식을 사용할 수 있으며 모델 정확도에 영향을 미치지 않으며 하이퍼파라미터 변경이 필요하지 않음을 발견했습니다.

2. FP8 자동 혼합 정밀도 훈련 프레임워크를 제안하여 LLM 훈련을 위한 혼합 정밀도 및 분산 병렬 훈련을 간소화합니다. 이 프레임워크는 8비트 그래디언트, 옵티마이저 상태 및 분산 학습을 점진적으로 통합합니다.

3. 실험 결과는 GPT-175B 모델을 H100 GPU 플랫폼에서 훈련할 때, FP8 혼합 정밀도 훈련 프레임워크가 실제 메모리 사용량을 42% 줄이고 Megatron-LM와 비교하여 64% 빠르게 실행되어 Nvidia Transformer Engine의 속도를 17% 뛰어넘는 것을 보여줍니다. 이로써 대형 기반 모델의 훈련 비용이 크게 절감됩니다. 또한, FP8 혼합 정밀도 훈련 방법론은 범용적으로 적용 가능하며, LLM 지침 조정 및 인간 피드백을 통한 강화 학습과 같은 다른 작업에도 비용 절감을 제공합니다. 이 FP8 낮은 정밀도 훈련 프레임워크는 위 URL에서 오픈 소스로 제공됩니다.