https://arxiv.org/abs/2410.01131

우리는 새로운 신경망 아키텍처인 nGPT(Normalized Transformer)를 제안하며, 초구에서 표현 학습을 합니다. nGPT에서 임베딩, MLP, 어텐션 매트릭스 및 은닉 상태를 형성하는 모든 벡터는 단위 노름 정규화됩니다. 토큰의 입력 스트림은 초구의 표면을 이동하며, 각 계층은 대상 출력 예측에 대한 변위에 기여합니다. 이러한 변위는 MLP 및 attention 블록에 의해 정의되며, 벡터 구성 요소도 동일한 하이퍼스피어에 상주합니다. 실험에 따르면 nGPT는 훨씬 더 빠르게 학습하여 시퀀스 길이에 따라 동일한 정확도를 달성하는 데 필요한 훈련 단계 수를 4배에서 20배로 줄입니다.