https://arxiv.org/abs/2503.18866

언어 모델(LM) 사전학습에 대한 연산 스케일링이 인간이 작성한 텍스트의 증가율을 넘어섰으며, 이로 인해 데이터가 LM 스케일링의 병목이 될 수 있다는 우려가 제기되고 있습니다. 이러한 데이터 제약 환경에서 사전학습을 지속적으로 확장하기 위해, 우리는 텍스트 생성 과정을 뒷받침하는 잠재적 사고(생각)를 명시적으로 모델링하고 추론하는 것이 사전학습 데이터 효율성을 크게 향상시킬 수 있다고 제안합니다. 직관적으로, 우리의 접근 방식은 웹 텍스트를 장황한 인간 사고 과정의 압축된 최종 산출물로 보고, 그 잠재적 사고에는 데이터 효율적 학습에 중요한 문맥 지식과 추론 단계가 포함되어 있다고 이해합니다.

우리는 수학 분야에서 데이터 제약된 지속적 사전학습을 통해 이 접근 방식의 효과를 경험적으로 입증합니다. 먼저, 잠재적 사고를 추론하기 위한 합성 데이터 접근법이 동일한 양의 원시 데이터로 학습하는 것보다 데이터 효율성을 크게 개선함(예: MATH에서 5.7%에서 25.4%까지 향상)임을 보여줍니다. 더 나아가, 강력한 교사 없이도 LM이 자체 성능을 부트스트랩할 수 있음을, EM 알고리즘을 사용하여 학습된 LM의 능력과 사고가 보강된 사전학습 데이터의 품질을 점진적으로 향상시키는 과정을 통해 입증합니다. 우리는 10억 파라미터 LM이 적어도 세 번의 반복을 통해 성능을 부트스트랩하고, 원시 데이터로 학습한 기준 모델을 크게 능가하며, E-step에서 추가 추론 계산을 수행할수록 성능 향상이 증가함을 보여줍니다. 이러한 추론 스케일링과 EM 반복을 통한 성능 향상은 데이터 제약 환경에서의 사전학습 스케일링에 새로운 기회를 시사합니다.