https://arxiv.org/abs/2407.20311

언어 모델의 최근 발전은 수학적 추론 문제를 해결하는 능력을 입증했으며, GSM8K와 같은 초등학교 수준의 수학 벤치마크에서 거의 완벽한 정확도를 달성했습니다. 이 논문에서 우리는 언어 모델이 이러한 문제를 어떻게 해결하는지 공식적으로 연구합니다. 우리는 몇 가지 근본적인 질문을 다루기 위해 일련의 통제된 실험을 설계합니다. (1) 언어 모델이 실제로 추론 기술을 개발할 수 있습니까? 아니면 단순히 템플릿을 기억합니까? (2) 모델의 숨겨진(정신적) 추론 프로세스는 무엇입니까? (3) 모델은 인간과 유사하거나 다른 기술을 사용하여 수학 문제를 풉니까? (4) GSM8K와 유사한 데이터 세트로 훈련된 모델은 GSM8K 문제를 해결하는 데 필요한 것 이상의 추론 기술을 개발합니까? (5) 어떤 정신적 프로세스로 인해 모델이 추론 실수를 합니까? (6) GSM8K 수준의 수학 문제를 효과적으로 해결하려면 모델이 얼마나 크거나 깊어야 합니까?
우리의 연구는 언어 모델이 수학적 문제를 해결하는 많은 숨겨진 메커니즘을 밝혀내어 LLM에 대한 현재 이해를 넘어서는 통찰력을 제공합니다.