https://arxiv.org/abs/2402.04494

최근 머신 러닝의 획기적인 성공은 주로 규모에 기인합니다. 즉, 대규모 어텐션 기반 아키텍처와 전례 없는 규모의 데이터 세트입니다. 이 논문은 체스에 대한 규모별 학습의 영향을 조사합니다. 복잡한 휴리스틱, 명시적 검색 또는 두 가지의 조합에 의존하는 기존 체스 엔진과 달리, 우리는 1,000만 개의 체스 게임 데이터 세트에서 지도 학습을 사용하여 2억 7,000만 개의 매개변수 변환기 모델을 학습합니다. 우리는 강력한 Stockfish 16 엔진이 제공하는 액션 값으로 데이터 세트의 각 보드에 주석을 달아 약 150억 개의 데이터 포인트를 얻습니다. 우리의 가장 큰 모델은 인간에 대한 Lichess 블리츠 Elo 2,895에 도달했으며, 도메인별 조정이나 명시적 검색 알고리즘 없이 일련의 어려운 체스 퍼즐을 성공적으로 풀었습니다. 또한 우리 모델이 AlphaZero의 정책 및 가치 네트워크(MCTS 없음)와 GPT-3.5-turbo-instruct보다 성능이 우수함을 보여줍니다. 모델과 데이터 세트 크기에 대한 체계적인 조사에 따르면 강력한 체스 성과는 충분한 규모에서만 발생한다는 것을 보여줍니다. 결과를 검증하기 위해 우리는 광범위한 디자인 선택과 하이퍼파라미터의 절제를 수행합니다.