https://arxiv.org/abs/2412.05117

언어 모델링에서 놀라운 성공을 거두었음에도 불구하고 시퀀스에서 다음 토큰을 예측하도록 훈련된 변환기는 장기 계획에 어려움을 겪습니다. 이러한 한계는 미로 탐색과 같이 여러 단계 앞을 계획하기 위한 선견지명이 필요한 작업에서 특히 두드러집니다. 그러나 표준적인 다음 단일 토큰 예측 목표는 여러 단계 앞을 예측하거나 지금까지 이동한 경로를 다시 방문하는 명시적인 메커니즘을 제공하지 않습니다. 따라서 이 작업에서 여러 단계 앞(및 뒤로)을 명시적으로 예측하는 것이 변환기의 미로 탐색을 개선할 수 있는지 연구합니다. 표준 다음 토큰 예측과 여러 단계 앞과 뒤로를 명시적으로 예측하는 목표인 MLM-U를 사용하여 다양한 유형과 크기의 미로를 탐색하도록 동일한 설정에서 매개변수가 일치하는 변환기를 처음부터 훈련합니다. MLM-U는 미로 유형과 복잡성에 걸쳐 표준 다음 토큰 예측에 비해 변환기의 미로 탐색 능력을 상당히 향상시킨다는 것을 발견했습니다. 또한 MLM-U 훈련은 다음 토큰 훈련에 비해 샘플 효율성이 4배 더 높고 GPU 훈련 시간 측면에서 2배 더 빠르게 수렴한다는 것을 발견했습니다. 마지막으로, 더 복잡한 미로의 경우 MLM-U가 더 큰 변압기로 확장하는 데 이점이 있음을 발견했습니다. 놀랍게도 MLM-U로 훈련된 변압기가 A* 검색 추적의 추가 감독을 사용하여 다음 토큰 예측으로 훈련된 더 큰 변압기보다 성능이 우수함을 발견했습니다. 이러한 결과가 변압기의 장기 계획 능력을 향상시키는 학습 목표의 약속을 강조하기를 바랍니다.