2인용 적대 언어 게임인 Adversarial Taboo를 통해 대규모 언어 모델(LLM)의 자가 학습 절차를 살펴봅니다. 이 게임에서 공격자와 방어자는 공격자에게만 보이는 목표 단어와 관련하여 의사소통을 합니다. 공격자는 방어자가 무의식적으로 목표 단어를 말하도록 유도하고, 방어자는 공격자의 말에서 목표 단어를 유추하려고 합니다. 게임에서 승리하기 위해서는 두 플레이어 모두 목표 단어에 대한 충분한 지식과 정보가 제한된 대화에서 추론하고 표현할 수 있는 고도의 추론 능력이 있어야 합니다. 따라서 저희는 이 적대적 언어 게임(SPAG)에서 셀프 플레이를 통해 LLM의 추론 능력이 더욱 향상될 수 있는지 궁금합니다. 이를 위해 저희는 LLM이 공격자 역할을 하고, 광범위한 목표 단어에 대해 스스로를 방어자로 삼아 게임을 하게 했습니다. 게임 결과에 대한 강화 학습을 통해 광범위한 추론 벤치마크에서 LLM의 성능이 균일하게 향상되는 것을 관찰했습니다. 또한 이러한 셀프 플레이 프로세스를 반복적으로 도입하면 LLM의 추론 능력을 지속적으로 향상시킬 수 있습니다.