https://arxiv.org/abs/2310.11518

셀프 플레이는 학습 알고리즘이 자신의 복사본과 상호 작용하여 학습하는 다중 에이전트 시스템에서의 머신 러닝 기법입니다. 셀프 플레이는 학습을 위한 대량의 데이터를 생성하는 데 유용하지만 학습자가 학습 후 마주하게 될 에이전트가 학습자가 자신과 상호 작용하여 예상했던 것과는 크게 다른 행동을 보일 수 있다는 단점이 있습니다. 2인 정합 게임의 특수한 경우, 내쉬 평형에 도달하는 셀프 플레이는 훈련 후 어떤 상대에 대해서도 좋은 성과를 내는 전략을 생성하도록 보장되지만 멀티플레이어 게임에는 이러한 보장이 존재하지 않습니다. 우리는 대략 2인 상수 합 게임(상수 합 다항식 게임이라고 함)으로 분해되는 게임에서 전역 ϵ-내쉬 평형이 각 하위 게임에서 내쉬 평형과 경계적으로 멀리 떨어져 있는 경우(하위 게임 안정성이라고 함), 자기 플레이로 학습하는 모든 외부 후회 없는 알고리즘이 경계적인 취약성을 가진 전략을 생성한다는 것을 보여 줍니다. 저희의 연구 결과는 광범위한 셀프 플레이 알고리즘이 생성하는 전략의 성능을 보장할 수 있는 멀티플레이어 게임의 구조적 속성을 처음으로 규명했습니다. Leduc 포커 실험을 통해 연구 결과를 입증했습니다.