https://arxiv.org/abs/2401.01335

 

지도식 미세 조정(SFT)을 통해 인간이 주석을 단 데이터의 힘을 활용하는 것은 대규모 언어 모델(LLM)을 발전시키는 데 매우 중요합니다. 이 논문에서는 인간이 주석을 단 추가 데이터를 획득하지 않고도 약한 LLM에서 강력한 LLM을 성장시킬 수 있는 가능성을 탐구합니다. 우리는 지도식 미세 조정 모델에서 시작하는 Self-Play fIne-tuNing(SPIN)이라는 새로운 미세 조정 방법을 제안합니다. SPIN의 핵심에는 LLM이 자체 인스턴스와 경쟁하여 역량을 개선하는 자가 재생 메커니즘이 있습니다. 보다 구체적으로, LLM은 이전 반복에서 자체 교육 데이터를 생성하고, 인간이 주석을 단 데이터에서 얻은 응답과 이러한 자체 생성 응답을 구별하여 정책을 개선합니다. 우리의 방법은 LLM을 신생 모델에서 강력한 모델로 점진적으로 끌어올려 SFT를 위한 인간이 주석을 단 데모 데이터의 모든 잠재력을 끌어냅니다. 이론적으로, 우리 방법의 학습 목적 함수에 대한 전역 최적값은 LLM 정책이 목표 데이터 분포와 일치할 때만 달성됨을 증명합니다. 경험적으로, 우리는 HuggingFace Open LLM Leaderboard, MT-Bench, Big-Bench의 데이터 세트를 포함한 여러 벤치마크 데이터 세트에서 우리 방법을 평가합니다. 우리의 결과는 SPIN이 다양한 벤치마크에서 LLM의 성능을 크게 개선할 수 있고, 추가 GPT-4 선호도 데이터로 보완된 직접 선호도 최적화(DPO)를 통해 학습된 모델보다 더 나은 성과를 낼 수 있음을 보여줍니다. 이는 전문가 상대가 필요 없이 LLM에서 인간 수준의 성능을 달성할 수 있는 셀프 플레이의 약속을 보여줍니다. 코드는 이 https URL 에서 제공됩니다 .

https://github.com/uclaml/SPIN