https://arxiv.org/abs/2309.03409

https://github.com/google-deepmind/opro

최적화는 어디에나 있습니다. 도함수 기반 알고리즘은 다양한 문제에 대한 강력한 도구였지만 그라데이션이 없으면 많은 실제 응용 프로그램에 문제가 발생합니다. 이 연구에서는 최적화 작업이 자연어로 설명되는 LLM(대형 언어 모델)을 최적화 프로그램으로 활용하는 간단하고 효과적인 접근 방식인 OPRO(Optimization by PROmpting)를 제안합니다. 각 최적화 단계에서 LLM은 이전에 생성된 솔루션과 해당 값이 포함된 프롬프트에서 새 솔루션을 생성한 다음 새 솔루션을 평가하고 다음 최적화 단계를 위한 프롬프트에 추가합니다. 먼저 선형 회귀 및 여행하는 세일즈맨 문제에 대해 OPRO를 소개한 다음 작업 정확도를 최대화하는 지침을 찾는 것이 목표인 신속한 최적화의 기본 애플리케이션으로 이동합니다. 다양한 LLM을 통해 우리는 OPRO에 의해 최적화된 최고의 프롬프트가 GSM8K에서 최대 8%, Big-Bench Hard 작업에서 최대 50%까지 인간이 설계한 프롬프트보다 성능이 우수하다는 것을 보여줍니다.