https://arxiv.org/abs/2408.07060

대규모 언어 모델(LLM) 에이전트는 실제 소프트웨어 엔지니어링(SWE) 문제를 해결하는 데 큰 잠재력을 보여주었습니다. 가장 진보된 오픈소스 SWE 에이전트는 SWE-Bench Lite에서 실제 GitHub 문제의 27% 이상을 해결할 수 있습니다. 그러나 이러한 정교한 에이전트 프레임워크는 다양한 강점을 보이며 특정 작업에서는 뛰어나지만 다른 작업에서는 성과가 낮습니다. 이러한 에이전트의 다양성을 최대한 활용하기 위해 고유한 전문성을 활용하는 프레임워크인 DEI(Diversity Empowered Intelligence)를 제안합니다. DEI는 기존 SWE 에이전트 프레임워크의 메타 모듈로 기능하여 향상된 문제 해결을 위해 에이전트 콜렉티브를 관리합니다. 실험 결과에 따르면 DEI가 안내하는 에이전트 위원회는 개별 에이전트의 최고 성과를 큰 폭으로 능가할 수 있습니다. 예를 들어, SWE-Bench Lite에서 최대 개별 해결률이 27.3%인 오픈소스 SWE 에이전트 그룹은 DEI로 34.3%의 해결률을 달성하여 25% 개선되고 대부분의 폐쇄형 소스 솔루션을 능가할 수 있습니다. 가장 성과가 좋은 그룹은 55%의 해결률로 뛰어난 성과를 보이며 SWE-Bench Lite에서 가장 높은 순위를 차지했습니다. 저희의 연구 결과는 협업 AI 시스템과 복잡한 소프트웨어 엔지니어링 과제를 해결할 수 있는 잠재력에 대한 연구의 증가에 기여합니다.