https://arxiv.org/abs/2502.12115

https://github.com/openai/SWELancer-Benchmark

Upwork에서 1,400개가 넘는 프리랜서 소프트웨어 엔지니어링 작업을 벤치마크한 SWE-Lancer를 소개합니다. 실제 지급액은 총 100만 달러입니다. SWE-Lancer는 50달러의 버그 수정에서 32,000달러의 기능 구현에 이르기까지 독립적인 엔지니어링 작업과 모델이 기술 구현 제안 중에서 선택하는 관리 작업을 모두 포함합니다 . 독립적 인 작업 은 경험이 풍부한 소프트웨어 엔지니어가 3중 검증한 종단 간 테스트로 평가되는 반면, 관리 결정은 원래 고용한 엔지니어링 관리자의 선택과 비교하여 평가됩니다. 모델 성능을 평가한 결과, 프런티어 모델은 여전히 ​​대부분의 작업을 해결할 수 없다는 것을 발견했습니다. 향후 연구를 용이하게 하기 위해 통합 Docker 이미지와 공개 평가 분할인 SWE-Lancer Diamond( https URL )를 오픈 소스로 제공합니다. 모델 성능을 금전적 가치에 매핑함으로써 SWE-Lancer가 AI 모델 개발의 경제적 영향에 대한 더 많은 연구를 가능하게 하기를 바랍니다.