트윗

OpenAI 연구원 "실험적 추론 LLM이 IMO 골드 달성"

작성자
작성일
2025-07-19 17:55
조회
1981



2/N
우리는 2025년도 IMO(국제수학올림피아드) 문제들을 인간 참가자와 동일한 규칙으로 평가했습니다: 두 번의 4.5시간 시험 세션, 어떠한 도구나 인터넷 사용 금지, 공식 문제 지문 그대로 읽기, 그리고 자연어로 된 증명 작성.

3/N
왜 이것이 큰 의미일까요? 첫째, IMO 문제들은 기존 벤치마크와 비교해 ‘지속적 창의적 사고’의 완전히 새로운 수준을 요구합니다. 필요한 추론 시간 스케일을 보면, 이제 우리는 상위 인간이 ~0.1분 쓰는 GSM8K → ~1분 MATH 벤치마크 → ~10분 AIME → ~100분 IMO 로 진전해 왔습니다.

4/N
둘째, IMO 제출물은 검증이 어려운, 여러 페이지에 걸친 증명입니다. 여기서의 진전은 명확히 판정 가능한 보상에 의존하는 기존 RL 패러다임을 넘어설 것을 요구합니다. 그렇게 함으로써 우리는 인간 수학자 수준의 정교하고 빈틈없는 논증을 구성할 수 있는 모델을 얻었습니다.

5/N
결과 자체 외에도, 우리의 접근법이 무척 고무적입니다. 우리는 좁고 과제-특화된 방법론이 아니라, 범용 강화학습과 테스트 시점 계산(추론) 확장의 새로운 지평을 열면서 이 능력 수준에 도달했습니다.

6/N
평가에서 이 모델은 2025 IMO의 6문제 중 5문제를 풀었습니다. 각 문제에 대해 전 IMO 메달리스트 3명이 독립적으로 모델이 제출한 증명을 채점했고, 만장일치 합의 후 점수가 확정되었습니다. 모델은 총 42점 만점 중 35점을 받아, 금메달 기준을 달성했습니다! 🥇

7/N
이 ‘말도 안 되는 꿈’을 현실로 만든 팀—@SherylHsu02, @polynoamial, 그리고 우리가 어깨를 딛고 선 수많은 거인들—에게 엄청난 축하를 보냅니다! 저는 최고의 사람들과 늦은 밤과 이른 새벽을 함께할 수 있어 행운입니다.

8/N
참고로, 우리는 곧 GPT-5를 출시할 예정이며 여러분이 사용해보시길 기대하고 있습니다. 하지만 분명히 하자면: IMO 금메달 LLM은 실험적인 연구 모델입니다. 우리는 이 수준의 수학 능력을 가진 어떤 것도 수개월 내에 공개할 계획이 없습니다.

9/N
그럼에도—이것은 최근 몇 년간 AI가 얼마나 빠르게 발전했는지를 잘 보여줍니다. 2021년에 제 박사 지도교수 @JacobSteinhardt 가 2025년 7월까지의 AI 수학 진전을 예측해보라고 했을 때, 저는 MATH 벤치마크 30%를 예상했고(다른 모두가 너무 낙관적이라고 생각했죠). 그런데 지금 우리는 IMO 금메달을 얻었습니다.

10/N
관심 있다면, 여기 모델의 2025 IMO 문제들에 대한 해답이 있습니다! 모델은 P1부터 P5까지를 풀었고, P6는 해결하지 못했습니다. (그 독특한 스타일에 대해서는 미리 사과드려요—정말 ‘실험용’ 모델입니다 😅)

11/N
마지막으로, 2025 IMO 모든 참가자들의 성취를 축하합니다! 우리는 @OpenAI 에 많은 전 IMO 참가자들이 있는 것을 자랑스럽게 생각하며, 이들이 미래의 가장 빛나는 젊은 인재들임을 잘 알고 있습니다.

전체 0