무엇이 새롭나

10월 14일 공개된 First Proof 3차 평가에서 여러 모델을 묶은 ProofCouncil이 연구수학 10문제 중 9문제, GPT-6 Astra 단일 호출이 7문제를 해결한 것으로 집계됐다. 전체 실험 비용은 각각 1,888달러와 36달러였다. Kimi K3 기반 Humanize는 0문제였다.

어떻게 평가했나

수학자가 이미 풀었지만 해답은 공개하지 않은 문제를 사용했다. 각 시스템은 최대 24시간 동안 추가 인간 개입 없이 실행됐고, 전문가 30명이 익명화된 답을 정확성·설명·인용으로 나눠 심사했다. 오답에는 감점을 적용했다. 여기서 해결은 정확성 평균 0.5 이상이므로, 쉽게 고칠 수 있는 오류까지 포함한다.

구체적 성과와 실패

ProofCouncil은 통계적 역문제에서 인간 해법의 로그 손실을 제거했고, 격자를 작은 부분으로 나눠 복잡한 계산을 피한 해법도 제시했다. 반대로 다른 문제에서는 반복 루프에 빠져 Astra가 만든 유망한 해법을 망쳤다.

읽을 때 주의할 점

계산량이 큰 한 문제는 심사 시간 안에 모든 단계를 확인하지 못했다. Astra의 적절한 인용은 4/10, ProofCouncil은 7/10이었고, 최상위 시스템도 설명이 나쁜 답이 있었다. 모델·도구·검색 조건과 비용이 달라 순수 모델 비교가 아니다. 새로운 질문이나 연구 방향을 스스로 정하는 능력도 측정하지 않았다. 따라서 연구수학 수행의 진전은 보여주지만, 전면적 연구 자동화의 증명으로 읽기는 어렵다.

공개: 2026년 10월 14일 19:00 UTC. 실험: 10월 2–5일. 심사: 10월 8–9일.

출처

https://1stproof.org/third-batch-press-release.html
https://hexagonmath.org/2610.00244https://hexagonmath.org/pdf/2610.00244v1