1. 발표와 평가 범위

OpenAI가 2026년 10월 6일 Ironclad와의 전문 업무 에이전트 연구를 공개했습니다. 계약·법무·조달 분야 11개 과제를 대상으로 했으며, 모든 Ironclad 업무를 대표하는 평가는 아닙니다.

2. 무엇을 어떻게 훈련했나

과제에는 비밀유지계약 구성, 구매 승인 흐름 설정, 관할에 따른 조항 변경 등이 포함됩니다. 과제마다 8~50개 기준으로 채점했습니다. 공개 SEC EDGAR 계약에서 만든 합성 과제와 강화학습을 사용했으며, 비공개 고객 계약은 학습·평가에 쓰지 않았다고 설명했습니다.

3. 점수와 속도

평균 기준 충족 점수는 GPT‑5.6 Sol 41.6%, GPT‑6 Astra 55.0%였습니다. 13.4%포인트 상승으로, 상대 개선폭은 약 32%입니다. 개발 중 내부 모델은 63.7%였습니다. 시도당 추정 시간은 37.0분에서 19.2분으로 줄었습니다.

4. 수치를 읽을 때의 한계

55%는 과제 전체 성공률이 아닙니다. 시간은 처리·생성 속도를 가정한 시뮬레이션 추정치로, 고객에게서 측정한 시간 절감이 아닙니다. 추론 설정도 Sol은 High, Astra는 Max로 달랐습니다. 따라서 동일 연산 예산 비교나 완전 자동화 성과로 읽어서는 안 됩니다.

5. AGI 관점에서의 의미

제 해석으로는 전문 소프트웨어에서 여러 조건을 유지하며 일하는 능력의 진전입니다. 동시에 제한된 과제 수와 평균 점수는 안정적인 업무 위임까지 남은 간격을 보여줍니다. 단일 클릭의 정확성뿐 아니라 완성된 업무 흐름이 조건과 예외를 지키는지 평가한다는 점이 중요합니다.

출처: OpenAI 공식 발표 및 방법·한계 각주