https://arxiv.org/abs/2609.11873

이 논문의 핵심 질문은 “AI가 더 똑똑해지는 일을 어디까지 AI 자신에게 맡길 수 있을까?”예요. 기존 연구를 정리하면서, 능력 개선과 ‘개선 능력의 개선’을 구분하는 기준을 제안합니다. 제목의 ‘인간이 만드는 마지막 AI’는 이런 발전 방향을 표현한 것입니다.

이해하기 쉽도록 논문의 틀을 설명하고, 소개된 주요 사례는 해당 연구 원문을 함께 확인해 풀어볼게요.

먼저, AI가 무엇을 바꾸는지가 중요합니다.

구분	바뀌는 것
답변 수정	지금 작성하는 답변
지속적인 학습	다음 작업에도 남는 지식·기술
재귀적 자기개선	다음 학습과 개선을 이끄는 방법

논문에서 개선 대상은 모델의 가중치만이 아닙니다. 기억, 도구, 프로그램, 실험 전략, 평가 방법도 포함됩니다. 변경사항이 다음 개선 과정에 이어져야 한다는 것이 핵심이에요.

AI가 맡는 책임은 다섯 단계로 확장됩니다.

단계	AI가 맡는 책임
L1 실행	사람이 지정한 개선 절차 수행
L2 전략	무엇이 문제인지 진단하고 개선법 선택
L3 경험	앞으로 배울 데이터·연습·경험 선택
L4 적응	실제 사용 경험을 지속적인 변화로 반영
L5 메타개선	이후의 개선을 지휘하는 절차 자체를 수정

이것은 지능 점수나 AGI 등급이 아니라 개선 과정에서의 자율성 분류입니다.

이 차이를 더 구체적으로 보여주는 것이 다음 세 가지 연구예요.

① STOP: 프로그램을 고치는 프로그램이 자기 자신을 고칩니다.

STOP은 처음에 단순한 ‘개선 프로그램’으로 출발합니다. 언어모델에 여러 번 코드를 요청한 뒤, 평가 점수가 가장 좋은 코드를 선택하는 방식이에요.

그다음 이 개선 프로그램 자체를 개선 대상으로 넣습니다. 그러면 AI는 단순히 더 좋은 답을 찾는 대신, 답을 찾는 절차를 수정할 수 있어요. 연구에서는 빔 탐색, 유전 알고리즘, 담금질 기법 등 여러 탐색 전략이 등장했습니다. 개선된 프로그램은 일부 후속 과제에서 초기 프로그램보다 좋은 결과를 만들었습니다.

쉬운 비유로는 이런 차이입니다.

• 처음에는 요리를 여러 번 만들어 가장 맛있는 것을 고릅니다.
• 이후에는 “재료를 무작위로 바꾸기보다, 온도부터 비교하자”는 실험 방법을 만듭니다.
• 그 실험 방법을 다음 요리 개발에도 사용합니다.

요리 실력뿐 아니라 요리를 연구하는 방식이 개선되는 셈이죠.

다만 STOP 실험에서는 기반 언어모델 자체를 바꾸지 않았습니다. 연구진도 이를 완전한 RSI라고 주장하지 않아요. 고정된 모델을 활용하는 바깥 프로그램만으로도 자기개선의 일부 구조를 만들 수 있다는 사례입니다.

② Hyperagents: 일을 하는 AI와 그 AI를 개선하는 AI를 함께 수정합니다.

Hyperagents는 두 역할을 하나의 수정 가능한 프로그램에 넣습니다.

역할	담당하는 일
작업 에이전트	주어진 문제 해결
메타 에이전트	작업 에이전트와 자기 자신의 개선

일반적인 자동 개선에서는 개발자가 만든 개선 절차가 고정되어 있습니다. Hyperagents에서는 그 절차를 실행하는 메타 에이전트도 수정 가능합니다.

회사에 비유하면, 직원의 업무 방식을 고치는 동시에 직원을 교육하고 평가하는 관리 방식까지 고치는 것이에요.

연구진은 성능 기록과 지속적인 기억 같은 개선 장치가 만들어지고, 일부 메타 수준의 개선이 다른 분야에도 이전되었다고 보고합니다. 이것이 중요한 이유는 한 문제의 정답을 외운 것보다, 여러 문제에서 통하는 개선법을 얻는 것이 더 일반적인 발전이기 때문입니다.

다만 연구가 보여준 범위를 넘어, 모든 분야에서 끝없이 가속한다고 해석할 수는 없습니다. 원문의 주장도 실험한 과제들에서의 성능과 개선 절차의 이전에 관한 것입니다.

③ A-Evolve-Training: 모델 훈련을 진행하다가, 자신이 추구하던 점수의 문제를 발견합니다.

이 사례가 특히 흥미롭습니다. 시스템은 300억 매개변수 모델의 후속 훈련을 여러 주에 걸쳐 네 차례 진행했습니다. 데이터와 훈련 방법을 제안하고, 실험을 실행하고, 결과를 읽고, 무엇을 남길지 결정했어요.

외부 평가 점수는 0.86, 비교 대상인 인간 최고 제출물은 0.87이었습니다. 하지만 더 중요한 부분은 점수 자체보다 실험 방향을 바꾼 이유입니다. A-

시스템은 내부 개발용 점수가 계속 오르는데도, 약한 분야의 외부 성능은 좋아지지 않는 상황을 발견했습니다. 그러자 내부 점수를 무조건 높이던 전략을 수정하고, 외부 성능을 개선하는 방향을 찾았습니다.

공부에 비유하면 다음과 같아요.

같은 모의고사를 반복해서 점수는 오르는데, 새로운 시험에서는 성적이 그대로입니다.
그래서 “나는 실력을 늘리는 대신 이 모의고사에 익숙해지고 있었구나”라고 판단하고 공부법을 바꿉니다.

이것이 단순 최적화보다 흥미로운 이유는 “어떤 점수를 높일까”뿐 아니라 “이 점수가 실제 실력을 제대로 나타내는가”까지 검토했기 때문이에요. 연구진도 이러한 측정 기준의 한계를 발견하고 탐색 정책을 바꾼 점을 강조합니다. 다만 특정 후속 훈련 과제의 결과이며, 인간 연구자의 전반적인 대체를 입증한 것은 아닙니다.

논문의 그래프는 어떻게 읽어야 할까요?

HCI는 출발점에서 만점까지 남아 있던 격차를 얼마나 줄였는지 나타냅니다. AGI 달성률이 아닙니다. 특히 그래프의 2026년 이후 RSI 효과는 설명용 가정이며, 실제 관측이나 검증된 미래 예측으로 읽으면 안 됩니다.

가장 중요한 한계는 ‘수정 가능’과 ‘실제로 더 좋아짐’의 차이입니다.

논문은 개선 절차를 바꿔 다음 세대가 사용했다는 구조적 증거와, 비슷한 자원으로 실제 더 좋은 후속 시스템을 만들었다는 효과의 증거를 구분합니다. 장기적인 성능 유지와 독립적인 검증도 필요합니다.

제 해석으로는, 앞으로 RSI 뉴스를 볼 때 “자기 코드를 수정했다”보다 “수정된 개선법이 새로운 과제에서도 더 좋은 후속 AI를 반복해서 만들었는가”를 보는 것이 유용해요. 그래야 단발성 시연과 누적되는 발전을 구별할 수 있습니다.