AI 업계에서는 재귀적 자기개선(Recursive Self-Improvement, RSI) 이 거의 마법 같은 개념으로 이야기되곤 한다. 모델이 자기 자신을 조금 수정해 더 똑똑해지고, 향상된 지능을 이용해 다시 자기 자신을 고쳐 쓰고, 그 과정이 반복되면서 결국 초지능에 도달한다는 이야기다. 직관적이고 매력적인 발상이다.

하지만 제어이론(control theory), 즉 자동조종 장치 같은 기술을 만들어낸 분야의 사람에게 이 이야기를 해보면 아마 눈썹을 치켜올릴 것이다. 그들은 이 기대가 아주 특정한 방식으로 순진한 가정이라는 사실을 알고 있기 때문이다.

자기개선 자체가 가능하다는 점은 누구나 안다. 그러나 어떤 자기개선 피드백 루프에도 안전하게 낼 수 있는 최대 속도가 존재한다. 그 속도는 어떤 변경이 실제로 개선이었는지를 확인할 수 있는 신뢰할 만한 증거를 얼마나 빠르게 만들어낼 수 있느냐에 의해 결정된다.

제어이론의 소이득 정리(small-gain theorem) 에 따르면, 피드백 루프가 안정적으로 유지되려면 루프를 구성하는 각 요소의 이득(gain)을 곱한 값이 1보다 작아야 한다.

여기서 이득이란 일종의 증폭 정도를 의미한다. RSI에 적용하면, “어떤 수정이 도움이 된다는 증거 한 단위당 시스템이 얼마나 큰 변화를 가하느냐”라고 볼 수 있다.

그런데 RSI의 매력 자체가 바로 높은 이득에 있다. 즉, 빠른 발전이다.

1980~1990년대에는 적응제어(adaptive control) 가 매우 활발하게 연구되었다. 당시에는 제어기가 실시간으로 자기 내부 모델을 수정하면서도 전체 시스템의 안정성을 보장할 수 있다는 전역 안정성(global stability) 증명들도 등장했다.

하지만 불과 몇 년 안에 MIT 연구진은 Rohrs의 반례(Rohrs’ counterexample) 를 발표했다.

그들은 이론적으로 안정성이 증명된 적응제어 정책을, 기존 가정에서 약간 벗어났을 뿐인 현실적인 시스템에 적용했다. 그 결과 시스템은 완전히 통제 불능 상태에 빠졌다.

자기 자신을 다시 작성하는 자기개선 AI 시스템 역시 본질적으로 같은 구조를 가진다.

AI의 자기 모델(self-model)은 그 시스템이 실제 세계에서 경험이 가장 부족한 영역에서 정확도가 가장 낮다. 그런데 그 불완전한 모델을 기반으로 더 강하게 최적화할수록 시스템은 오히려 모델의 빈틈과 오류가 있는 영역으로 더 깊숙이 들어가게 된다.

더 나쁜 점은, 불안정한 적응 시스템이 항상 즉시 폭주하는 것은 아니라는 것이다.

이런 시스템은 종종 버스트(burst) 현상을 보인다.

한동안은 매우 훌륭하게 작동하다가, 어느 순간 아무런 경고 없이 예측 불가능한 행동을 하기 시작한다. 심지어 이후 다시 안정된 것처럼 보일 수도 있다.

그 원인 중 하나가 지속적 여기(persistent excitation)의 상실이다.

이는 AI 모델이 분포 밖(out-of-distribution, OOD) 상황에서 실패하는 문제와 직접적으로 유사하다.

진짜 정답, 즉 ground truth는 벤치마크가 아니라 현실 세계와 직접 접촉함으로써 얻어진다.

그리고 시스템이 행동하는 속도 역시 실제 세계에서 그 행동의 결과가 드러나는 속도에 맞춰져야 한다.

충분한 증거가 쌓이기 전에 확신과 변화의 속도를 가속하면, 시스템의 이득은 더 높아지고 안정성 여유(stability margin)는 더 작아진다.

사람들은 종종 진화와 문명을 반례로 든다.

“진화도 스스로를 개선했고, 문명도 자기 자신을 개선하지 않았느냐”는 것이다.

하지만 오히려 두 사례 모두 이 주장을 뒷받침한다.

진화와 문명은 자신이 작동하는 기반 자체를 개선했지만 폭주하지 않았다.

왜냐하면 두 시스템 모두 피드백이 돌아오는 속도에 비해 느리게 작동했고, 수많은 시도가 병렬적으로 진행되었으며, 어느 한 주체가 변경 권한과 평가 권한을 동시에 독점하지 않았기 때문이다.

Rohrs의 반례 이후 적응제어 분야의 연구 방향은 크게 바뀌었다.

연구자들은 이후 약 10년 동안 시스템에 강건성(robustness) 을 내장하는 방법을 연구했다.

그리고 그 과정에서 항상 같은 대가를 치러야 했다.

최대 성능을 일부 희생하는 대신 더 큰 안정성 여유를 확보하는 것이었다.

이 원칙은 RSI에도 그대로 적용할 수 있다.

오차가 잡음 수준(noise floor) 안에 들어왔다면 속도를 늦추고 적응을 멈춰라.

파라미터를 신뢰할 수 있는 사전값(prior) 쪽으로 묶어 두어라. 즉, 검증된 체크포인트로부터 벗어날 수 있는 총 거리에 한계를 두어라.

이미 포화된 벤치마크를 성공의 증거로 보지 말고, 고장 나서 더 이상 정보를 주지 못하는 센서로 취급하라.

정말로 안정적으로 자기 자신을 개선할 수 있는 시스템은 결국 통제되고, 감쇠되고, 느리며, 겉보기에는 낭비처럼 느껴질 정도로 넉넉한 안전 여유 안에서 제한될 것이다.

왜냐하면 안정성이 곧 속도의 한계이기 때문이다.