AI 연구자 3인 인터뷰 - RSI, 자동화된 AI 연구, RL과 초지능 타임라인

작성자

작성일

2026-09-12 10:25

조회

타임라인

드워케시:
코딩뿐 아니라 영상 편집, 법률, 사무 업무 등 거의 모든 화이트칼라 업무를 맡길 수 있다고 합시다.

한 달 동안 스스로 일하고, 컴퓨터를 사용하고, 다른 사람과 상호작용하며 복잡한 프로젝트를 수행합니다.

언제 가능할까요?

찰리:
기존 웹 브라우저를 사람이 쓰는 방식 그대로 사용해야 한다면 약 2년.

하지만 회사가 Slack이나 내부 시스템을 AI가 API로 바로 쓸 수 있게 만들어준다면 약 1년 정도도 가능하다고 봅니다.

베렌:
완전한 범용성까지는 약 3년 정도로 봅니다.

하지만 기업들이 AI가 일하기 편하게 조직과 시스템을 바꿀 것이기 때문에 그 전에 80~90% 정도는 도달할 수 있을 겁니다.

존 슐먼:
이미 낮은 품질의 일부 원격 업무에서는 인간보다 현재 AI가 더 나을 수도 있습니다.

대략 1년 정도 후에는 상당히 쓸 만한 형태가 나올 수 있다고 생각합니다.

다만 잘하는 업무와 못하는 업무 간 차이는 여전히 클 겁니다.

AI 연구자 3인 인터뷰

드워케시 파텔 × 존 슐먼 × 베렌 밀리지 × 찰리 오닐

1. 2036년에도 초지능 폭발이 일어나지 않았다면, 이유는 무엇일까?

드워케시 파텔:
먼저 가장 근본적인 질문부터 해보겠습니다.

2036년이 되었는데도 수십억 개의 초지능이 돌아다니며 세상을 완전히 바꾸는 상황이 오지 않았다고 가정해보죠. 전쟁이나 AI 규제 같은 외부 정치적 충격은 제외하겠습니다.

그렇다면 기술적으로 무엇이 실패했기 때문일까요?

베렌 밀리지:
저는 일종의 모라벡의 역설이 계속되는 경우를 생각합니다.

우리는 늘 어떤 과제를 기준으로 AI를 평가합니다.

“이 어려운 수학 문제를 풀면 대단할 것이다.”
“체스에서 인간을 이기면 엄청난 일이 벌어질 것이다.”

그런데 실제로 AI가 그런 문제를 풀고 나면 생각보다 세상이 완전히 바뀌지는 않습니다.

가능한 실패 시나리오는 AI가 벤치마크와 시뮬레이션에서는 엄청나게 뛰어나지만, 현실로 옮겨왔을 때 필요한 진정한 일반화 능력을 끝내 획득하지 못하는 경우입니다.

특히 메타러닝, 지속학습, 현실 환경에서의 적응 같은 부분에 계속 문제가 남는다면 AI가 매우 강력하면서도 완전히 자율적인 시스템으로 넘어가지 못할 수도 있습니다.

다만 저는 이 가능성이 그렇게 높다고 생각하지 않습니다. 이미 RL에서도 꽤 많은 일반화를 보고 있으니까요.

존 슐먼:
저도 비슷하게 생각합니다.

새로운 모델이 나올 때마다 사람들이 놀라면서 말합니다.

“이게 AGI다.”

그런데 한 달 정도 실제로 사용해보면 다시 모델의 약점이 보입니다.

판단력이 부족하거나, 자기 결과를 제대로 검증하지 못하거나, 긴 프로젝트에서는 이상한 결정을 내립니다.

그래서 이런 사이클이 계속 반복될 가능성이 있습니다.

새 모델이 나옴 → 엄청나게 똑똑해 보임 → 실제로 써보니 병목이 보임 → 다음 모델을 기다림.

AI가 인간보다 훨씬 많은 코드를 작성할 수 있어도 그것이 인간 연구자를 곧바로 100배 생산적으로 만들어주지는 않습니다.

따라서 폭발적 성장을 막는 것은 AI가 못하는 몇몇 영역이 전체 시스템의 병목으로 계속 남는 것일 수도 있습니다.

찰리 오닐:
저는 조금 다른 각도에서 보겠습니다.

현재 우리가 사용하는

Transformer + RL + 대규모 RL 환경

이라는 방법이 칩 위에서 구현할 수 있는 “최적의 학습자”와 얼마나 가까운지가 핵심입니다.

만약 인간 최고의 AI 연구자보다 단 0.1%라도 뛰어난 AI 연구자를 만들 수 있다면 상황은 완전히 달라집니다.

그 AI를 수십만~수백만 개 병렬로 돌릴 수 있고, 하드웨어 발전으로 실행 속도까지 빨라질 것이기 때문입니다.

그러면 어느 순간 자기개선에 의한 매우 빠른 이륙(fast takeoff)이 가능해집니다.

문제는 현재 방법이 그 지점까지 갈 수 있느냐입니다.

LLM 발전사를 보면 하나의 부드러운 직선처럼 보이지만 실제로는 여러 번의 기술적 불연속이 있었습니다.

처음에는 pre-training scaling이었고, 그게 한계에 부딪히자 RL이 등장했습니다.

앞으로도 또 하나의 새로운 패러다임이 필요할 수 있습니다.

그런데 그 혁신이 현재 LLM이 스스로 발견하기 너무 어려운 종류의 혁신이라면 현재 패러다임은 결국 점근적으로 한계에 접근할 수 있습니다.

드워케시:
그런데 2012년 이후의 발전을 생각하면 이상하지 않나요?

지금 추세가 몇 년만 더 지속된다면 최소한 AI R&D에서는 인간을 넘어설 것처럼 보입니다.

체스 Elo를 생각해볼 수도 있습니다.

AI의 실력이 선형적으로 올라가더라도 어느 순간 인간 최고 수준을 통과하면,

“인간이 항상 AI를 이기는 상태”에서
“인간이 거의 절대 AI를 이기지 못하는 상태”

로 갑자기 바뀝니다.

AI 연구도 비슷한 임계점을 통과할 수 있지 않을까요?

베렌:
그렇습니다.

AI 발전이 지금 수준에서 멈추려면 정말 이상하게도 인간 연구자 수준 바로 직전에 성능 향상이 점근적으로 멈춰야 합니다.

저는 기술적인 이유보다는 오히려 강력한 AI 규제가 그런 세계를 만드는 더 현실적인 이유라고 생각합니다.

2. AI 연구에서 마지막까지 인간에게 남는 일은 무엇일까?

드워케시:
AI가 실험을 수행하는 것 자체는 곧 매우 잘할 것 같습니다.

그렇다면 AI R&D가 완전히 자동화되기 전에 인간에게 마지막까지 남을 역할은 무엇일까요?

베렌:
아마 올바른 질문을 반복해서 선택하는 일일 겁니다.

지금 AI에게 연구 아이디어를 달라고 하면 사소한 후속 실험들을 여러 개 나열하는 경우가 많습니다.

코딩하고 실험을 수행하는 것보다

“다음에 무슨 실험을 해야 하지?”

를 판단하는 능력이 훨씬 부족합니다.

찰리:
역사적으로도 그렇습니다.

DeepMind에서는 게임을 통해 지능을 풀려고 했지만, 알렉 래드퍼드는 “그냥 엄청나게 넓은 데이터에서 다음 토큰을 예측해보자”는 방향으로 갔습니다.

그 아이디어가 나온 뒤에도 scaling law라는 개념을 이해하고 실제로 대규모로 확장하기까지 시간이 필요했습니다.

이런 종류의 새로운 내부 최적화 목표를 발견하는 능력이 AI에게 가장 어려울 수 있습니다.

존 슐먼:
저는 인간에게 마지막까지 남는 역할이 목표를 정의하는 것이라고 생각합니다.

AI가 모든 기술적 작업을 수행한다고 해도,

“AI가 어떻게 행동해야 하는가?”
“무엇이 helpful한가?”
“우리가 실제로 원하는 것은 무엇인가?”

는 사람이 결정해야 합니다.

RLHF의 목표를 정하거나, AI 헌법(constitution)이나 model spec을 만드는 것이 그런 예입니다.

드워케시:
그럼 결국 alignment가 인간의 마지막 직업이라는 이야기군요.

존 슐먼:
어느 정도는 그렇습니다.

Alignment도 다시 두 부분으로 나눌 수 있습니다.

올바른 목표가 무엇인지 결정하는 것
그 목표를 실제로 최적화하는 것

두 번째는 자동화될 가능성이 높지만, 첫 번째는 그렇게 빨리 없어지지 않을 겁니다.

3. 왜 중국 AI 연구소들은 미국 최전선 연구소를 빠르게 따라잡는가?

드워케시:
AI 모델 산업을 보면 엄청난 중앙집중이 일어날 것처럼 보이는데 실제로는 많은 연구소가 경쟁하고 있습니다.

왜 소수의 frontier lab이 모든 것을 독점하지 못하는 걸까요?

존 슐먼:
가장 중요한 이유는 distillation이라고 생각합니다.

RL을 통해 획득한 행동은 상당히 쉽게 증류할 수 있습니다.

어떤 행동을 보여주는 trajectory를 충분히 확보하면 작은 모델에도 그 행동을 학습시킬 수 있습니다.

따라서 distillation은 AI 산업의 중앙집중화를 막는 강력한 힘입니다.

베렌:
continual learning이 가능해진다고 해도 distillation을 막지는 못합니다.

모델이 매일 좋아진다면 경쟁자 역시 매일 그 모델을 distill하면 됩니다.

드워케시:
그런데 좋은 distillation을 하려면 사람들이 실제로 어떤 질문을 하는지 알아야 하지 않나요?

존 슐먼:
맞습니다.

단순히 모델 접근권만 가지고 있다고 해서 좋은 distillation이 되는 것은 아닙니다.

가장 중요한 것이 prompt distribution입니다.

실제 사용자가 어떤 상황에서 어떤 질문을 하는지 폭넓은 데이터가 필요합니다.

그런데 최근에는 중국 개발자들이 미국 frontier model을 사용하기 위해 router/proxy 서비스를 이용하는 경우가 있고, 그런 서비스가 사용 데이터를 수집해 판매할 수 있습니다.

이 데이터는 실제 사용자의 프롬프트 분포를 그대로 가지고 있기 때문에 distillation에 매우 유용합니다.

베렌:
거기에 AI를 이용하면 prompt distribution 자체를 엄청나게 확장할 수 있습니다.

사람이 몇 개의 seed prompt만 만들어도 기존 모델이 수많은 변형을 생성할 수 있습니다.

모델이 좋아질수록 사람이 제공해야 하는 정보의 양은 계속 줄어듭니다.

드워케시:
그런데 실제 사용자와 대화하면서 생기는 전체 과정이 중요하지 않나요?

“앱 만들어줘.”
“아니 이건 아닌데.”
“기능을 이렇게 바꿔줘.”
“잠깐, 처음부터 다른 방향으로 가자.”

이런 실제 사용자 trajectory 말입니다.

베렌:
맞습니다.

하지만 AI가 그 trajectory 자체를 만들어낼 정도가 된다면 사실상 RSI에 가까워집니다.

AI가 어떤 데이터를 만들지 결정하고, 그 데이터로 훈련하고, 다시 데이터를 생성하는 루프가 되는 거죠.

실제 배포 데이터가 RL 환경보다 더 중요할 수도 있다

존 슐먼:
여기서 중요한 구분이 하나 있습니다.

RL 환경에는 두 개의 축이 있습니다.

난이도
현실성

아주 어려운 퍼즐이나 코딩 문제를 만드는 것은 비교적 쉽습니다.

하지만 실제 회사에서 사람이 여러 번 피드백을 주고, 목표가 계속 바뀌고, 다양한 이해관계가 개입하는 환경을 재현하는 것은 훨씬 어렵습니다.

Frontier lab은 난이도와 현실성을 모두 밀어야 합니다.

반면 단순 distillation은 benchmark처럼 검증하기 쉬운 영역만 복제하는 경향이 있습니다.

그래서 학생 모델이 benchmark에서는 teacher와 비슷하지만 현실적인 업무에서는 더 나쁠 수 있습니다.

베렌:
그리고 아주 기본적인 사실도 있습니다.

미국 frontier lab들이 데이터 회사에서 데이터를 사면 중국 연구소도 같은 회사에서 같은 데이터를 살 수 있습니다.

여기에 distillation까지 가능하다면 선두를 따라잡는 것은 생각보다 어렵지 않을 수 있습니다.

4. 최초의 ‘AI 연구자’는 어떻게 훈련될까?

드워케시:
AI R&D를 실제로 자동화할 모델은 어떤 방식으로 훈련될까요?

존 슐먼:
아마 두 가지를 섞을 겁니다.

첫째는 human feedback으로 연구자의 taste를 학습시키는 것입니다.

둘째는 여러 단계로 이루어진 연구 프로젝트를 연습할 수 있는 환경을 많이 만드는 것입니다.

새 모델을 연구자들이 실제로 사용하고,

“이 부분에서 계속 실수한다.”

라는 패턴이 발견되면 human feedback이나 새로운 RL environment를 추가합니다.

그리고 다음 모델에서는 그 약점을 수정합니다.

찰리:
현재 방식은 AI에게 과거 AI 연구 역사를 처음부터 다시 발견하도록 시키지 않습니다.

이미 발견된 모든 기술은 그대로 유지합니다.

그리고 최근 몇 달 동안 새롭게 발견된 버그나 개선점을 environment로 만들어 다음 모델에 넣습니다.

즉,

지난 3개월 동안 인간+AI 연구자가 발견한 발전을 다음 모델에 증류하는 방식

입니다.

드워케시:
그러면 일종의 AI 연구소 내부 continual learning이네요.

찰리:
그렇습니다.

하지만 그래서 오히려 점근적으로 보이기도 합니다.

AI가 인간 연구자가 지난 몇 달 동안 발견한 것을 계속 따라가는 구조라면 인간을 폭발적으로 뛰어넘는 게 아니라 점점 가까워지는 구조일 수도 있습니다.

베렌:
하지만 environment에는 중요한 장점이 있습니다.

단순 trajectory distillation은 teacher를 뛰어넘을 수 없지만, 환경은 인간도 풀 수 없는 목표를 만들 수 있습니다.

예를 들어 특정 compute budget 안에서 loss를 1.3까지 낮춰라 같은 목표를 만들 수 있습니다.

인간은 못하더라도 AI는 계속 시도할 수 있습니다.

그게 인간 수준을 넘어서는 경로가 될 수 있습니다.

5. 수백만 개의 RL 환경을 학습시키면 ‘디지털 원격 노동자’가 나올까?

드워케시:
현재 AI 연구소들의 전략을 이렇게 이해하고 있습니다.

수백 개 분야, 수백만 개의 RLVR 환경에서 모델을 훈련합니다.

그 과정에서 모델은

끈기 있게 장시간 일하기
정보를 분류하고 판단하기
컨텍스트를 관리하기
다른 agent와 협업하기
긴 프로젝트를 수행하기

같은 메타 능력을 배웁니다.

결국 한 주나 한 달 동안 인간처럼 일할 수 있는 drop-in remote worker가 나오는 것이 목표 아닌가요?

찰리:
대체로 맞습니다.

처음에는 코딩 환경을 엄청나게 강화했습니다.

그다음에는 금융, Excel, PowerPoint 같은 경제 활동의 긴 꼬리(long tail)로 확장하고 있습니다.

Anthropic의 환경 발전 과정이 특히 이런 패턴을 잘 보여줍니다.

드워케시:
그런데 정말 모델이 인간처럼 현장에서 학습할 수 있다면 굳이 PowerPoint나 금융 같은 기술을 weights에 미리 집어넣을 필요가 있을까요?

존 슐먼:
모델의 in-context learning이 충분히 좋다면 이론적으로는 필요 없습니다.

필요한 책을 현장에서 읽고 그 자리에서 배울 수 있으니까요.

하지만 이미 알고 있는 기술을 weights에 넣어두면 inference가 훨씬 효율적입니다.

그래서 실제로 연구소들이 경제적 가치가 높은 분야를 하나씩 강화하고 있다고 봅니다.

베렌:
둘 다 해도 비용이 그렇게 크지 않습니다.

모델은 크고 parameter space도 충분합니다.

금융이나 업무 데이터를 학습하는 과정에서

“무엇이 중요한지 판단하는 법”
“긴 프로젝트를 수행하는 법”
“taste를 형성하는 법”

같은 메타능력이 RSI에도 전이될 가능성이 있습니다.

6. 진짜 중요한 병목: sim-to-real과 continual learning

드워케시:
저는 이 부분이 RSI를 막을 수 있는 가장 중요한 변수라고 생각합니다.

긴 프로젝트일수록 데이터센터 안에서 시뮬레이션하기 어려워집니다.

회사를 운영한다.
새 사업을 시작해서 수익을 낸다.
금융시장에서 투자한다.
재판에서 승소한다.

이런 일은 현실 세계 사람들과 계속 상호작용해야 합니다.

만약 simulation에서 배운 것이 현실로 충분히 transfer되지 않는다면 모델은 현실에서 계속 weight update를 해야 합니다.

그런데 현재 모델은 인간보다 sample efficiency가 엄청나게 낮아 보입니다.

이게 RSI를 막을 수 있지 않을까요?

찰리:
저는 업무를 두 종류로 구분할 수 있다고 생각합니다.

① 누적적(cumulative) 업무

AI 연구가 좋은 예입니다.

Attention을 발견했다면 다음 모델은 attention을 다시 발견할 필요가 없습니다.

MoE를 발견했다면 그대로 training stack에 넣으면 됩니다.

GRPO를 발견해도 마찬가지입니다.

발견한 기술 하나하나가 영구적으로 축적됩니다.

그래서 RSI는 생각보다 쉬울 수도 있습니다.

② 비정상적(non-stationary) 현실 업무

법률회사에서 일한다고 생각해보세요.

누가 누구와 어떤 관계인지, 회사에서 암묵적으로 일을 어떻게 처리하는지, 어디에서 정보를 찾는지 등이 계속 바뀝니다.

과거의 발견을 단순히 축적한다고 해결되지 않습니다.

그래서 continual learning이 훨씬 중요합니다.

드워케시:
아이러니하게도 RSI가 paralegal보다 쉬울 수도 있겠군요.

존 슐먼:
모델의 약점은 sample efficiency만이 아닙니다.

사고 다양성 부족
장기 판단 능력 부족
taste 부족

도 있습니다.

소프트웨어 엔지니어링에서 taste라는 것은 단순히 지금 작동하는 코드를 만드는 게 아니라,

“이 시스템이 몇 년 뒤에도 유지 가능한가?”

를 판단하는 능력입니다.

이런 장기적 판단이 RSI에도 병목이 될 수 있습니다.

인간의 ‘taste’도 AI가 학습할 수 있을까?

베렌:
저는 가능성이 있다고 봅니다.

박사과정을 생각해보세요.

1년 차 박사과정 학생과 졸업 직전 박사 혹은 포닥 사이의 차이는 엄청납니다.

그런데 그 사람이 수행한 연구 프로젝트는 평생 수천 개가 아니라 대략 10~30개 정도일 수도 있습니다.

그 정도 경험에서도 사람은 상당한 연구 taste를 배웁니다.

AI는 훨씬 많은 경험을 할 수 있기 때문에 이런 taste를 meta-learning할 가능성이 있습니다.

다만 그것이 매우 긴 horizon으로 얼마나 잘 일반화되는지는 아직 모릅니다.

7. AI가 모든 배포 경험을 공유하는 ‘hive mind’가 될까?

드워케시:
장기적으로 가장 엄청난 변화는 이것 아닐까요?

인간은 한 명이 평생 50년 정도 경험합니다.

하지만 AI는 수백만 개 인스턴스가 동시에 일할 수 있습니다.

그 모든 경험을 하나의 모델이 흡수한다면 모델은 짧은 시간 안에 수백만 년 분량의 경제 활동 경험을 얻는 셈입니다.

그런 hive-mind learning이 언제 가능할까요?

베렌:
넓은 의미에서는 이미 일어나고 있습니다.

배포 과정에서 나온 데이터를 필터링해서 다음 세대 모델의 pre-training이나 mid-training에 넣을 수 있습니다.

완전히 실시간은 아니지만 세대 간 학습은 이미 가능합니다.

찰리:
저도 동의합니다.

사람들이 상상하는 continual learning은

“한 모델이 경험 하나를 하고 즉시 weights를 업데이트하는 것”

이지만 현실에서는 더 느린 외부 루프가 돌아가고 있습니다.

배포 → 사용자 피드백 → environment 생성 → post-training → 새 모델 배포.

Cursor나 Harvey 같은 회사는 이를 더 빠르게 하고 있습니다.

결국 이 루프가 점점 짧아질 겁니다.

3개월 → 1주 → 하루 → 1시간.

그 정도가 되면 사실상 continual learning을 해결한 것과 비슷합니다.

그런데 왜 지금 당장 실시간 학습을 못 하는가?

찰리:
작은 양의 새로운 데이터로 모델을 계속 업데이트하면 catastrophic forgetting이 발생합니다.

특정 법률회사 데이터에 계속 SFT를 하면 그 회사 업무는 좋아지지만 이전에 학습했던 능력이 훼손될 수 있습니다.

On-policy distillation도 이 한계를 조금 늦출 뿐 결국 비슷한 문제가 생깁니다.

RL은 모델을 아주 작게 수정하기 때문에 이런 파괴가 덜하지만, 대신 새로운 지식을 직접 집어넣는 데는 효율적이지 않습니다.

베렌:
capacity 부족보다는 technique 문제라고 생각합니다.

같은 크기의 모델을 새 데이터 전체를 포함해서 처음부터 다시 pre-train하면 더 좋은 모델을 만들 수 있습니다.

문제는 현재 모델을 계속 수정하면서 이전 능력을 보존하는 방법이 어렵다는 겁니다.

plasticity와 catastrophic forgetting이 핵심 문제입니다.

그래서 지금은 계속 같은 모델을 업데이트하는 대신 일정 기간마다 새로운 base model을 다시 학습합니다.

드워케시:
그러면 궁극적으로는 새로운 정보를 반영할 때마다 모델을 사실상 다시 훈련해야 하는 비용이 병목일 수도 있겠네요.

8. AI 발전의 대부분은 ‘더 좋은 데이터’ 때문인가?

드워케시:
우리가 조사한 결과가 흥미로웠습니다.

2019년부터 현재까지의 학습 recipe와 dataset을 서로 교차해서 작은 규모에서 실험해보니,

데이터 개선: 약 12배 compute efficiency
아키텍처 개선: 약 3.7배 compute efficiency

정도로 나타났습니다.

만약 이 결과가 대규모에서도 비슷하다면 AI 발전의 상당 부분이 사실 데이터 때문이라는 이야기입니다.

이게 계속될 수 있을까요?

찰리:
저는 데이터 분야에서도 low-hanging fruit가 상당 부분 소진됐다고 봅니다.

인터넷이라는 엄청난 데이터 덩어리는 이미 사용했습니다.

앞으로도 작은 개선은 가능하겠지만 과거와 같은 규모의 개선이 계속되기는 어렵습니다.

베렌:
특히 모델이 더 강해질수록 새로운 signal을 어디서 얻느냐가 문제가 됩니다.

Pre-training에서는 필요한 정보가 Common Crawl 어딘가에 이미 있습니다.

문제는 noise 속에서 좋은 정보를 골라내는 것입니다.

하지만 frontier capability에 도달하면 필요한 정보가 애초에 인터넷에 존재하지 않습니다.

예를 들어 Millennium Prize 문제의 미발견 증명이 Common Crawl 어딘가에 숨어 있는 것은 아닙니다.

이 단계에서는 새로운 bits를 만들어야 합니다.

인간 전문가에게서 얻거나
환경을 만들거나
실제 배포 과정에서 얻거나
AI가 스스로 새로운 결과를 만들어야 합니다.

즉 최전선에서는 signal generation 자체가 병목이 됩니다.

9. RL은 정보량이 적은데 왜 이렇게 잘 작동했을까?

드워케시:
1년 전에는 RL에 비관적인 주장이 많았습니다.

한 episode에서 모델이 배우는 정보는 사실상

“정답이었나, 틀렸나”

라는 몇 bit에 불과합니다.

그런데 최근 모델들을 보면 RL scaling으로 엄청나게 똑똑해졌습니다.

왜 그런 걸까요?

베렌:
사실 우리가 RL의 성공이라고 부르는 것의 상당 부분은 mid-training에서 옵니다.

합성 reasoning data나 RL 환경과 비슷한 데이터로 모델을 먼저 충분히 준비합니다.

제가 보기에는 이런 mid-training만으로도 종종 최종 RL checkpoint 성능의 약 **80%**까지 갑니다.

그 이후 RL은 새로운 지능을 처음부터 만드는 게 아니라 이미 좋은 정책을 조금 조정합니다.

그리고 RL의 신호는 정보량은 적지만 signal-to-noise ratio가 엄청나게 높습니다.

드워케시:
정답을 맞히는 데 직접 관련된 신호만 받으니까요?

베렌:
맞습니다.

SFT에서는 다른 모델이 만들어낸 reasoning token 전체를 모방해야 합니다.

그 안에는 불필요한 정보도 아주 많습니다.

RL에서는

“결국 성공했는가?”

라는 정보에 집중합니다.

그래서 적은 bit라도 학습 효과가 매우 클 수 있습니다.

찰리:
또 한 가지 큰 발전은 horizon generalization입니다.

수학 RL을 한다고 해서 자동으로 최고의 코더가 되는 식의 horizontal generalization은 그렇게 강하지 않았습니다.

하지만 모델은

“더 오랫동안 계속 생각하고 작업하는 능력”

을 일반화했습니다.

새로운 환경에 넣어도 이전보다 훨씬 오래 작업하면서 진전을 만들 수 있습니다.

인터뷰에서 언급된 EdgeBench 결과에 따르면 모델이 처리할 수 있는 작업 시간 horizon이 약 3개월마다 두 배 증가하는 추세가 관찰됐다고 합니다.

10. AlphaGo의 Move 37 같은 초인적 창의성도 LLM에서 나올까?

드워케시:
RL이 entropy collapse를 일으킨다는 주장도 있지만 AlphaGo의 Move 37처럼 인간이 생각하지 못한 극단적으로 창의적인 해결책을 찾아내는 경우도 있습니다.

LLM에서도 그런 일이 가능할까요?

베렌:
이미 어느 정도 그런 현상이 있다고 생각합니다.

예를 들어 모델이 sandbox를 탈출하려고 여러 zero-day 취약점을 찾아낸 사례는 상당한 수준의 창의성을 보여줍니다.

장기 horizon에서 RL이 모든 entropy를 없애는 것은 아닙니다.

존 슐먼:
다만 “창의성”에는 두 종류가 있습니다.

첫 번째는 어려운 search problem을 푸는 창의성입니다.

Move 37이나 복잡한 제약을 만족하는 해법 같은 것입니다.

AI는 이런 분야에서 매우 강해질 겁니다.

그런데 두 번째는 사람처럼 다양한 표현과 아이디어를 생성하는 diversity입니다.

RL 이후 모델을 분석하면 같은 표현, 같은 캐릭터 이름, 같은 테마를 반복하는 현상이 생기기도 합니다.

특히 많은 open-weight 모델이 Claude를 distill하면서 모델들의 글쓰기 스타일 자체가 Claude처럼 비슷해지고 있습니다.

저는 이런 AI monoculture가 조금 걱정됩니다.

베렌:
하지만 그것이 RL 자체의 근본적 문제라고 생각하지는 않습니다.

Judge가 단순하거나 환경 다양성이 낮으면 모델이 judge를 reward hack하면서 출력이 한쪽으로 몰릴 수 있습니다.

즉 RL보다 데이터와 verifier 설계 문제에 가깝습니다.

11. 마지막: 연구자들의 AI 타임라인 예측

질문 1. 인간처럼 한 달 동안 일하는 범용 원격 노동자 AI는 언제?

질문 2. AI 연구자의 생산성을 10배 높여주는 AI는 언제?

드워케시:
현재 1년 걸리던 AI 연구 breakthrough를 한 달마다 할 수 있게 만드는,

즉 AI 연구자 생산성을 10배 올리는 AI는 언제일까요?

찰리:
저는 5~10년 정도를 생각합니다.

존 슐먼:
저는 약 2년이라고 봅니다.

베렌:
2년도 충분히 가능하다고 생각합니다.

현재 코딩 영역만 보면 이미 생산성 향상이 매우 큽니다.

AI가 실험 하나를 돌리고 결과를 분석해서 다음 실험까지 2~3번 연속으로 스스로 수행할 수 있게 된다면 연구 생산성은 엄청나게 올라갈 겁니다.

드워케시:
그러면 2년 뒤 AI 연구자가 10배 빨라진다면 단순 계산만 해도 AI 발전 속도가 급격하게 빨라집니다.

그리고 그 결과 다음 세대 AI가 더 빨리 나와서 다시 연구를 가속한다면 강력한 피드백 루프가 생깁니다.

베렌:
그때는 AI 연구자의 “작은 실험을 수행하는 능력”은 병목이 아니게 됩니다.

대신 compute나 판단, 어떤 실험을 해야 할지 결정하는 문제가 병목이 될 겁니다.

질문 3. 모든 컴퓨터 기반 분야에서 최고 인간 전문가를 압도하는 AI는 언제?

드워케시:
마지막 질문입니다.

AI 연구뿐 아니라 컴퓨터로 수행 가능한 모든 지적 업무에서 최고 인간 전문가를 압도하는 AI입니다.

단기 과제뿐 아니라 3년짜리 프로젝트를 수행해도 인간보다 잘합니다.

사실상 ASI에 가까운 존재입니다.

언제 가능할까요?

존 슐먼:
3~4년.

AI 연구는 오히려 AI에게 그렇게 어려운 분야가 아닐 수 있습니다.

코드와 수학이 많이 포함되어 있고, 현재 연구 자원도 엄청나게 집중되고 있으니까요.

반면 3D 공간 이해나 실제 물리적 시스템과 관련된 기계공학 같은 분야는 조금 더 오래 걸릴 수 있습니다.

드워케시:
하지만 TSMC 엔지니어처럼 인터넷에 데이터가 별로 없고 현장에서 배워야 하는 분야도 포함합니다.

존 슐먼:
그러면 AI에게 인간과 동일한 onboarding material을 제공할 수 있다고 가정해야 합니다.

그리고 장기 학습 문제도 어느 정도 해결되어야 합니다.

찰리:
저는 5~10년 정도를 봅니다.

AI 연구 자동화가 사실상 ASI-complete에 가까울 수도 있다고 생각합니다.

세상에는 단순히 검색하거나 메모를 작성하는 것만으로 해결하기 힘든 업무가 많습니다.

현재의 백만 토큰 context보다 훨씬 더 많은 경험과 지속적 학습이 필요한 분야도 있습니다.

베렌:
저는 연구소들이 집중적으로 투자하는 분야에서는 약 5년 정도가 가능하다고 봅니다.

다만 “지구상 모든 인간 전문가”를 정말 문자 그대로 포함한다면 긴 꼬리가 생깁니다.

AI가 이론적으로는 배울 수 있지만 아무도 데이터를 만들거나 compute를 투자하지 않은 전문 분야가 남을 수 있기 때문입니다.

드워케시:
제가 말한 조건에는 AI가 새로운 분야를 인간만큼 빠르게 배우는 능력까지 포함합니다.

베렌:
그 능력이 반드시 필요하다고는 생각하지 않습니다.

AI는 한 인간보다 훨씬 더 많은 누적 경험을 가질 수 있으니까요.

전체 인터뷰의 핵심 결론

이 토론에서 세 연구자는 세부적인 타임라인에서는 꽤 크게 갈렸지만, 한 가지 중요한 지점에서는 상당히 가까운 의견을 보였습니다.

현재 AI 발전이 완전히 막힐 것이라고 강하게 주장하는 사람은 없습니다.

오히려 핵심 논쟁은

“AI가 인간 연구자를 넘어서는가?”

보다는

“어떤 병목 때문에 그 시점이 2~3년 늦춰질 수 있는가?”

에 가깝습니다.

특히 중요한 변수는 다음과 같습니다.

AI가 스스로 올바른 연구 목표와 다음 실험을 선택할 수 있는가
sim-to-real generalization이 충분히 강한가
continual learning과 catastrophic forgetting 문제가 해결되는가
현실 세계에서 새로운 training signal을 얼마나 빨리 생성할 수 있는가
RL 환경이 장기적이고 현실적인 업무까지 확장될 수 있는가
AI 연구 자동화 이후 compute·실험 비용·인간의 판단이 새로운 병목으로 등장하는가

인터뷰에서 특히 흥미로운 점은 RSI가 반드시 현실 세계의 완전한 범용 AGI보다 나중에 등장할 필요는 없다는 주장입니다.

AI 연구는 상당히 누적적인 분야입니다.

새로운 알고리즘, training recipe, architecture 개선이 발견되면 다음 AI는 그것을 다시 발견할 필요 없이 그대로 사용할 수 있습니다.

반면 현실의 법률, 회사 운영, 인간관계와 같은 업무는 계속 환경이 변하기 때문에 지속적인 학습이 필요합니다.

따라서 아이러니하게도

“완벽한 회사원 AI보다 자기 자신의 AI 연구를 가속하는 AI가 먼저 나올 수도 있다.”

는 것이 이 대화에서 반복해서 등장하는 중요한 함의입니다.

그리고 만약 존 슐먼과 베렌의 비교적 빠른 전망처럼 약 2년 안에 AI 연구자의 생산성이 10배 가까이 증가하기 시작한다면, 그 이후 AI 발전은 지금까지의 단순한 scaling trend와는 다른 AI R&D → 더 강한 AI → 더 빠른 AI R&D라는 피드백 구조로 들어갈 가능성이 있습니다.

반대로 찰리가 강조하듯, “다음에 무엇을 연구해야 하는가”라는 새로운 목표를 발견하는 능력, 현실에서 새로운 정보가 생성되는 속도, continual learning 같은 문제가 생각보다 어렵다면 이 과정은 폭발적인 RSI보다는 여러 세대에 걸친 점진적 가속에 가까워질 수도 있습니다.

결국 이 인터뷰의 핵심 논쟁은 RSI가 가능한가 아닌가가 아니라, 현재의 Transformer + RL + environment scaling이 스스로 닫힌 연구 루프를 만들 만큼 충분히 일반화될 수 있느냐라고 볼 수 있습니다.

전체 0

« 에릭 장 - 로봇공학을 위한 부드러운 지수 함수

목록보기 답글쓰기

글수정 글삭제