뉴스/정보
드와르케시 파텔 - AI 발전에 대한 생각 (2025년 12월)
작성자
작성일
2025-12-07 21:01
조회
462
https://www.dwarkesh.com/p/thoughts-on-ai-progress-dec-2025
우리가 스케일링하고 있는 건 뭘까?
(Some context words I’ll leave in English 그대로: RLVR, AGI 같은 것들)
나는 한 가지가 헷갈린다. 어떤 사람들은 타임라인은 짧게 보면서도 RLVR에는 엄청 bullish하다. 만약 우리가 진짜 인간 수준의 학습자를 눈앞에 두고 있다면, 지금의 이런 접근은 전부 막장인 거 아닌가?
지금 랩들이 하는 건, 모델 안에 각종 스킬들을 “mid-training” 단계에서 미리 구워 넣으려는 시도다. 엑셀로 재무 모델을 만드는 법, 웹 브라우저를 탐색하는 법 같은 걸 가르치는 RL 환경을 공급하는 회사들로 구성된 전체 공급망(supply chain)이 따로 있을 정도다.
그런데 이건 둘 중 하나다:
그러니까, 진짜 인간 수준의 학습자가 있었다면 로보틱스 문제는 (대부분) 이미 끝난 셈이어야 한다.
하지만 그런 학습자가 없기 때문에, 우리는 수천 개의 서로 다른 집에 직접 들어가서, 접시를 어떻게 집는지, 빨래를 어떻게 개는지 등등을 하나하나 배워야 하는 상황이 되는 것이다.
이건 약간 이런 느낌이다:
이 자동화된 연구자라는 게, 인간들이 수십 년, 거의 한 세기 동안 머리 싸매고 고민했던 AGI 알고리즘을 찾아낼 정도로 뛰어난 존재인데,
정작 아이 수준의 기초 학습 능력은 없다고?
솔직히 말해서, 이건 엄청 말이 안 되는 주장처럼 들린다.
게다가, 설령 그걸 믿는다 치더라도, 지금 랩들이 RLVR을 실제로 어떻게 접근하고 있는지와는 전혀 안 맞는다.
“자동화된 Ilya”를 만들려면, 굳이 “컨설턴트의 PPT 슬라이드 제작 스킬”을 미리 구워 넣을 필요가 없다.
그럼에도 랩들의 실제 행동을 보면, 모델들이 일반화와 온더잡 러닝에 계속해서 취약하다고 보는 세계관이 깔려 있고,
그래서 경제적으로 가치가 있을 거라 기대하는 스킬들을 사전에 구축해 넣어야 한다고 믿는 것처럼 보인다.
그리고 솔직히 말해, 브라우저나 터미널처럼 모두가 쓰는 공통 도구에 대한 유창성을 훈련 단계에서 미리 구워 넣는 건 꽤 말이 된다.
실제로 AGI의 핵심 장점 중 하나도, 서로 다른 인스턴스들 사이에 지식을 훨씬 잘 공유할 수 있다는 점일 것이다.
하지만 사람들이 대체로 과소평가하고 있는 게 있다.
대부분의 직무는 회사·팀·컨텍스트에 초특화된 스킬이 정말 많이 필요하다.
그리고 지금 기준으로, AI가 그런 스킬들을 튼튼하고 효율적으로 습득하는 방법은 존재하지 않는다.
생물학자는 긴 타임라인을 가지고 있다고 했다.
그래서 뭐가 그렇게 AI에게 힘들 거라 보는지 물었다.
생물학자:
그러자 AI 연구자가 이렇게 말한다.
AI 연구자:
나는 이 대화가 되게 흥미롭다고 느꼈다.
왜냐하면 이게 “몇 년 안에 경제가 뒤집힌다”고 보는 사람들과
나 같은 사람 사이의 핵심 크럭스를 아주 잘 보여주고 있기 때문이라고 생각했기 때문이다.
어떤 특정 실험실이 슬라이드를 준비하는 방식에 맞춰,
“이게 대식세포처럼 보이는 점인지 아닌지”를 판별하는 전용 파이프라인을 새로 만드는 건,
비용 대비 생산성이 안 나온다.
그 다음 연구실이 가진 또 다른 마이크로 태스크마다,
다시 새로운 파이프라인을 만들고… 이런 건 말이 안 된다.
우리가 실제로 필요로 하는 건 “의미적 피드백(semantic feedback)”이나
자기 주도적 경험(self-directed experience)에서 배우고,
그걸 인간처럼 일반화하는 AI다.
상황 인식(situational awareness),
현장에서 배운 스킬과 컨텍스트를 활용해서 처리해야 하는 일들.
이런 태스크들은 사람마다 다를 뿐 아니라, 같은 사람이라도 날마다 조금씩 다르다.
따라서, “미리 정의된 스킬 세트”를 전부 구워 넣는 방식으로
단 하나의 직무를 완전히 자동화하는 것조차 불가능하다.
하물며 모든 직무는 말할 것도 없다.
이유는 간단하다 —
대부분이 지금의 레짐을 머릿속에 그려 놓고,
“이거의 더 좋은 버전” 정도만 상상하기 때문이다.
하지만 내가 생각하는 “실제 AGI”는 이런 그림이다:
그리고 나는 이런 의미의 AGI가 향후 10~20년 안에 나올 것이라고 본다.
그건 진짜 말 그대로 미친 일이다.
나는 이게 일종의 cope(체면용 합리화)라고 생각한다.
사람들이 이 말을 이용해서,
현행 모델들이 광범위한 경제적 가치를 내려면 필요한 능력들을 아직 못 갖췄다는 사실을
덮어버리려 한다는 거다.
Steven Byrnes가 이 점을 포함해 여러 포인트를 정말 잘 쓴 글이 있다. 거기서 이런 요지가 나온다:
만약 이 모델들이 진짜 서버 위의 인간들과 같다면,
확산 속도는 말도 안 되게 빠를 것이다.
게다가 사람을 채용하는 건 레몬 마켓(lemons market)에 가깝다.
누가 좋은 인재인지 채용 전엔 알기 어렵고,
잘못 뽑았을 때의 비용은 매우 크다.
하지만 검증된 AGI 모델 인스턴스를 하나 더 띄우는 것에는
이런 종류의 리스크가 거의 없다.
그래서 나는, 지능을 경제에 확산시키는 건 사람 채용보다 AI 도입이 훨씬 쉬울 것이라 본다.
그리고 회사들은 사람을 엄청 많이 뽑는다.
만약 능력이 진짜 AGI급이라면,
사람들은 기꺼이 매년 수조 달러를 토큰 사는 데 썼을 것이다.
(지식 노동자가 받는 연봉 총합은 매년 수십 조 달러 규모니까.)
지금 랩들의 매출이 그보다 4자릿수나 낮은 이유는,
모델들이 아직 인간 지식 노동자와는 거리가 멀다는 명백한 증거다.
이건 어느 정도 사실이다.
지난 10년간 AI는 엄청나게 발전했고,
그걸 잊어버리기는 쉽다.
하지만 어느 정도의 골대 이동은 합리적이다.
솔직히 말해서,
누가 2020년에 나에게 Gemini 3를 보여줬다면,
나는 거의 확실하게 이렇게 말했을 것이다:
우리는 AGI의 충분 조건이라고 생각했던 것들 —
일반적 이해력, few-shot 학습, 추론 능력 — 을
계속해서 해결해 왔다.
그런데 여전히 AGI(예: 지식 노동의 95%를 완전 자동화)는 없다.
이걸 봤을 때, 이성적인 반응은 뭘까?
이렇게 말하는 건 전혀 이상하지 않다:
나는 앞으로도 이런 일이 계속 일어날 거라고 본다.
예컨대 2030년쯤이면, 랩들이 아마 내가 집착하는 지속 학습(continual learning)에도 꽤 진전을 낼 것이다.
모델들은 매출 수천억 달러 규모로 올라갈 수도 있다.
그래도 나는 아마 이렇게 말하고 있을 거다:
요약하면,
여러 오더의 마그니튜드에 걸친 컴퓨트 증가에 따라,
로스가 예쁘게 떨어지는 형태.
(비록 그게 지수(exponential)보단 약한 파워 로(power law)이긴 했지만,
그래도 꽤 물리 법칙처럼 예측 가능한 트렌드였다.)
사람들은 지금 이 프리트레이닝 스케일링이 가진 위신(prestige)을
그대로 가져와서 RLVR에 갖다 붙이려 한다.
근데 RLVR 쪽은,
잘 맞는, 공개된 스케일링 법칙이나 추세가 사실상 없다.
몇 안 되는 공개 데이터를 어떻게든 맞춰보려는 용감한 연구자들은
오히려 꽤 베어리시한 결과를 얻었다.
예를 들어, Toby Ord는 여러 o-series 벤치마크 차트 사이를 영리하게 이어서
암시적인 스케일링을 추정한 글이 있는데,
거기서 나오는 결론은 대략 이런 식이다:
어떤 인간이 얼마나 가치 있는지를 나타내는 분산이 어마어마하게 크다.
O-ring 모델을 떠올리면 된다.
동네 바보(village idiot)는 지식 노동에 거의 0에 가까운 가치를 더한다.
반면, 톱티어 AI 연구자는 Mark Zuckerberg에게 수십억 달러의 가치를 더해 줄 수 있다.
반면, 어느 시점의 AI 모델들은 대부분 서로 비슷한 수준이다.
사람은 분산이 크고, AI는 분산이 작다.
지식 노동에서 나오는 가치 대부분이 상위 1% 인간에게서 나온다는 점을 고려하면,
우리가 “이 AI 모델이 평균 인간(또는 중앙값 인간)이랑 비슷한가?”를 기준으로 비교할 때,
생성 가능한 경제 가치를 체계적으로 과대평가하게 된다.
하지만 반대로,
모델들이 마침내 최상위 인간 수준 성능을 달성하게 되는 순간,
그 영향력은 굉장히 폭발적일 수 있다.
내가 보기엔 AGI 위에서의 추가 발전을 이끌 진짜 핵심 원동력을 놓친다.
바로 지속 학습(continual learning)이다.
다시 생각해 보자.
사람이 무엇이든 더 잘하게 되는 주된 이유는 뭔가?
각 에이전트는 꽤 특화되어 있을 수 있다.
Karpathy가 말한 “cognitive core(인지 코어)” +
해당 직무에 필요한 지식과 스킬을 포함하는 형태로.
“지속 학습을 해결한다”는 건,
어느 날 갑자기 딱 한 번에 끝나는 이벤트가 아니라고 나는 본다.
오히려, 이건 in-context learning의 역사와 비슷할 것이다.
만약 어떤 날 갑자기,
완전히 해결된 지속 학습이 뚝 떨어져 나온다면,
Satya 말대로 “game, set, match”일 수 있다.
하지만 현실은 이렇지 않을 것 같다.
배포된 인스턴스 수에 따라
어떤 파워 로(power law)가 나타날 가능성도 꽤 있다고 본다.
또, 내 선입견 중 하나는
경쟁은 계속 치열할 거라는 것이다.
이는 지금까지 계속 등장했던 각종 플라이휠 —
챗 유저 수, synthetic data, 등등 — 들이
결국 그다지 큰 우위 독점을 만들지 못했다는 관찰에서 나온다.
실제로 지금도:
아마도 인재 스카우트, 루머, 리버스 엔지니어링 같은 것들 — 이
지금까지는 특정 랩이 가져가려던 초과 이득(flywheel advantage)을
계속 상쇄해 온 것 같다.
우리가 스케일링하고 있는 건 뭘까?
(Some context words I’ll leave in English 그대로: RLVR, AGI 같은 것들)
What are we scaling?
우리가 스케일링하고 있는 건 뭘까?나는 한 가지가 헷갈린다. 어떤 사람들은 타임라인은 짧게 보면서도 RLVR에는 엄청 bullish하다. 만약 우리가 진짜 인간 수준의 학습자를 눈앞에 두고 있다면, 지금의 이런 접근은 전부 막장인 거 아닌가?
지금 랩들이 하는 건, 모델 안에 각종 스킬들을 “mid-training” 단계에서 미리 구워 넣으려는 시도다. 엑셀로 재무 모델을 만드는 법, 웹 브라우저를 탐색하는 법 같은 걸 가르치는 RL 환경을 공급하는 회사들로 구성된 전체 공급망(supply chain)이 따로 있을 정도다.
그런데 이건 둘 중 하나다:
- 곧 모델들이 자기 주도적으로, 현장에서(on the job) 알아서 배우게 될 거라면 → 이런 “프리베이킹(pre-baking)”은 전부 무의미하다.
- 아니면 그렇지 않을 것이다 → 그럼 AGI가 코앞이라는 주장은 틀린 거다.
Beren의 포인트
Beren이 최근 블로그에서 이런 흥미로운 포인트들을 제기했다:최전선(frontier) 모델들이 각종 벤치마크에서 좋아지는 걸 볼 때, 우리는 단순히 스케일 증가와 영리한 ML 연구 아이디어뿐 아니라,
해당 능력들에 정확히 맞춰 설계된 질문과 모범 답안·추론 예시를 만들도록 PhD, MD, 기타 전문가들에게 수십억 달러를 지불해 온 걸 함께 생각해야 한다 …
어떤 의미에서, 이건 전문가 시스템 시대의 대규모 리메이크 같다고 볼 수 있다.
그때는 전문가들에게 그들의 사고를 직접 코드로 프로그래밍하게 돈을 줬다면,
지금은 그들의 추론과 과정을 수많은 예시로 제공하게 하고, 그걸 행동 모사(behavioral cloning)를 통해 모델에 증류(distill)하는 것이다.
이건 나에게, 정말 고품질의 인간 트래젝터리와 환경을 그렇게까지 공들여 설계해야 한다는 사실 자체가,
진짜 AGI가 가져야 할 ‘핵심 학습 능력(core of learning)’이 여전히 부족하다는 증거라는 쪽으로 약간 업데이트를 줬다.
로보틱스에서 이 긴장이 특히 선명함
이 긴장은 특히 로보틱스에서 아주 적나라하게 드러난다. 근본적인 관점에서, 로보틱스는 하드웨어나 데이터 문제가 아니라 알고리즘 문제다 — 인간은 아주 적은 훈련만으로도 현재의 하드웨어를 원격 조작(teleoperate)해서 꽤 쓸모 있는 일을 할 수 있다.그러니까, 진짜 인간 수준의 학습자가 있었다면 로보틱스 문제는 (대부분) 이미 끝난 셈이어야 한다.
하지만 그런 학습자가 없기 때문에, 우리는 수천 개의 서로 다른 집에 직접 들어가서, 접시를 어떻게 집는지, 빨래를 어떻게 개는지 등등을 하나하나 배워야 하는 상황이 되는 것이다.
“5년 안에 테이크오프”파의 반론 ①: 자동화된 초일류 연구자
내가 짧은 타임라인을 보는 사람들(5년 내 테이크오프파)에게서 들은 반론 중 하나는 이거다:“지금 이 지저분한(cludgy) RL은 다 초인적인 AI 연구자를 만들기 위한 과정일 뿐이다.
그러면 자동화된 Ilya의 백만 개 카피가 나와서,
‘경험으로부터 튼튼하고 효율적으로 학습하는 알고리즘’을 알아낼 거다.”
이건 약간 이런 느낌이다:
“우린 판매할 때마다 손해를 보긴 하는데, 물량으로 이득을 볼 거야.”
이 자동화된 연구자라는 게, 인간들이 수십 년, 거의 한 세기 동안 머리 싸매고 고민했던 AGI 알고리즘을 찾아낼 정도로 뛰어난 존재인데,
정작 아이 수준의 기초 학습 능력은 없다고?
솔직히 말해서, 이건 엄청 말이 안 되는 주장처럼 들린다.
게다가, 설령 그걸 믿는다 치더라도, 지금 랩들이 RLVR을 실제로 어떻게 접근하고 있는지와는 전혀 안 맞는다.
“자동화된 Ilya”를 만들려면, 굳이 “컨설턴트의 PPT 슬라이드 제작 스킬”을 미리 구워 넣을 필요가 없다.
그럼에도 랩들의 실제 행동을 보면, 모델들이 일반화와 온더잡 러닝에 계속해서 취약하다고 보는 세계관이 깔려 있고,
그래서 경제적으로 가치가 있을 거라 기대하는 스킬들을 사전에 구축해 넣어야 한다고 믿는 것처럼 보인다.
반론 ②: “어차피 한 번만 학습하면 되니까”
또 다른 반론은 이런 식이다:“설령 모델이 이런 스킬들을 현장에서(on the job) 학습할 수 있다 해도,
사용자나 회사마다 매번 다시 학습시키는 것보다,
훈련 단계에서 한 번만 배우게 하는 게 훨씬 효율적이다.”
그리고 솔직히 말해, 브라우저나 터미널처럼 모두가 쓰는 공통 도구에 대한 유창성을 훈련 단계에서 미리 구워 넣는 건 꽤 말이 된다.
실제로 AGI의 핵심 장점 중 하나도, 서로 다른 인스턴스들 사이에 지식을 훨씬 잘 공유할 수 있다는 점일 것이다.
하지만 사람들이 대체로 과소평가하고 있는 게 있다.
대부분의 직무는 회사·팀·컨텍스트에 초특화된 스킬이 정말 많이 필요하다.
그리고 지금 기준으로, AI가 그런 스킬들을 튼튼하고 효율적으로 습득하는 방법은 존재하지 않는다.
“인간 노동이 왜 비싼가?” → 바로 “훈련이 안 귀찮아서”
AI 연구자랑 생물학자랑 같이 저녁을 먹은 적이 있다.생물학자는 긴 타임라인을 가지고 있다고 했다.
그래서 뭐가 그렇게 AI에게 힘들 거라 보는지 물었다.
생물학자:
“요즘 하는 일 중 하나가, 슬라이드를 보면서
‘이 점(dot)이 진짜 대식세포(macrophage)인지,
아니면 그냥 그렇게 보이는 건지’를 판별하는 일이에요.”
그러자 AI 연구자가 이렇게 말한다.
AI 연구자:
“이미지 분류는 딥러닝에서 가장 기본적인 문제입니다.
그 정도는 쉽게 모델 학습시킬 수 있어요.”
나는 이 대화가 되게 흥미롭다고 느꼈다.
왜냐하면 이게 “몇 년 안에 경제가 뒤집힌다”고 보는 사람들과
나 같은 사람 사이의 핵심 크럭스를 아주 잘 보여주고 있기 때문이라고 생각했기 때문이다.
인간 노동자가 가치 있는 이유는,
그 사람의 일을 구성하는 온갖 자잘한 서브태스크마다
일일이 “귀찮은 훈련 루프(schleppy training loop)”를 만들 필요가 없기 때문이다.
어떤 특정 실험실이 슬라이드를 준비하는 방식에 맞춰,
“이게 대식세포처럼 보이는 점인지 아닌지”를 판별하는 전용 파이프라인을 새로 만드는 건,
비용 대비 생산성이 안 나온다.
그 다음 연구실이 가진 또 다른 마이크로 태스크마다,
다시 새로운 파이프라인을 만들고… 이런 건 말이 안 된다.
우리가 실제로 필요로 하는 건 “의미적 피드백(semantic feedback)”이나
자기 주도적 경험(self-directed experience)에서 배우고,
그걸 인간처럼 일반화하는 AI다.
한 사람의 하루에는 “작은 판단”이 백 개씩 깔려 있음
매일매일, 우리는 수백 개의 자잘하지만 판단이 필요한 일들을 한다.상황 인식(situational awareness),
현장에서 배운 스킬과 컨텍스트를 활용해서 처리해야 하는 일들.
이런 태스크들은 사람마다 다를 뿐 아니라, 같은 사람이라도 날마다 조금씩 다르다.
따라서, “미리 정의된 스킬 세트”를 전부 구워 넣는 방식으로
단 하나의 직무를 완전히 자동화하는 것조차 불가능하다.
하물며 모든 직무는 말할 것도 없다.
“진짜 AGI”를 사람들이 얼마나 과소평가하고 있는지
사실 나는 사람들이 진짜 AGI의 파괴력을 많이 과소평가하고 있다고 생각한다.이유는 간단하다 —
대부분이 지금의 레짐을 머릿속에 그려 놓고,
“이거의 더 좋은 버전” 정도만 상상하기 때문이다.
하지만 내가 생각하는 “실제 AGI”는 이런 그림이다:
“서버 위에 수십억 개의 인간 수준 지능이 돌아가고 있고,
이들이 배운 것을 서로 마음껏 복사하고 병합할 수 있다.”
그리고 나는 이런 의미의 AGI가 향후 10~20년 안에 나올 것이라고 본다.
그건 진짜 말 그대로 미친 일이다.
“경제 확산(economic diffusion) 지연”은, 사실 부족한 능력을 가리는 변명일 뿐
가끔 이런 말을 하는 사람도 있다:“AI가 아직 기업 전반에 깊게 도입되지 못한 건,
새로운 기술이 경제 전반에 확산되는 데 원래 시간이 오래 걸려서다.”
나는 이게 일종의 cope(체면용 합리화)라고 생각한다.
사람들이 이 말을 이용해서,
현행 모델들이 광범위한 경제적 가치를 내려면 필요한 능력들을 아직 못 갖췄다는 사실을
덮어버리려 한다는 거다.
Steven Byrnes가 이 점을 포함해 여러 포인트를 정말 잘 쓴 글이 있다. 거기서 이런 요지가 나온다:
“새 기술이 경제에 통합되는 데 오래 걸린다”는 말을 듣거든,
이렇게 물어보라.
“고숙련·경험 풍부·기업가 마인드까지 갖춘 이민자 인간들은
어떻게 경제에 ‘즉시’ 통합될 수 있는 걸까?”
그 질문에 답을 했다면,
AGI도 그런 것들을 똑같이 할 수 있을 거라는 사실을 떠올려 보라.
만약 이 모델들이 진짜 서버 위의 인간들과 같다면,
확산 속도는 말도 안 되게 빠를 것이다.
게다가 사람을 채용하는 건 레몬 마켓(lemons market)에 가깝다.
누가 좋은 인재인지 채용 전엔 알기 어렵고,
잘못 뽑았을 때의 비용은 매우 크다.
하지만 검증된 AGI 모델 인스턴스를 하나 더 띄우는 것에는
이런 종류의 리스크가 거의 없다.
그래서 나는, 지능을 경제에 확산시키는 건 사람 채용보다 AI 도입이 훨씬 쉬울 것이라 본다.
그리고 회사들은 사람을 엄청 많이 뽑는다.
만약 능력이 진짜 AGI급이라면,
사람들은 기꺼이 매년 수조 달러를 토큰 사는 데 썼을 것이다.
(지식 노동자가 받는 연봉 총합은 매년 수십 조 달러 규모니까.)
지금 랩들의 매출이 그보다 4자릿수나 낮은 이유는,
모델들이 아직 인간 지식 노동자와는 거리가 멀다는 명백한 증거다.
골대(goalpost)를 옮기는 건 어느 정도는 당연하다
AI 강세론자들은 종종 AI 약세론자들이 계속 골대를 옮긴다고 비판한다.이건 어느 정도 사실이다.
지난 10년간 AI는 엄청나게 발전했고,
그걸 잊어버리기는 쉽다.
하지만 어느 정도의 골대 이동은 합리적이다.
솔직히 말해서,
누가 2020년에 나에게 Gemini 3를 보여줬다면,
나는 거의 확실하게 이렇게 말했을 것이다:
“이 정도면 지식 노동의 절반은 자동화 가능하겠는데?”
우리는 AGI의 충분 조건이라고 생각했던 것들 —
일반적 이해력, few-shot 학습, 추론 능력 — 을
계속해서 해결해 왔다.
그런데 여전히 AGI(예: 지식 노동의 95%를 완전 자동화)는 없다.
이걸 봤을 때, 이성적인 반응은 뭘까?
이렇게 말하는 건 전혀 이상하지 않다:
“아, 지능과 노동에는 내가 예전엔 제대로 보지 못한 요소들이 더 있구나.
우리가 예전 기준으로 정의한 AGI에 거의 도달했거나, 어떤 면에서는 넘어섰지만,
모델 회사들이 아직 ‘수조 달러 매출’을 못 낼 정도라면,
그건 예전의 AGI 정의가 너무 좁았다는 뜻이겠구나.”
나는 앞으로도 이런 일이 계속 일어날 거라고 본다.
예컨대 2030년쯤이면, 랩들이 아마 내가 집착하는 지속 학습(continual learning)에도 꽤 진전을 낼 것이다.
모델들은 매출 수천억 달러 규모로 올라갈 수도 있다.
그래도 나는 아마 이렇게 말하고 있을 거다:
“진짜 많이 발전했지만, 이건 아직 AGI는 아니다.
진짜 수조 달러 매출에 가려면 X, Y, Z가 더 필요하다.”
요약하면,
모델의 “와, 대단하다”는 인상은
단타임라인파가 예상하는 속도로 좋아지는데,
실제 “경제적 유용성”은
장타임라인파가 예상했던 속도로밖에 안 좋아지고 있다.
RL 스케일링은, 프리트레이닝 스케일링의 위신을 세탁하려는 시도다
프리트레이닝에서는, 우리는 정말 엄청나게 깔끔하고 일반적인 개선 추세를 봤다.여러 오더의 마그니튜드에 걸친 컴퓨트 증가에 따라,
로스가 예쁘게 떨어지는 형태.
(비록 그게 지수(exponential)보단 약한 파워 로(power law)이긴 했지만,
그래도 꽤 물리 법칙처럼 예측 가능한 트렌드였다.)
사람들은 지금 이 프리트레이닝 스케일링이 가진 위신(prestige)을
그대로 가져와서 RLVR에 갖다 붙이려 한다.
“프리트레이닝이 그랬으니까, RLVR도 비슷하게 스케일링될 거야.”
근데 RLVR 쪽은,
잘 맞는, 공개된 스케일링 법칙이나 추세가 사실상 없다.
몇 안 되는 공개 데이터를 어떻게든 맞춰보려는 용감한 연구자들은
오히려 꽤 베어리시한 결과를 얻었다.
예를 들어, Toby Ord는 여러 o-series 벤치마크 차트 사이를 영리하게 이어서
암시적인 스케일링을 추정한 글이 있는데,
거기서 나오는 결론은 대략 이런 식이다:
“GPT급의 부스트를 주려면,
총 RL 컴퓨트를 1,000,000배 정도 늘려야 할지도 모른다.”
인간 분포와의 비교는, 처음엔 과대평가를, 나중엔 과소평가를 부를 것이다
화이트컬러 노동에서는 특히,어떤 인간이 얼마나 가치 있는지를 나타내는 분산이 어마어마하게 크다.
O-ring 모델을 떠올리면 된다.
동네 바보(village idiot)는 지식 노동에 거의 0에 가까운 가치를 더한다.
반면, 톱티어 AI 연구자는 Mark Zuckerberg에게 수십억 달러의 가치를 더해 줄 수 있다.
반면, 어느 시점의 AI 모델들은 대부분 서로 비슷한 수준이다.
사람은 분산이 크고, AI는 분산이 작다.
지식 노동에서 나오는 가치 대부분이 상위 1% 인간에게서 나온다는 점을 고려하면,
우리가 “이 AI 모델이 평균 인간(또는 중앙값 인간)이랑 비슷한가?”를 기준으로 비교할 때,
생성 가능한 경제 가치를 체계적으로 과대평가하게 된다.
하지만 반대로,
모델들이 마침내 최상위 인간 수준 성능을 달성하게 되는 순간,
그 영향력은 굉장히 폭발적일 수 있다.
널리 배치된(broadly deployed) 인텔리전스 폭발
사람들은 그동안 이런 시나리오에 많이 집중해 왔다:- 소프트웨어만의 싱귤래리티 (AI가 더 똑똑한 후속 AI를 직접 코딩하는 경우)
- 소프트웨어 + 하드웨어 싱귤래리티 (AI가 후속 시스템의 컴퓨팅 하드웨어까지 개선하는 경우)
- 기타 변형들
내가 보기엔 AGI 위에서의 추가 발전을 이끌 진짜 핵심 원동력을 놓친다.
바로 지속 학습(continual learning)이다.
다시 생각해 보자.
사람이 무엇이든 더 잘하게 되는 주된 이유는 뭔가?
거의 언제나, 해당 영역에서의 경험 때문이다.
미래 그림: “일하러 나갔다가, 배운 걸 벌크로 가져오는 에이전트들”
Beren Millidge와 대화하다 나온 흥미로운 그림이 있다:미래에는, 지속 학습 에이전트들이 바깥으로 나가
실제 일을 하며 가치를 창출하고,
그 과정에서 배운 것들을 다시 하이브 마인드 모델로 가져온다.
그러면 중앙 모델이 이런 경험들을 모아서 배치 증류(batch distillation) 같은 걸 돌린다.
각 에이전트는 꽤 특화되어 있을 수 있다.
Karpathy가 말한 “cognitive core(인지 코어)” +
해당 직무에 필요한 지식과 스킬을 포함하는 형태로.
“지속 학습을 해결한다”는 건,
어느 날 갑자기 딱 한 번에 끝나는 이벤트가 아니라고 나는 본다.
오히려, 이건 in-context learning의 역사와 비슷할 것이다.
- GPT-3는 컨텍스트 안에서의 few-shot learning이 굉장히 강력할 수 있다는 걸 보여줬다.
(논문 제목 자체가 Language Models are Few-Shot Learners일 정도로.) - 하지만 그렇다고 해서 우리가 그 시점에 ICL을 “해결했다”고 보긴 어렵다.
그 이후로도 이해력(comprehension)부터 컨텍스트 길이까지 계속해서 개선이 있었다.
- 랩들은 아마 내년에 뭔가를 내놓을 것이다.
“Continual learning 기능”이라고 부를 만한,
그리고 실제로도 어느 정도 진전을 보여주는 뭔가. - 하지만 인간 수준의 지속 학습에 도달하려면,
그 이후로도 5~10년의 추가적인 진전이 필요할 가능성이 크다.
그래서 “첫 번째가 깨면 끝장” 같은 폭주 시나리오는 별로 예상하지 않는다
이런 이유로, 나는 “지속 학습을 먼저 깨는 모델이 무한 선순환을 타고 모두를 압도한다” 같은 시나리오는 별로 믿지 않는다.만약 어떤 날 갑자기,
완전히 해결된 지속 학습이 뚝 떨어져 나온다면,
Satya 말대로 “game, set, match”일 수 있다.
하지만 현실은 이렇지 않을 것 같다.
- 먼저 한 랩이 이 문제에서 초기 견인(initial traction)을 얻는다.
- 다른 랩들은 이 기능을 가지고 놀아 보면서
“아, 이걸 이렇게 해서 구현했구나”를 감 잡는다. - 그러고 나서 다들 그걸 어느 정도 따라잡고, 조금씩 개선한다.
배포에서 배우는 것에도 아마 체감 수익(diminishing returns)이 올 것
배포에서 배우는 것도 아마 체감 수익을 보일 것이다.- 처음 1,000명의 컨설턴트 에이전트들은
배포될 때마다 엄청나게 많은 걸 새로 배울 것이다. - 다음 1,000명은 그보다 덜 배운다.
- 그리고 백만 번째 인스턴스가
앞선 999,999개의 인스턴스가 미처 보지 못한
“엄청 중요한 것”을 새로 볼 확률이 얼마나 될까?
배포된 인스턴스 수에 따라
어떤 파워 로(power law)가 나타날 가능성도 꽤 있다고 본다.
또, 내 선입견 중 하나는
경쟁은 계속 치열할 거라는 것이다.
이는 지금까지 계속 등장했던 각종 플라이휠 —
챗 유저 수, synthetic data, 등등 — 들이
결국 그다지 큰 우위 독점을 만들지 못했다는 관찰에서 나온다.
실제로 지금도:
- 한 달마다, 혹은 그보다 더 자주
빅3 랩들이 번갈아가며 1등 자리를 차지하고 있고, - 다른 경쟁자들도 그렇게 멀리 뒤쳐져 있지 않다.
아마도 인재 스카우트, 루머, 리버스 엔지니어링 같은 것들 — 이
지금까지는 특정 랩이 가져가려던 초과 이득(flywheel advantage)을
계속 상쇄해 온 것 같다.
전체 0