인터뷰/예측
리처드 서튼 "진짜 지능은 평생 계속 학습하는 시스템"
작성자
작성일
2026-08-20 12:07
조회
3
리처드 서튼·쿠람 자베드 인터뷰 정리
진행자:사람들은 리처드의 생각을 상당히 급진적이라고 보는 것 같습니다. 강화학습을 오랫동안 연구했고, 최근에는 현재 AI의 방향과도 꽤 다른 이야기를 하고 있으니까요.
리처드 서튼:
저는 제 생각이 급진적이라고 생각하지 않습니다. 오히려 아주 평범한 생각이라고 봐요. 최근 AI 분야가 조금 이상하게 생각하기 시작한 겁니다.
예전에는 continual learning이라는 말을 따로 쓸 필요도 없었습니다. 학습이라는 건 원래 계속되는 것이니까요. 우리는 계속 행동하고, 경험하고, 배우죠. 학습이 어느 순간 끝난다는 사고방식이 오히려 이상합니다.
강화학습에 인생을 건 이유
진행자:왜 그렇게 오래전부터 강화학습에 집중하셨나요?
리처드 서튼:
우리는 결국 마음과 지능이 무엇인지 이해하려고 했습니다.
마음에서 학습은 핵심적인 요소이고, 목표를 갖는 것도 지능의 핵심입니다. 그래서 자연스럽게 강화학습을 계속 연구하게 됐습니다.
2003년 앨버타 대학으로 갔을 당시에는 AI 겨울이었어요. 사실 저는 그때 암으로 죽을 수도 있는 상황이었습니다. 몇 달밖에 못 살 수도 있다고 생각했죠.
그런데 계속 살아 있더군요. 그래서 그냥 제가 하던 연구를 계속했습니다. 저는 원래 하던 일을 계속하는 편이니까요.
The Bitter Lesson
진행자:2019년에 The Bitter Lesson을 쓰셨습니다. 지금은 AI 분야에서 가장 유명한 글 중 하나가 됐는데, 핵심이 무엇입니까?
리처드 서튼:
AI 연구자들은 계속 인간의 지식을 시스템 안에 집어넣으려고 했습니다.
하지만 오랜 역사를 보면 장기적으로 성공한 것은 인간 지식을 직접 넣는 방법이 아니라 계산량이 늘어날수록 함께 발전할 수 있는 방법이었습니다.
대표적으로 학습과 탐색이죠.
복잡한 알고리즘을 사용하지 말라는 뜻이 아닙니다. 오히려 좋은 알고리즘이 필요합니다.
다만 그 알고리즘은 인간이 계속 지식을 집어넣어야 발전하는 방식이 아니라, 계산 능력이 증가하면 함께 확장될 수 있어야 합니다.
LLM은 Bitter Lesson의 성공인가
진행자:그렇다면 현재의 대형언어모델은 Bitter Lesson에 부합합니까?
리처드 서튼:
둘 다입니다.
LLM은 Bitter Lesson의 훌륭한 성공 사례입니다.
인터넷에 존재하는 방대한 데이터를 활용하고, 막대한 계산량을 이용하면서 모델의 능력을 크게 확장했습니다.
이 부분은 굉장히 성공적입니다.
하지만 동시에 한계도 드러냅니다.
인터넷은 유한합니다.
인간이 기록해놓은 정보도 유한합니다.
반면 실제 세계는 인터넷보다 훨씬 큽니다.
그래서 인간이 만들어 놓은 데이터에만 의존하면 결국 한계에 부딪히게 됩니다.
합성 데이터가 해결책인가
진행자:그렇다면 인터넷 데이터가 부족해진 뒤에는 합성 데이터를 만들면 되지 않을까요?
리처드 서튼:
저는 그건 큰 실수라고 생각합니다.
쿠람 자베드:
우리가 Big World Hypothesis라고 부르는 생각이 있습니다.
세계에는 사실상 끝없이 많은 것들이 존재하고, 끝없이 많은 것들을 배울 수 있습니다.
합성 데이터를 얼마든지 만들 수 있다고 해도 문제가 하나 있습니다.
누가 어떤 합성 데이터가 좋은 데이터인지 결정합니까?
현재는 인간이 결정합니다.
그러면 다시 인간 전문가가 병목이 됩니다.
쿠람 자베드:
예를 들어 박쥐처럼 반향정위를 이용해 날아다니는 드론을 만들고 싶다고 합시다.
어떤 합성 데이터를 만들어야 할까요?
결국 그 문제를 이해하는 전문가가 먼저 필요합니다.
인간이 먼저 문제를 이해하고 적절한 시뮬레이션과 데이터를 설계해야 한다면, AI는 인간의 전문지식 수준을 넘어서기 어렵습니다.
리처드 서튼:
그리고 합성 세계는 결국 실제 세계가 아닙니다.
현실은 엄청나게 복잡합니다.
사람의 마음이 어떻게 움직이는지도 중요하고, 로봇 모터의 마찰이나 환경과의 상호작용도 중요합니다.
우리가 프로그램으로 만드는 시뮬레이션은 실제 세계에 비하면 아주 작은 세계일 뿐입니다.
현실 세계는 어떤 하나의 에이전트보다 훨씬 복잡합니다.
그러면 시뮬레이션은 필요 없나
진행자:그런데 자율주행 같은 분야에서는 시뮬레이션을 상당히 성공적으로 사용하고 있지 않습니까?
쿠람 자베드:
물론 시뮬레이션은 가치가 있습니다.
하지만 그 시뮬레이터를 만드는 데 얼마나 많은 엔지니어가 필요했는지 생각해야 합니다.
현실에서 문제가 발견되면 엔지니어가 시뮬레이터를 고치고, 다시 학습하고, 또 문제를 발견하고, 다시 수정합니다.
저희 질문은 단순합니다.
왜 그 인간을 중간에서 빼지 못합니까?
AI가 직접 경험하고 자신이 가진 모델이 틀렸다는 것을 발견한 뒤, 스스로 고치게 만들면 됩니다.
리처드 서튼:
에이전트가 자신의 경험을 통해 세계의 모델을 학습해야 합니다.
그리고 그 모델이 틀리면 다시 경험을 통해 수정해야 합니다.
그런 방식의 시뮬레이션이라면 훨씬 의미가 있습니다.
현재 LLM의 가장 이상한 점
진행자:그렇다면 현재 LLM 기반 AI에서 가장 큰 문제가 무엇이라고 보십니까?
리처드 서튼:
학습을 멈춘다는 겁니다.
LLM을 만들 때는 엄청난 학습을 합니다.
사전학습을 하고, 이후 추가 훈련도 합니다.
그 과정에서 수많은 새로운 개념과 지식이 가중치에 형성됩니다.
그런데 모델을 사용자에게 내놓는 순간 가중치를 얼려버립니다.
사람들과 대화하고 새로운 것을 보고 새로운 경험을 하는데도 학습하지 않습니다.
저는 그게 이상하다고 생각합니다.
진행자:
그러면 사전학습을 줄여야 한다는 의미인가요?
리처드 서튼:
아닙니다.
사전학습을 원하는 만큼 해도 됩니다.
Post-training도 좋습니다.
제가 문제라고 보는 부분은 배포한 이후에 학습하지 못하게 만드는 것입니다.
AI를 사용하고 있는데 모델이 더 이상 학습하지 않습니다.
컨텍스트를 추가할 수는 있지만 모델 자체가 배우는 것은 아닙니다.
메모리와 컨텍스트만으로 충분하지 않은 이유
진행자:요즘 AI는 사용자에 관한 메모리도 가지고 있고, 대화 내용에서 in-context learning도 합니다. 이것도 일종의 학습 아닌가요?
리처드 서튼:
그건 모델의 상태를 바꾸는 것이지 모델 자체가 학습하는 것은 아닙니다.
현재 LLM이 만들어지면서 생긴 새로운 개념과 구조의 대부분은 가중치 학습을 통해 만들어졌습니다.
그 능력을 계속 유지해야 합니다.
처음 한 번만 새로운 개념을 형성하고 이후에는 영원히 못 바꾸게 만들 이유가 없습니다.
쿠람 자베드:
사람을 생각해 보면 이해하기 쉽습니다.
인간은 몸의 감각이 바뀌어도 적응할 수 있습니다.
예를 들어 자신의 신체 위치를 느끼는 고유감각을 완전히 잃은 사람이 처음에는 걷지 못하더라도, 몇 년에 걸쳐 눈으로 자신의 발을 보면서 다시 걷는 방법을 배울 수 있습니다.
뇌는 굉장히 plastic합니다.
20년 동안 맞았던 것이 갑자기 틀리게 되어도 그것을 수정할 수 있습니다.
AI에도 이런 능력이 필요합니다.
인간과 동물은 어떻게 배우는가
진행자:인간의 아기나 동물에게서 배울 점이 있다고 생각하십니까?
리처드 서튼:
많은 영감을 받을 수 있습니다.
다만 AI가 반드시 인간이나 동물처럼 작동해야 한다고 생각하는 것은 아닙니다.
생물은 좋은 영감의 원천이지 제약조건은 아닙니다.
리처드 서튼:
동물은 supervised learning으로 배우지 않습니다.
예를 들어 우리가 걸을 때 어떤 근육을 얼마나 움직여야 하는지 정답 데이터를 받지 않습니다.
우리는 직접 움직이고 결과를 경험하면서 배웁니다.
학교 교육을 supervised learning이라고 생각할 수도 있지만, 학교에서 배우는 것은 인간이 평생 배우는 것 가운데 아주 작은 부분입니다.
보기, 걷기, 세계가 어떻게 움직이는지 이해하기 같은 기본적인 능력은 경험에서 배웁니다.
쿠람 자베드:
그리고 다른 사람이 저에게 어떻게 입과 혀를 움직여서 어떤 소리를 내야 하는지 정확한 정답을 줄 수도 없습니다.
사람마다 몸이 다르기 때문입니다.
결국 제 몸으로 행동하고 그 결과를 보면서 제가 배워야 합니다.
그래도 인간의 축적된 지식은 중요하지 않나
진행자:하지만 인간이 특별한 이유 중 하나는 수천 년 동안 축적한 지식을 교육으로 빠르게 전달받을 수 있다는 점 아닙니까?
예를 들어 로켓을 만들기 위해 모든 것을 직접 시행착오로 배울 필요는 없습니다.
쿠람 자베드:
맞습니다.
인간의 뇌 자체는 지난 수천 년 동안 그렇게 크게 변하지 않았을 겁니다.
하지만 문화와 지식이 축적됐습니다.
우리는 학교나 언어를 통해 그 지식을 빠르게 받을 수 있습니다.
AI도 그렇게 해야 합니다.
인간의 문화와 지식에서 배워야 합니다.
그것도 AI가 경험하는 세계의 일부입니다.
리처드 서튼:
여기서 기존 지식과 새로운 학습을 서로 경쟁시키면 안 됩니다.
기존에 가진 지식도 중요하고 새롭게 배우는 것도 중요합니다.
우리는 이전에 배운 것을 기반으로 새로운 것을 배우고, 새롭게 배운 것은 다시 다음 학습을 위한 기존 지식이 됩니다.
둘은 적이 아닙니다.
현재 AI에 빠진 결정적 능력
진행자:그러면 인간이 새로운 패러다임을 발견하는 것처럼 AI도 기존 인간 지식을 넘어 새로운 개념을 만들려면 무엇이 필요합니까?
쿠람 자베드:
자신의 경험을 통해 새로운 추상화를 만들어야 합니다.
예를 들어 기존 인간들이 하나의 방식으로 세상을 보고 있는데 AI가 더 나은 방식을 찾아야 한다면, 그 답을 인간 지식에서 가져올 수는 없습니다.
자신의 경험을 통해 더 잘 일반화되고 더 잘 예측하는 새로운 표현을 발견해야 합니다.
리처드 서튼:
현재 AI 분야에서 정말 부족한 것은
모델을 배우고 그 모델을 이용해 계획하는 능력
입니다.
AlphaGo에서는 게임의 규칙을 우리가 알고 있습니다.
수학에서도 연산 규칙을 알고 있습니다.
하지만 실제 세계에서는 그 모델 자체를 먼저 배워야 합니다.
그리고 자신이 만든 추상화 수준에서 그 모델을 이용해 계획해야 합니다.
이 부분이 아직 제대로 해결되지 않았습니다.
Alberta Plan
진행자:그래서 2022년에 Alberta Plan이라는 연구 계획을 제시하셨죠.
리처드 서튼:
우리가 가진 큰 아이디어들을 실제 연구문제로 나누기 위해 만든 계획입니다.
그중 매우 중요한 것이 continual deep learning입니다.
이 문제를 해결하면 세계에 대한 모델도 계속 업데이트할 수 있게 됩니다.
그리고 다음 문제는 적절한 추상화를 스스로 발견하는 것입니다.
여기서 적절한 추상화라는 것도 인간이 정해주는 것이 아닙니다.
에이전트가 자신이 살아가는 세계에서 어떤 추상화가 유용한지를 직접 배워야 합니다.
그런데 왜 지금 당장 continual learning을 하지 못하나
진행자:기술적으로 모델의 가중치를 계속 업데이트하면 되지 않습니까?
쿠람 자베드:
그렇게 단순하지 않습니다.
하나의 새로운 경험만 가지고 전체 모델을 업데이트하면 기존에 학습했던 지식이 망가질 수 있습니다.
이것이 catastrophic forgetting입니다.
현재는 많은 사용자의 데이터를 큰 batch로 모아 다시 학습하면서 이 문제를 완화하기도 합니다.
하지만 개인 AI처럼 하나의 연속된 경험 스트림을 학습해야 하는 상황에서는 그렇게 할 수 없습니다.
그래서 이건 단순한 인프라 문제가 아니라 알고리즘 문제입니다.
서튼이 생각하는 해결법
진행자:그렇다면 catastrophic forgetting을 어떻게 해결합니까?
리처드 서튼:
해결할 수 있다고 생각합니다.
우선 네트워크의 모든 가중치가 같은 속도로 변하면 안 됩니다.
각각의 weight마다 서로 다른 step size를 가져야 합니다.
어떤 가중치는 빠르게 바뀌고, 어떤 가중치는 거의 바뀌지 않아야 합니다.
그리고 그 변화 속도 자체도 meta-learning해야 합니다.
그러면 새로운 경험 하나가 들어와도 기존 지식 전체가 망가지지 않고 필요한 부분만 수정할 수 있습니다.
리처드 서튼:
또 하나는 계속 새로운 feature나 unit을 만들어 보는 겁니다.
기존 backpropagation은 처음 모델을 초기화할 때만 무작위성이 들어갑니다.
시간이 지나면서 처음의 다양성이 점점 소진됩니다.
우리가 만든 continual backprop은 학습 도중에도 새로운 unit을 계속 만들어 넣습니다.
새로운 가능성을 계속 만들어보고, backpropagation이 그것이 유용한지를 평가합니다.
이 두 가지를 잘 결합하면 지금보다 훨씬 강력한 continual deep learning이 가능하다고 생각합니다.
기존 LLM에도 적용할 수 있나
진행자:그 방법을 현재의 거대한 LLM에도 적용할 수 있습니까?
리처드 서튼:
원칙적으로 가능합니다.
다만 이미 학습이 끝난 LLM 하나를 가져와서 갑자기 이 알고리즘을 붙이는 방식은 어려울 겁니다.
처음부터 새로운 foundation model을 이런 알고리즘으로 학습해야 할 가능성이 큽니다.
그 모델은 두 가지를 동시에 배웁니다.
무엇을 알 것인가
그리고
앞으로 어떻게 새로운 것을 배울 것인가
입니다.
즉 knowledge와 learning-to-learn을 같이 학습하는 것입니다.
왜 빅테크는 이 방향을 하지 않을까
진행자:그렇게 유망하다면 왜 대형 AI 연구소들은 이 방향을 적극적으로 연구하지 않는 겁니까?
쿠람 자베드:
현재 AI 분야가 일종의 local minimum에 갇혀 있다고 생각합니다.
새로운 패러다임으로 옮기려면 처음에는 성능이 떨어질 가능성이 높습니다.
새로운 알고리즘을 처음 만들자마자 현재의 최고 LLM보다 잘할 리는 없습니다.
처음에는 더 나빠졌다가 기술이 발전하면서 좋아질 겁니다.
하지만 대형 연구소들은 이미 제품과 현재의 scaling 방식에 강하게 묶여 있습니다.
현재 방식을 계속 확장하면 당장 성능이 좋아집니다.
굳이 잠시 성능이 나빠질 수도 있는 새로운 길을 선택하기 어렵습니다.
Oak의 목표
진행자:그래서 새 회사 Oak에서 무엇을 만들려고 합니까?
리처드 서튼:
모든 것이 잘된다면 진정한 continual learning이 가능한 시스템을 만들고 싶습니다.
자신의 경험으로 계속 학습하고,
새로운 추상화를 만들고,
세계에 대한 모델을 만들고,
그 모델을 사용해서 계획하고 추론할 수 있는 시스템입니다.
리처드 서튼:
또 하나 중요한 것은 자신의 지식을 스스로 유지할 수 있어야 한다는 것입니다.
현재 LLM의 지식이 안정적인 이유는 사람들이 엄청난 post-training을 하고 나서 모델을 얼려버리기 때문입니다.
그 뒤로 변하지 않으니 망가지지도 않는 겁니다.
하지만 인간의 마음은 계속 변합니다.
우리는 계속 배우면서도 완전히 엉망이 되지 않습니다.
새로운 경험을 받아들이면서도 전체적인 지식이 일관성을 유지합니다.
그런 self-maintaining mind를 만드는 것이 가장 큰 목표 중 하나입니다.
20와트짜리 거대한 지능
진행자:궁극적으로 1조 개 parameter를 가진 모델을 20W 정도의 전력으로 작동시키겠다는 목표도 있던데요. 너무 야심찬 것 아닙니까?
쿠람 자베드:
현재 기술로는 불가능합니다.
지금은 parameter를 메모리에 저장하는 것만으로도 그보다 많은 전력이 필요할 겁니다.
하지만 5~10년 뒤를 생각하고 있습니다.
계산 기술은 계속 효율적으로 발전하고 있고 알고리즘도 더 좋아질 수 있습니다.
올바른 알고리즘이 있다면 가능하다고 생각합니다.
LLM은 사라질까
진행자:그렇다면 이런 시스템이 성공하면 지금의 LLM은 어떻게 됩니까?
리처드 서튼:
LLM은 위험해질 수도 있습니다.
새로운 방식의 AI가 등장하면 현재 방식이 경쟁력을 잃을 수도 있으니까요.
하지만 LLM이 대단한 과학적 돌파구라는 점은 분명합니다.
신경망이 이렇게 능숙하게 언어를 사용할 수 있을 것이라고 과거에는 예상하지 못했습니다.
언어 분야에서 엄청난 발전입니다.
리처드 서튼:
제가 답답하게 느끼는 것은 이 위대한 성과를 그냥 위대한 성과로 인정하면 되는데, 사람들이 이것을 AI 전체의 문제를 해결한 것처럼 이야기한다는 점입니다.
지능은 언어를 유창하게 사용하는 것만이 아닙니다.
언어는 중요한 부분이지만 지능 전체는 아닙니다.
제 감각으로는 지능의 20%나 25% 정도라고 볼 수도 있습니다.
아직 해야 할 일이 훨씬 많습니다.
최종적으로 만들고 싶은 지능
진행자:결국 나무를 타는 법부터 우주선을 만드는 법까지 모두 배울 수 있는 하나의 거대한 마음을 만들려는 겁니까?
리처드 서튼:
하나의 마음이라기보다는 하나의 설계입니다.
같은 기본 구조를 가진 여러 개의 마음이 존재하게 될 겁니다.
각각은 서로 다른 환경에서 서로 다른 경험을 하고, 따라서 서로 다른 지식을 갖게 됩니다.
쿠람 자베드:
Big World Hypothesis로 돌아갑니다.
세계에는 배울 것이 사실상 무한히 많습니다.
하나의 시스템이 모든 것을 배울 수는 없습니다.
그리고 두 개의 매우 복잡한 AI가 있다면 한 시스템이 다른 시스템을 완벽하게 모델링하는 것조차 불가능합니다.
따라서 미래에는 모든 것을 아는 하나의 AI라기보다는,
같은 학습 원리를 갖고 각자의 경험에서 계속 발전하는 여러 지능
이 존재하게 될 가능성이 큽니다.
인터뷰 전체를 한 문장으로 압축하면
리처드 서튼:지금 AI는 엄청난 양을 배우지만, 정작 세상에 나온 뒤에는 배우는 것을 멈춥니다.
제가 만들고 싶은 AI는 학습이 끝난 모델이 아니라, 세상 속에서 행동하고 경험하고 새로운 개념을 만들고 자신의 세계모델을 수정하면서 계속 성장하는 지능입니다.
전체 0