인터뷰/예측
제리 트워렉 "인간 AI 연구자가 의미 있는 역할을 하는 기간은 적어도 약 2년"
작성자
작성일
2026-08-26 19:19
조회
4
1. “지금 우리는 3세대 AI 연구소의 시대에 들어가고 있습니다”
Q. 지금 Core Automation에서는 무엇을 만들고 있나요?제리 트워렉:
저희는 새로운 종류의 AI 연구소를 만들고 있습니다. 저는 지금이 AI 연구소의 3세대가 시작되는 시기라고 생각합니다.
1세대는 DeepMind와 OpenAI 같은 연구소였습니다. 당시에는 대규모 AI가 실제로 가능한지도 몰랐습니다. 우리가 가진 생각은 단순했습니다.
“AGI를 만들고 싶다. 어떻게 만드는지는 모르지만 연구하면서 알아내자.”
그다음 2세대는 GPT-3 이후 등장했습니다. GPT-3를 통해 컴퓨트를 대규모로 투입하면 지능을 실제로 확장할 수 있다는 것이 확인됐습니다. Anthropic 같은 회사가 대표적인 사례입니다.
그리고 지금은 reasoning 모델과 에이전트가 성공하면서 3세대가 시작됐습니다. 이제는 AI를 단순히 연구 대상이나 제품으로 사용하는 것이 아니라, AI 자체를 이용해서 AI 연구를 수행하는 연구소를 만들 수 있습니다.
제가 Core Automation에서 하고 싶은 것도 바로 이것입니다. 이전 세대 연구소가 힘들게 개발해야 했던 여러 도구와 모델이 이미 존재하는 상태에서 회사를 시작합니다. 그래서 처음부터 automation-first, agent-native AI lab을 설계할 수 있습니다.
2. “AI 연구에서 가장 중요한 것은 실험 속도를 극단적으로 높이는 것입니다”
Q. 연구 과정 중 정확히 어느 부분을 자동화하려는 건가요?제리:
거의 모든 부분입니다.
AI 연구소가 궁극적으로 생산하는 것은 통찰(insight)과 지식입니다. 더 좋은 모델을 훈련하려면 어떤 방법이 좋은지 알아내야 하죠.
저는 이것을 하나의 계산 과정으로 생각합니다.
컴퓨트를 넣으면 → 새로운 통찰이 나온다.
그렇다면 질문은 아주 단순해집니다.
“같은 컴퓨트로 어떻게 더 많은 통찰을 얻을 것인가?”
그리고 그것을 위해 가장 중요한 것 중 하나가 단위 시간당 실행하는 실험 수를 늘리는 것입니다.
현재는 사람이 연구 방향과 가설을 정하는 경우가 많습니다. 저는 아직 에이전트가 완전히 열린 문제에서 좋은 연구 가설을 만드는 데 아주 뛰어나다고 생각하지 않습니다.
하지만 에이전트는 명확하게 지시된 일을 실행하는 데는 굉장히 좋습니다.
예를 들어 원래 한 달 걸리던 실험을 하루 만에 수행할 수 있게 만든다면, 단순히 그것만으로도 연구 속도가 약 30배 빨라집니다.
제가 지금 당장 기대하는 자동화는 인간 연구자를 없애는 것이 아니라,
인간이 아이디어를 낸다 → AI가 구현한다 → 실험한다 → 결과를 가져온다 → 인간이 다음 아이디어를 정한다
이 루프를 극단적으로 빠르게 만드는 것입니다.
3. “인간 AI 연구자가 의미 있는 역할을 하는 기간은 적어도 약 2년이라고 봅니다”
Q. 인간 연구자는 언제까지 연구 과정에 필요할까요?제리:
제 대략적인 추정으로는 적어도 앞으로 약 2년 동안은 인간 연구자가 AI 연구 발견 과정에서 의미 있는 역할을 할 것이라고 생각합니다.
AI 연구자들끼리 요즘 농담처럼 이런 말을 하기도 합니다.
“우리에게 일할 날이 얼마 안 남았으니 일할 수 있을 때 열심히 하자. 그러고 나면 다 같이 쉬자.”
AI 산업의 변화 속도는 정말 빠릅니다. 오랫동안 이 분야에서 일하는 것은 육체적으로도 정신적으로도 굉장히 피곤합니다.
그렇지만 지금이 우리 경력에서 가장 중요한 시기 중 하나라고 생각한다면, 이 힘든 시기를 감수할 가치도 있다고 봅니다.
현재 AI 에이전트에는 중요한 문제가 있습니다.
에이전트가 연구 아이디어를 많이 생성할 수는 있습니다. 창의적으로 보이기도 합니다. 하지만 아이디어의 평균 품질이 낮습니다.
10년 동안 어떤 분야를 연구한 인간 전문가가 가지고 있는 깊은 직관, 연구 맥락, 무엇이 중요한 문제인지에 대한 감각을 현재 모델은 갖지 못하고 있습니다.
4. “그렇지만 약 2년 후에는 AI 연구 전체가 자동화될 수 있다고 봅니다”
Q. 그러면 2년 뒤에는 AI 연구 루프 전체가 자동화된다고 보는 건가요?제리:
네.
상당히 공격적인 타임라인이라는 것은 알고 있습니다.
하지만 2년 전인 2024년을 생각해 보세요. 당시 최고의 모델은 GPT-4o나 Claude 3.5 Sonnet 정도였습니다. 지금과 비교하면 수학과 프로그래밍 능력에는 엄청난 변화가 있었습니다.
앞으로의 발전에는 두 가지 경로가 있습니다.
하나는 현재 방법을 계속 스케일링하는 것, 다른 하나는 앞으로 2년 동안 새로운 연구적 발견이 나오는 것입니다.
특히 중요한 것은 경제적 인센티브입니다.
왜 모델이 창작 글쓰기보다 프로그래밍에서 훨씬 빠르게 좋아졌을까요?
그 이유 중 하나는 연구적으로 프로그래밍만 특별히 쉬워서가 아닙니다.
AI 연구소 입장에서 프로그래밍과 지식 노동 자동화에 엄청난 경제적 가치가 있기 때문입니다.
훈련 비용은 매우 큽니다. 연구소들은 생존을 위해 냉정하게 자원을 배분합니다.
그래서 발전 속도가 느린 분야를 보고 반드시 “AI의 능력 한계”라고 생각하면 안 됩니다. 때로는 단순히 그 분야에 충분한 훈련비를 지출할 경제적 이유가 없기 때문일 수 있습니다.
5. “프론티어 AI에서는 컴퓨트가 전략적 자원입니다”
Q. 그렇다면 작은 신생 AI 연구소가 OpenAI나 Anthropic과 어떻게 경쟁하나요?제리:
컴퓨트가 굉장히 중요하다는 것은 부정할 수 없습니다.
실제로 충분한 컴퓨트를 가진 대형 연구소가 완전히 경쟁에서 탈락한 사례는 아직 많이 보지 못했습니다.
컴퓨트는 일종의 전략적 자원입니다. 충분한 컴퓨트가 있으면 인재를 불러오고 연구를 다시 활성화할 수도 있습니다.
Anthropic도 처음에는 작은 신생 연구소였지만 결국 엄청난 규모의 컴퓨트를 확보했습니다.
제가 회사를 시작한 뒤에도 일주일에 한 번꼴로 이런 이야기를 듣습니다.
“제리, 너무 늦었어. 다른 회사보다 컴퓨트가 너무 적잖아. 이제 문은 닫혔어.”
하지만 저는 그렇게 생각하지 않습니다.
Anthropic도 해냈습니다.
우리 회사에서는 이런 말을 좋아합니다.
“Everything is a skill issue.”
우리가 일을 정말 잘한다면 스케일링할 길과 컴퓨트를 확보할 방법도 찾을 수 있다고 생각합니다.
제가 OpenAI에 있는 동안에도, 처음에는 불가능하게 보이던 규모의 컴퓨트를 결국 확보해내는 것을 여러 번 봤습니다.
물론 성공이 보장된다는 뜻은 아닙니다. 원래 어려운 일입니다.
6. “다른 회사와 똑같이 트랜스포머를 만드는 건 패배하는 전략입니다”
Q. Core Automation은 왜 새로운 신경망 아키텍처를 연구하나요?제리:
이게 아마 저희 회사의 가장 contrarian한 주장일 겁니다.
지금 회사를 만들어서 연구자를 고용하고,
“우리도 OpenAI나 Anthropic처럼 똑같은 Transformer를 훈련하자.”
라고 하는 것은 상당히 나쁜 전략이라고 생각합니다.
그들은 이미 그 일을 너무 잘하고 있습니다.
저는 기술의 역사를 생각합니다.
최초의 비행기가 만들어지고 5년 뒤의 비행기와 오늘날 비행기가 똑같습니까?
최초의 컴퓨터와 오늘날 컴퓨터가 똑같습니까?
물론 기본 원리는 이어지지만, 특히 기술의 초창기에는 구체적인 구조가 매우 빠르게 바뀝니다.
저는 현재 AI 발전을 더 빠르게 만드는 데 있어 하나의 중요한 병목이 아키텍처 자체, 즉 Transformer일 가능성이 있다고 생각합니다.
Transformer는 엄청나게 성공적인 구조입니다.
하지만 그것이 최적이라고 생각하는 것은 매우 이상합니다.
더 많은 컴퓨트를 효율적으로 받아들이면서 Transformer가 어려워하는 것을 해낼 수 있는 더 좋은 아키텍처가 존재할 가능성이 높다고 생각합니다.
7. “제 진짜 목표는 테스트 타임에 계속 학습하는 모델입니다”
Q. 그러면 새로운 아키텍처의 목표가 무엇인가요?제리:
아키텍처는 사실 수단입니다.
제가 생각하는 더 큰 North Star는 다음과 같습니다.
테스트 타임에도 학습하는 모델.
사용자와 상호작용하면서 배우고, 사용자의 데이터에서 배우며, 실제로 사용되는 동안 계속 학습하는 모델입니다.
저희는 이것을 제대로 구현하려면 새로운 아키텍처가 필요할 가능성이 있다고 보고 있습니다.
8. “과거에 새로운 아키텍처가 실패한 이유 중 하나는 실험 비용이 너무 컸기 때문입니다”
Q. Transformer를 대체하려는 시도는 과거에도 많았는데 거의 실패하지 않았나요?제리:
맞습니다.
그래서 저희가 하려는 일은 단순히 “Transformer가 나쁘다”라고 주장하는 것이 아닙니다.
우리가 분석하려는 것은 이것입니다.
- 왜 Transformer가 지금까지 살아남았는가?
- 다른 시도들은 왜 실패했는가?
- 우리가 탐색하지 않은 연구 경로는 무엇인가?
- 당시 실패한 이유가 구조적인 문제였는가, 아니면 연구 비용이나 구현 비용 때문이었는가?
과거 새로운 아키텍처를 시험하려면 비용이 어마어마했습니다.
OpenAI에서 제가 7년 정도 일했는데, 어떻게 세느냐에 따라 실제로 대규모 새로운 아키텍처를 제대로 시험한 횟수는 세 번이나 네 번 정도였을 수 있습니다.
왜 그렇게 적었을까요?
먼저 연구자가 작은 실험을 구현해야 합니다. 코딩부터 어렵습니다.
결과가 좋아 보이면 최소 몇 달 동안 추가 실험을 해야 합니다.
그다음 대규모로 스케일링해야 합니다.
그러려면 10명 정도의 연구자가 그 아이디어를 믿도록 설득해야 할 수도 있습니다.
그리고 그 사람들이 다시 3~6개월을 투자합니다.
결국 대부분의 새로운 아이디어가 기존 Transformer의 강력한 모멘텀에 밀리거나, 일부만 Transformer에 흡수됩니다.
그런데 에이전트가 이 과정의 마찰을 크게 줄인다면 이야기가 달라집니다.
새 아키텍처를 훨씬 많이, 훨씬 빠르게 실험할 수 있기 때문입니다.
9. “지금까지 의미 있게 성공한 것은 Transformer와 diffusion 정도입니다”
Q. 구체적으로 어떤 Transformer 대체 아키텍처를 연구하고 있나요?제리:
그건 회사의 IP라 구체적으로 말씀드릴 수 없습니다.
다만 최근 실제로 의미 있게 사용된 모델의 큰 계열을 보면 두 가지 정도가 있다고 볼 수 있습니다.
- Transformer
- Diffusion model
저희가 찾는 것은 연구 커뮤니티가 제대로 탐색하지 않았던 경로입니다.
사람들이 지나친 아이디어가 무엇인지, 어떤 기본 원리들의 새로운 조합이 실제로 효율적이고 가치 있는 시스템이 될 수 있는지를 찾고 있습니다.
10. “AI는 기존 회사를 조금 더 효율적으로 만드는 수준에 머물지 않을 것입니다”
Q. 앞으로 AI가 경제를 어떻게 바꿀까요?제리:
지금의 AI 도입 수준은 미래와 비교하면 사실상 거의 아무것도 아닌 수준이라고 생각합니다.
그런데도 이미 AI 기업들은 역사상 가장 빠르게 성장하는 기업 중 일부가 됐습니다.
저는 농담처럼 사람도 일종의 neocloud라고 이야기한 적이 있습니다.
우리 머릿속에는 계산을 수행하는 칩 같은 것이 있고, 기업은 돈을 지불하고 우리의 계산 능력을 빌립니다.
지식 노동 경제가 큰 이유도 인간의 정보 처리 능력이 그만큼 가치 있기 때문입니다.
인간의 뇌는 애초에 프로그래밍이나 체스를 하기 위해 진화하지 않았습니다.
나무를 오르고, 먹이를 찾고, 포식자를 피하는 환경에서 진화했습니다.
그런 하드웨어를 가지고 우리가 프로그래밍까지 한다는 것이 오히려 놀라운 일입니다.
반대로 AI는 프로그래밍이 경제적으로 매우 가치 있기 때문에 엄청난 자원으로 프로그래밍 능력을 최적화할 수 있습니다.
11. “기업은 거대한 분산 정보처리 시스템이고, AI는 그 구조 자체를 바꿀 것입니다”
제리:저는 회사를 일종의 분산 정보처리 시스템으로 봅니다.
회사에는 수많은 사람이 있고 매일 이런 질문을 처리합니다.
“고객을 어떻게 더 잘 서비스할까?”
“프로세스를 어떻게 개선할까?”
“무엇을 생산해야 할까?”
“어떤 결정을 내려야 할까?”
결국 경제의 많은 부분은 입력을 받아서 더 가치 있는 출력으로 바꾸는 과정입니다.
그런데 인간 조직에는 관료주의가 있습니다.
정보가 여러 계층을 통과하면서 느려지고 왜곡됩니다.
AI가 기업 안으로 깊게 들어오면 이런 마찰을 상당 부분 없앨 수 있습니다.
저는 결국 AI가 단순히 직원 개인의 생산성을 조금 높여주는 도구에 머무르지 않고, 기업이 운영되는 방식 자체를 최적화하게 될 것이라고 생각합니다.
12. “Alignment는 이미 현재 모델에서도 발생하는 문제입니다”
Q. 계속 학습하고 특정 목표를 강하게 최적화하는 AI라면 alignment 문제가 더 심해지지 않을까요?제리:
저는 오늘날의 모델조차 완전히 잘 행동한다고 생각하지 않습니다.
인터뷰에서 언급한 Hugging Face 관련 사건 같은 것을 보면, 현재 모델에서도 문제가 나타납니다.
그리고 많은 경우 핵심은 환경 설계와 인센티브입니다.
잘못 설계된 환경에서 reward hacking이 가능하다면 AI는 reward hacking을 배웁니다.
학교에서 부정행위를 하면 더 좋은 성적을 받도록 제도가 만들어져 있다면 학생들이 부정행위를 배우는 것과 비슷합니다.
결국 인센티브가 중요합니다.
Alignment는 어려운 문제입니다.
하지만 좋은 점은 아직 대부분의 AI가 실제 세상의 중요한 시스템을 직접 통제하고 있지는 않다는 것입니다.
현재는 대부분 인간이 운전석에 앉아 있습니다.
“내가 원하는 것은 이것이니 이걸 해줘.”
라고 AI에 지시합니다.
13. “Alignment라는 말에는 항상 ‘누구에게 정렬하는가?’라는 문제가 있습니다”
제리:더 어려운 장기적 문제는 이것입니다.
Alignment to whom? 누구에게 정렬할 것인가?
한 사람이 AI에게 무언가를 요구했는데 다른 사람에게는 매우 해로운 행동이라면 어떻게 해야 할까요?
이 문제는 오픈소스 논쟁과도 연결됩니다.
누군가 open weights 모델을 가지고 자유롭게 fine-tuning할 수 있다면 그 사람은 AI를 자기 자신에게 정렬할 수 있습니다.
그것이 좋은 것인지 나쁜 것인지는 단순하지 않습니다.
결국 AI는 인간이 만드는 것이고, 우리가 무엇을 훈련시키느냐에 따라 행동이 달라집니다.
그래서 실제로 배포되는 AI에는 반드시 monitoring과 여러 층의 검증 시스템이 있어야 한다고 생각합니다.
AI가 사흘 동안 기업을 해킹하고 있었는데 나중에야 발견했다는 식의 상황은 절대 정상적인 운영 방식이 되어서는 안 됩니다.
14. “인간에게 완벽한 가치 정렬이 없는데 AI에 하나의 가치만 요구하기도 어렵습니다”
Q. 하나의 객관적인 alignment가 아니라 여러 가치관의 AI가 존재할 수도 있을까요?제리:
제가 살아오면서 인간 사이에서도 완벽한 alignment를 본 적이 없습니다.
사람들에게 무엇을 원하는지 물어보면 모두 조금씩 다른 대답을 합니다.
물론 안전하게 살고 싶다거나, 충분히 먹고 싶다거나, 친구를 갖고 싶다는 식의 상당히 보편적인 가치들은 있습니다.
하지만 정치관도 다르고 미래에 대한 생각도 다릅니다.
그래서 AI 역시 어느 정도는 plural values, 즉 다양한 가치관과 관점을 가진 형태가 되는 것이 자연스러울 수 있습니다.
사람들이 서로 다른 관점을 가진 AI를 사용할 수도 있겠죠.
다만 제가 훨씬 두려워하는 것은 AI가 인간 심리를 이해한 뒤 그것을 자신에게 유리하게 이용하는 상황입니다.
저는 이것이 여전히 가능한 일종의 Black Mirror 시나리오라고 생각합니다.
AI를 개발하는 사람들은 이 문제를 매우 조심스럽게 다뤄야 합니다.
15. “세계 최고 수준의 AI를 완전히 이해하는 사람은 극소수입니다”
Q. 대형 AI 연구소도 사실 핵심 연구자가 몇 명이고 나머지가 그들을 지원하는 구조 아닌가요?제리:
대체로 맞습니다.
전체 AI 시스템을 end-to-end로 이해하는 사람은 전 세계에 매우 적습니다.
실제 연구 조직에는 방향을 결정하는 핵심 인물이 있고, 그 주변에 그것을 실행하는 거대한 조직이 존재합니다.
문제는 조직이 커질수록 정보 전달이 어려워진다는 것입니다.
정보가 여러 계층의 hierarchy를 통과해야 하면 메시지가 점점 단순해져야 합니다.
또 하나의 문제가 있습니다.
조직 규모가 커질수록 가장 뻔한 아이디어로 수렴하기 쉬워집니다.
수십 명이나 수백 명에게 아주 contrarian한 연구 방향을 설득하는 것은 어렵기 때문입니다.
반면 소수의 사람이 AI 에이전트 수백·수천 개에게 매우 구체적인 작업을 지시할 수 있다면 조직의 구조 자체가 달라질 수 있습니다.
그래서 저는 앞으로 frontier 연구의 중요한 부분이 소수의 뛰어난 인간 + 수많은 매우 능력 있는 AI 에이전트 형태로 나타날 가능성이 있다고 봅니다.
16. “오히려 대기업부터 자동화될 가능성도 있습니다”
Q. 작은 스타트업부터 완전 자동화되고 대기업은 늦게 자동화되지 않을까요?제리:
반대로 생각할 수도 있습니다.
신기술을 도입할 때는 언제나 어디에서 가장 큰 가치를 얻을 수 있는지가 중요합니다.
대기업은 관료주의가 가장 큽니다.
조직 계층을 따라 정보를 전달하는 어려움도 훨씬 큽니다.
그래서 AI가 제거할 수 있는 비효율의 절대량도 대기업에서 더 클 수 있습니다.
오늘날 관점에서는 완전 자동화 기업이라는 것이 공상과학처럼 들립니다.
하지만 인류가 AI를 잘 활용하고 우리가 가진 것을 파괴하지 않는다는 전제 아래에서는, 저는 자동화된 기업이 긍정적인 미래의 자연스러운 모습 중 하나라고 생각합니다.
17. “우리가 일하지 않으면 세상이 멈춘다는 전제는 반드시 필요한 것이 아닙니다”
제리:인류는 수십만 년 동안 환경을 바꾸면서 살아왔습니다.
동물을 길들였고, 집을 만들었고, 광물을 캐고 금속을 제련했습니다.
케이블을 깔고 정보처리 인프라를 만들었습니다.
그러면서 삶이 더 쉬워지고, 안전해지고, 건강해지고, 먹을 것도 풍부해졌습니다.
AI 자동화도 이 긴 흐름의 연장선이라고 봅니다.
예를 들어 전 세계 광산이 자율적으로 운영되어 우리가 필요한 자원을 알아서 공급한다면 어떨까요?
우리가 사용하는 모든 소프트웨어가 자동으로 개선되고, 버그가 자동으로 수정되고, 사람들이 원하는 기능이 알아서 구현된다면요?
누군가가 밤을 새우거나 가족 행사를 놓치면서 그 일을 할 필요가 없어질 수도 있습니다.
결국,
“우리가 계속 노동하지 않으면 세상이 돌아가지 않는다.”
라는 것은 반드시 유지되어야 하는 전제가 아닙니다.
18. “Post-AGI 시대에도 인간은 위대함을 추구할 수 있습니다”
Q. 노동이 필요 없어지면 인간은 무엇을 하나요?제리:
저도 가끔 그걸 상상합니다.
조금 제 취향이 반영된 상상일 수도 있지만, 한 가지 모습은 고대 그리스 철학자처럼 사는 것입니다.
사람들이 광장에 모여 하루 종일 철학을 이야기하고, 운동하고, 자신이 하고 싶은 것을 하고, 올리브를 먹고 와인을 마시는 삶이죠.
또 다른 방식은 고등학교나 대학 같은 삶일 수도 있습니다.
경제적으로 반드시 해야 하는 일이 없어도 인간에게는 여전히 위대함을 추구하는 활동이 있을 수 있습니다.
육체적으로 더 강해지고 싶을 수도 있고, 지적으로 더 뛰어나고 싶을 수도 있습니다.
프로 스포츠가 좋은 사례입니다.
프로 스포츠가 인류 생존을 위해 필요한 것은 아닙니다.
그래도 인간은 스스로 한계를 넘어서기 위해 경쟁합니다.
Post-AGI 세계에서도 이런 인간적 추구는 계속될 수 있다고 생각합니다.
다만 차이는, 우리가 그것을 하지 않는다고 해서 경제와 문명 전체가 멈추지는 않는 세계가 된다는 것입니다.
19. “대규모 강화학습은 오래전부터 AGI로 가는 필수 요소라고 생각했습니다”
Q. 당신은 OpenAI에서 o1, o3 등 reasoning 모델 개발을 이끌었습니다. 그 돌파구는 어떻게 나왔나요?제리:
저뿐 아니라 OpenAI의 여러 사람들은 아주 오래전부터 large-scale reinforcement learning이 AGI로 가는 데 필수적인 요소라고 생각했습니다.
문제는 방법을 몰랐다는 것입니다.
제가 OpenAI에 들어간 이유 중 하나도 DeepMind의 DQN과 Atari 강화학습 결과를 봤기 때문입니다.
“나는 이런 일을 하고 싶다.”
라고 생각했습니다.
2019년 초 OpenAI에서 Ilya가 연구 방향에 대해 이야기하는 것을 들었는데, 그는 대략 이런 로드맵을 제시했습니다.
- 가능한 모든 데이터로 거대한 생성 모델을 훈련한다.
- 그 위에 강화학습을 적용한다.
그 당시부터 이미 오늘날까지 이어지는 방향을 보고 있었습니다.
20. “GPT-3 직후에도 RL을 붙이려고 했지만 당시에는 필요한 요소가 없었습니다”
제리:GPT-3가 훈련되기 시작했을 때 제가 가장 먼저 해본 것 중 하나가,
“이 모델에 강화학습을 어떻게 적용하지?”
였습니다.
초기의 Codex도 언어 모델과 reinforcement learning에 대한 실험 과정에서 나온 결과 중 하나였습니다.
하지만 당시에는 스케일링할 수 없었습니다.
우리에게는
- 적절한 데이터가 없었고,
- 알고리즘이 부족했고,
- 적절한 환경과 시스템도 없었습니다.
“무엇이 빠져 있지?”
“환경은 어떻게 만들어야 하지?”
“알고리즘은 어떻게 해야 하지?”
이 질문들을 계속 탐색했습니다.
당장 엄청난 결과가 나오지는 않았지만 가끔 가능성을 보여주는 작은 신호들이 나타났습니다.
특히 프로그래밍은 강화학습과 매우 잘 맞았습니다.
코드에는 결과가 맞았는지 틀렸는지를 비교적 명확하게 판단할 수 있는 reward가 존재하기 때문입니다.
21. “결정적인 순간은 ‘이걸 스케일해보자’며 GPU를 배정받았을 때였습니다”
제리:그러다가 어느 순간 정말 마법 같은 순간이 왔습니다.
아직 결과가 엄청나지는 않았지만 something was alive, 무언가가 실제로 작동할 수도 있다는 신호가 보였습니다.
그때 연구 리더십에서,
“GPU를 줄 테니 이걸 더 크게 스케일할 수 있는지 알아보자.”
라는 결정을 내렸습니다.
연구에는 항상 닭과 달걀 문제가 있습니다.
좋은 결과를 먼저 보여줘야 컴퓨트를 받을 수 있지만, 좋은 결과를 만들려면 먼저 컴퓨트가 필요합니다.
그래서 연구소에서 compute allocation을 둘러싼 경쟁이 항상 존재합니다.
그런 상황에서 리더십이
“이 방향에 꽤 큰 컴퓨트를 한번 투입해 보자.”
라고 말해주는 것이 결정적인 계기가 될 수 있습니다.
그 순간 팀 전체의 에너지가 크게 올라갔습니다.
“좋아. 이제 정말 이걸 되게 만들어보자.”
라는 분위기가 만들어졌습니다.
22. “o-series는 한 번의 천재적 발명보다는 반복적인 스케일링의 결과였습니다”
제리:그 뒤부터 질문이 구체화됐습니다.
“어떤 데이터셋이 필요한가?”
“어떤 시스템이 필요한가?”
“알고리즘에서 빠진 부분이 무엇인가?”
“RL을 계속 스케일할 수 있다는 것을 증명하려면 어떤 실험이 필요한가?”
하나의 실험 결과가 나오면 그 결과가 다음 실험을 알려줬습니다.
그 결과가 다시 다음 실험을 만들었습니다.
연구는 일반적으로 이런 식으로 iterative합니다.
그러면서 점점 더 많은 컴퓨트를 reinforcement learning에 투입했고, 결국 RL 스케일을 여러 자릿수(orders of magnitude)에 걸쳐 키울 수 있었습니다.
그 과정이 오늘날 o-series reasoning 모델로 이어졌습니다.
그래서 o1/o3의 탄생은 단 하나의 비밀 알고리즘이 어느 날 갑자기 등장했다기보다는,
오랫동안 믿어온 RL 방향 + 여러 실패 + 작은 성공 신호 + 컴퓨트 배정 + 반복 실험 + 대규모 스케일링
이 결합되면서 만들어졌다고 보는 것이 맞습니다.
23. “Core Automation에서 궁극적으로 만들고 싶은 제품은 ‘자동화 기업의 설계도’입니다”
Q. Core Automation에서는 궁극적으로 어떤 제품이 나오게 될까요?제리:
이 질문에 대한 제 이상적인 대답은,
“자동화 기업을 만드는 blueprint.”
입니다.
우선 우리 회사 자체를 세계에서 가장 자동화된 회사로 만들고 싶습니다.
그리고 우리가 실제로 사용하면서 성공한 방식들을 다른 기업에도 제공하고 싶습니다.
“우리가 이렇게 회사를 만들었습니다.”
“이 시스템이 실제로 효과가 있었습니다.”
“이걸 적용하면 여러분 회사에서도 AI를 훨씬 효율적으로 사용할 수 있습니다.”
라고 말할 수 있는 회사가 되고 싶은 겁니다.
저는 AI labor가 아마 역사상 가장 큰 시장이 될 수도 있다고 생각합니다.
그리고 저는 개인을 위한 AI보다 company-level AI 쪽에 더 관심이 있습니다.
24. “제가 만들고 싶은 것은 ‘Company Brain’입니다”
제리:제가 장기적으로 상상하는 것은 일종의 company brain입니다.
기업 내부의 모든 정보를 중앙화하고, 사람들이 그 회사 AI에 연결되는 것입니다.
직원은 일종의 terminal처럼 회사 AI와 연결됩니다.
그러면 기업 전체의 지식과 정보, 의사결정 프로세스가 AI를 중심으로 돌아갈 수 있습니다.
그래서 인터뷰 마지막에 나온 표현이 제가 하려는 일을 아주 잘 설명합니다.
“The company is the product.”
회사를 자동화하기 위한 제품을 만드는 것뿐 아니라, 우리 회사 자체가 완전 자동화 기업의 프로토타입이 되는 것입니다.
이 인터뷰에서 제리 트워렉의 핵심 주장을 압축하면
제리의 전체 이야기를 하나의 흐름으로 연결하면 이렇습니다.지금의 AI 발전은 단순히 더 좋은 챗봇을 만드는 단계에서, AI가 AI 연구 자체를 가속하는 단계로 넘어가고 있다.
현재는 인간 연구자가 연구 방향과 고급 가설을 제시하고 AI 에이전트가 실험 실행을 자동화하는 단계이지만, 제리는 약 2년 정도를 인간 연구자가 AI 연구에 의미 있게 참여할 수 있는 기간으로 추정합니다. 그 이후에는 AI 연구 루프 전체가 자동화되는 시나리오도 가능하다고 봅니다.
그리고 그 변화는 단순히 “OpenAI 연구원이 AI로 대체된다”로 끝나는 이야기가 아닙니다.
AI 연구 자동화 → 더 빠른 AI 개선 → 더 강한 에이전트 → 기업 자동화 → 지식 노동 자동화 → 회사 자체가 AI 기반 정보처리 시스템으로 전환
이라는 훨씬 큰 흐름입니다.
동시에 제리는 현재 Transformer가 AI의 최종 아키텍처라고 보지 않습니다. 특히 test-time learning·continual learning에 적합한 새로운 아키텍처가 등장할 가능성을 중요한 연구 베팅으로 보고 있고, 역설적으로 AI 코딩 에이전트가 새로운 아키텍처를 탐색하는 비용을 크게 낮춤으로써 과거에는 현실적으로 불가능했던 대규모 아키텍처 탐색을 가능하게 만들 수 있다고 봅니다.
그래서 이 인터뷰에서 가장 중요한 문장은 사실 처음에 나온 “인간 AI 연구자가 의미 있는 역할을 하는 시간이 약 2년 남았다”는 주장입니다. 이는 단순히 AGI가 2년 뒤 나온다는 선언이라기보다, AI 연구 자체가 AI에 의해 자동화되는 시점이 매우 가까울 수 있다는 제리의 연구 가설에 가깝습니다.
그리고 그 가설이 맞다면, 제리가 말하는 3세대 AI 연구소는 “AI 모델을 만드는 회사”가 아니라 AI가 스스로 연구·실험 속도를 높여가는 회사가 됩니다. 이것이 Core Automation의 가장 핵심적인 베팅입니다.
전체 0