인터뷰/예측
제리 트워렉 "agi는 분명히 오고 있다"
작성자
작성일
2026-07-24 12:01
조회
21
AI 평가의 시대는 끝났는가
제리 트워렉 인터뷰 상세 정리
Codex, o1·o3, 테스트 타임 컴퓨트, 지속학습과 자동화된 AI 연구소
인터뷰이: 제리 트워렉(Jerry Tworek)현재: Core Automation 창업자·CEO
이전 경력: OpenAI 연구자, Codex 초기 개발 참여, o1·o3 계열 추론 모델 및 강화학습 스케일링 연구
인터뷰 핵심 요약
제리 트워렉의 주장은 크게 다음과 같이 정리할 수 있다.- AI 연구에서 가장 중요한 능력은 모델을 맹신하지 않고 끊임없이 의심하는 태도다.
- 코딩은 언어 모델이 실제로 추론하는지를 검증하기 좋은 최초의 분야였다.
- 고정된 벤치마크 중심의 ‘평가(Eval) 시대’는 사실상 끝났다.
- 모델의 진짜 성능은 현실에 배포한 뒤 실제 업무를 얼마나 자동화하는지로 측정해야 한다.
- o1과 같은 추론 모델의 자기 수정·재검토 행동은 사람이 직접 설계한 것이 아니라 강화학습 과정에서 모델이 발견한 전략이다.
- o3와 같은 도구 사용형 모델의 발전은 알고리즘보다 대규모 분산 시스템 엔지니어링의 성과에 가깝다.
- 긴 컨텍스트와 외부 메모리만으로는 진정한 지속학습을 구현할 수 없다.
- Transformer는 추론 중에 의미 있게 학습하지 못하므로, 장기적으로 새로운 아키텍처가 필요하다.
- 기업별로 지속학습하는 로컬 모델이 현재의 파인튜닝을 대체할 수 있다.
- 향후 5년 안에 인간의 일하는 방식은 지금과 알아보기 어려울 정도로 변할 가능성이 있다.
1. 트레이딩 경험이 AI 연구에 가르쳐준 것
인터뷰어
OpenAI에 합류하기 전 암스테르담의 퀀트 트레이딩 회사에서 약 5년 동안 일했습니다.트레이딩이 일반적인 머신러닝 연구자들은 잘 배우지 못하는 어떤 능력을 가르쳐줬습니까?
제리 트워렉
트레이딩이 가르쳐준 가장 중요한 교훈은 자신이 만든 알고리즘을 극도로 의심하는 태도입니다.트레이딩 알고리즘도 머신러닝 시스템과 비슷합니다. 수많은 숫자와 데이터를 입력받아 마지막에 하나의 숫자나 행동을 출력합니다. 문제는 시스템 내부에서 무언가 잘못되더라도, 겉으로는 단지 잘못된 숫자 하나만 나타날 수 있다는 것입니다.
그 숫자로 인해 매수해야 할 때 매도하거나, 반대로 매도해야 할 때 매수할 수 있습니다. 그리고 그 실수는 막대한 금전적 손실로 이어질 수 있습니다.
따라서 훌륭한 트레이더가 되려면 다음을 정확히 알아야 합니다.
- 알고리즘이 실제로 어떻게 작동하는가
- 내가 의도한 행동을 하고 있는가
- 입력 데이터에 오류가 없는가
- 성과가 진짜 신호 때문인가, 우연이나 버그 때문인가
이런 경험 때문에 OpenAI에서 연구를 시작했을 때도 저는 신경망 내부, 학습 알고리즘, 하이퍼파라미터를 모두 의심했습니다. 무엇이 일어나고 있는지 이해하기 위해 모든 것을 두 번, 세 번 확인했습니다.
이러한 편집증에 가까운 검증 습관은 AI 연구에서 일종의 초능력이었습니다.
앞으로 AI가 연구 업무의 많은 부분을 자동화하더라도, 자신이 다루는 시스템에 대한 이해 자체는 모델에게 외주화할 수 없습니다.
2. 트레이딩 출신 연구자들이 AI에서 강한 이유
인터뷰어
실제로 뛰어난 AI 연구자 중에는 트레이딩 출신이 많습니다. 명확한 목표인 수익 극대화를 추구하는 환경이 연구에도 도움이 됩니까?제리 트워렉
트레이딩은 좋은 연구 환경입니다. 물론 완벽하지는 않습니다.트레이딩에는 몇 가지 어려움이 있습니다.
- 신호 대비 잡음이 매우 크다.
- 강화학습은 샘플 효율이 낮다.
- 의사결정의 결과가 즉시 나타나지 않을 때가 많다.
- 전략을 평가하려면 오랜 시간을 기다려야 할 수 있다.
저도 2018년에 선택의 기로에 있었습니다.
- AI 연구소에 들어가 AI를 프로그래밍과 연구에 적용할 것인가
- 강화학습을 트레이딩에 적용할 것인가
3. 수학적 사고가 최전선 AI 연구에서 쓰이는 방식
인터뷰어
본인을 “본질적으로 수학자”라고 표현한 적이 있습니다. 오늘날 최전선 AI 연구에서 수학적 감각은 어디에 나타납니까?제리 트워렉
많은 부분이 제1원리에서 사고하는 능력과 관련돼 있습니다.수학은 추상화의 언어입니다. 인간 수학자들은 복잡한 대상을 다루기 위해 추상화를 층층이 쌓습니다. 그렇게 하면 매우 복잡한 구조도 비교적 간단한 개념으로 표현하고 조작할 수 있습니다.
수학에서는 모든 것이 엄밀해야 합니다.
- 논증을 검증할 수 있어야 한다.
- 논리 규칙을 따라야 한다.
- 추상적인 대상도 형식적으로 정의돼야 한다.
- 결론이 어떤 전제로부터 나왔는지 추적할 수 있어야 한다.
예를 들어 다음과 같은 질문을 던질 수 있습니다.
- 우리는 실제로 무엇을 계산하고 있는가?
- 그 계산은 어떤 순환 구조를 갖는가?
- 시스템의 입력과 출력은 무엇인가?
- 모델이 특정 능력을 보이는 이유는 무엇인가?
- 모델이 어떤 문제를 해결하지 못하는 이유는 무엇인가?
다만 AI 모델이 수학 연구를 본격적으로 장악하기 시작하면, 기계가 수행하는 수학은 인간의 수학과 상당히 다른 모습이 될 가능성이 있습니다.
인간은 한 번에 머릿속에 유지할 수 있는 대상이 제한돼 있어 추상화의 탑을 쌓습니다. 반면 모델은 훨씬 많은 대상을 동시에 어텐션 안에 유지하고 조작할 수 있기 때문입니다.
4. OpenAI가 코딩을 최초의 핵심 분야로 선택한 이유
인터뷰어
OpenAI에서 코드 학습 연구를 시작했고 Codex의 주요 개발자였습니다. 왜 코딩을 첫 번째 핵심 분야로 선택했습니까? 데이터 때문이었습니까, 아니면 검증 가능성 때문이었습니까?제리 트워렉
지금 돌아보면 매우 좋은 결정이었지만, 당시 상황을 이해해야 합니다.당시는 GPT-2가 발표된 직후였습니다. GPT-2가 너무 강력해서 공개하기 위험할 수 있다는 논쟁도 있었습니다. 오늘날의 오픈웨이트 모델들은 GPT-2보다 비교할 수 없을 정도로 강력하지만, 당시에는 그 논쟁이 나름대로 의미가 있었습니다.
실제로 GPT-2가 할 수 있었던 것은 몇 문장 정도의 일관된 글을 작성하는 수준이었습니다.
이후 OpenAI 내부에서 GPT-3의 초기 능력을 보기 시작했습니다. GPT-3는 몇 개의 예시를 프롬프트로 주면 새로운 작업을 수행하는 퓨샷 러닝을 보여줬습니다. 당시에는 획기적으로 느껴졌지만, 지금 기준으로는 제한적인 능력이었습니다.
제가 느낀 문제는 언어 모델의 출력이 지나치게 모호하다는 점이었습니다.
모델이 몇 문장을 작성했을 때 다음을 판단하기 어려웠습니다.
- 그 문장이 실제로 의미가 있는가?
- 모델이 정말로 이해하고 있는가?
- 새로운 생각을 만들어낸 것인가?
- 학습 데이터에서 비슷한 표현을 재조합한 것에 불과한가?
- 단순한 ‘확률적 앵무새’인가?
그래서 코드를 선택했습니다.
코드는 결과가 비교적 분명합니다.
- 실행되는가?
- 올바른 값을 반환하는가?
- 테스트를 통과하는가?
- 문제의 개념을 정확히 구현했는가?
정확한 프로그램을 작성하려면 적어도 어느 정도는 문제의 개념을 이해해야 합니다. 따라서 코드는 모델이 진짜로 추론하고 있는지를 검증하는 수단이 될 수 있었습니다.
초기 연구도 “대규모 언어 모델이 코드를 얼마나 잘 작성하는가를 어떻게 평가할 것인가”라는 문제에서 시작됐습니다.
이 과정에서 모델 크기, 스케일링 법칙, 테스트 타임 컴퓨트, 분포 밖 문제에 대한 일반화 능력 등을 연구했습니다. 제가 대규모 언어 모델의 사고와 문제 해결 방식을 이해하게 된 상당 부분이 이 시기의 연구에서 나왔습니다.
5. HumanEval과 고정 벤치마크의 시대는 끝났는가
인터뷰어
HumanEval 같은 검증 가능한 벤치마크가 지난 5년간 AI 발전에 얼마나 중요한 역할을 했습니까?제리 트워렉
조금 도발적으로 말하자면, 평가(Eval)의 시대는 끝났다고 생각합니다.물론 과거에는 평가가 매우 중요했습니다.
HumanEval 초기 문제는 저와 동료들이 직접 방에 앉아 각각 수십 개씩 작성한 문제였습니다. 당시에는 모델이 이런 문제를 어떻게 해결하는지 알아보는 것 자체가 연구였습니다.
그 후 더 좋은 모델과 더 좋은 추론 기법이 등장하면서 성능이 계속 향상됐습니다. 약 1~3년 정도는 HumanEval 같은 벤치마크의 황금기였다고 볼 수 있습니다.
하지만 지금은 상황이 달라졌습니다.
현재는 다음 조건이 모두 갖춰졌습니다.
- 강력한 베이스 모델
- 대규모 강화학습
- 다양한 학습 환경
- 막대한 컴퓨트
- 원하는 과제를 빠르게 학습 환경으로 바꾸는 기술
새 벤치마크가 처음 공개됐을 때 모델의 점수가 50%라면, 그것이 사실상 최저점인 경우도 많습니다. 두세 세대의 모델만 지나면 점수가 90% 가까이 올라갑니다.
어떤 고정된 벤치마크든 최대치에 도달하게 만드는 학습 루프를 구축할 수 있습니다.
그래서 오늘날 특정 벤치마크의 점수는 모델의 일반적 지능보다 다음을 더 많이 반영할 수 있습니다.
“이 벤치마크가 모델을 학습한 연구자들의 관심사에 얼마나 가까웠는가?”
특정 평가에서 높은 점수를 받았다고 해서 모델의 전체적인 능력이 그만큼 좋아졌다고 말하기 어려워졌습니다.
6. 고정 평가 대신 ‘시간에 따른 과정’을 평가해야 한다
인터뷰어
그렇다면 모델이 지속적으로 향상되고 있다는 사실은 어떻게 확인해야 합니까? 결국 평가나 검증 장치가 필요하지 않습니까?제리 트워렉
평가의 관점을 단일 시점이 아니라 연속적인 과정으로 바꿔야 합니다.이 문제에서도 트레이딩이 좋은 비유가 됩니다.
트레이딩 알고리즘은 보통 두 단계로 평가합니다.
- 백테스트
- 실제 시장 테스트
백테스트
과거의 특정 날짜를 기준으로 데이터를 나눕니다.- 그 날짜 이전의 데이터로 모델을 학습한다.
- 그 날짜 이후의 새로운 데이터로 테스트한다.
여기서 시간의 방향과 인과성이 매우 중요합니다. 미래 정보가 과거 학습 데이터에 조금이라도 유출되면 평가 전체가 무너집니다.
트레이더라면 누구나 한 번쯤 이런 실수를 합니다.
“엄청난 알고리즘을 만들었다”고 생각했는데, 알고 보니 데이터 처리 과정에서 미래 정보를 사용하고 있었던 것입니다. 정보 누출은 매우 미묘하고 예상하기 어려운 형태로 발생할 수 있습니다.
현실 세계 테스트
그다음에는 모델을 실제로 배포해야 합니다.모든 과거 데이터로 모델을 학습한 뒤 실제 미래에서 성능을 봅니다.
- 내일은 얼마나 잘 작동하는가?
- 다음 주에는 얼마나 잘 작동하는가?
- 두 모델 중 어느 모델이 실제 사용자에게 더 유용한가?
- 시간이 지나면서 어느 모델이 더 빠르게 개선되는가?
AI 모델도 실제 업무에 배포한 뒤 A/B 테스트를 진행해야 합니다. 모델 A와 모델 B 중 어느 쪽이 실제 일을 더 잘 자동화하는지를 봐야 합니다.
모델의 실제 측정치는 벤치마크 점수가 아니라, 현실 세계의 업무를 얼마나 효과적으로 자동화하는가입니다.
7. GitHub Copilot 배포가 벤치마크보다 더 많이 가르쳐준 것
인터뷰어
GitHub Copilot은 최초의 대규모 상용 언어 모델 제품 중 하나였습니다. 실제 배포를 통해 벤치마크에서는 알 수 없었던 무엇을 배웠습니까?제리 트워렉
아주 현실적이지만 다소 지루한 답이 있습니다.현실 세계와 벤치마크는 같지 않습니다.
제품을 배포하면 다음과 같은 현상을 발견합니다.
- 평가 점수는 좋아졌지만 사용자에게는 별 도움이 되지 않는 개선
- 사용자 경험은 좋아졌지만 기존 평가에서는 측정되지 않는 개선
- 연구팀은 중요하다고 생각하지만 실제 사용자는 관심이 없는 능력
- 벤치마크에는 없지만 제품에서는 치명적으로 중요한 요소
실제 유용성을 제공하려면 단순 정확도 외에도 많은 요소를 봐야 합니다.
- 지연시간
- 응답 속도
- 추론 깊이
- 사용자가 실제로 수행하는 작업
- 코드 편집 흐름
- 도구와 모델을 연결하는 방식
- 제품 인터페이스
모델 자체를 다시 학습하는 데는 시간이 오래 걸립니다. 하지만 모델 주변의 실행 환경, 프롬프트 구조, 도구 호출, 코드 편집 방식 등을 개선하면 Copilot의 성능을 빠르게 높일 수 있습니다.
이런 작은 시스템 개선은 서로 누적되며 큰 제품 차이를 만들어냅니다.
8. 검증기 연구에서 o1의 테스트 타임 컴퓨트까지
인터뷰어
2021년의 수학 문제 검증기 연구는 오늘날 테스트 타임 컴퓨트의 씨앗처럼 보입니다. 샘플을 평가하는 검증기에서 긴 사고 과정을 직접 실행하는 모델로 어떻게 발전했습니까?제리 트워렉
대규모 강화학습은 OpenAI에서 오랫동안 존재했던 꿈이었습니다.제가 OpenAI에 합류한 이유도 강화학습을 연구하고 싶었기 때문입니다.
OpenAI에 입사한 초기, 일리야 수츠케버가 연구 전체회의에서 다음과 같은 연구 로드맵을 제시했습니다.
“대규모 생성 모델을 학습한 다음, 그 모델에 강화학습을 적용한다.”
약 7년 뒤 우리가 실제로 하고 있는 일이 바로 그것입니다. 일리야는 매우 정확하게 큰 방향을 보고 있었습니다.
다만 당시에는 구체적인 방법을 몰랐습니다.
- 어떤 생성 모델을 학습해야 하는가
- 어떤 환경에서 강화학습을 해야 하는가
- 보상은 어떻게 설계해야 하는가
- 어떤 알고리즘이 대규모로 안정적으로 작동하는가
- 어느 정도의 GPU가 필요한가
하지만 강화학습을 대규모 언어 모델에 적용하려면 알고리즘뿐 아니라 조직적 확신도 필요했습니다.
9. 강화학습 스케일링의 ‘닭과 달걀’ 문제
제리 트워렉
오랫동안 OpenAI 내부에서는 강화학습에 대규모 GPU를 배정받는 것이 어려웠습니다.리더십은 이런 질문을 했습니다.
“그 GPU로 GPT-4나 GPT-5를 사전학습할 수도 있는데, 왜 강화학습에 써야 하는가?”
강화학습이 효과가 있다는 증거를 보여달라는 요구였습니다.
하지만 대규모 강화학습이 효과가 있다는 증거를 만들려면 먼저 GPU가 필요합니다. GPU를 받으려면 효과가 있다는 증거가 필요하고, 증거를 만들려면 GPU가 필요한 전형적인 닭과 달걀 문제였습니다.
당시 OpenAI에서 강화학습의 스케일링을 강하게 믿는 사람은 소수였습니다. 저를 포함해 몇 명은 확신하고 있었지만, 다수의 의견은 아니었습니다.
전환점은 어느 날 OpenAI가 본격적으로 GPU를 배정해주면서 찾아왔습니다.
“지금까지 만든 것을 가지고 강화학습을 확장해보라”는 결정이 내려졌습니다.
그 순간부터 저는 성공을 전제로 모든 것을 구성하기 시작했습니다.
- 더 많은 문제와 데이터 확보
- 스케일링 가능한 알고리즘 설계
- 대규모 학습 실행 시스템 구축
- 장기간 학습을 감시할 당번 체계
- 대규모 RL 실행에 맞는 팀 구조
- 실패를 빠르게 발견하는 모니터링
하지만 성공을 가정하고 필요한 요소를 하나씩 갖추자 여러 연구 성과가 맞물리기 시작했습니다. 어느 정도는 GPU를 먼저 배정한 결정이 자기실현적 예언이 된 셈입니다.
10. 대규모 강화학습을 가능하게 한 알고리즘적 원리
인터뷰어
구체적으로 어떤 아이디어들이 강화학습의 스케일링을 가능하게 했습니까?제리 트워렉
높은 수준의 공식은 이제 많은 사람이 알고 있습니다.환경에서 보상을 제공하고, 모델이 더 높은 보상을 받는 행동을 강화하도록 만드는 것입니다. 보상이라는 개념 자체는 새로운 것이 아닙니다.
하지만 실제로 스케일링하려면 몇 가지 중요한 기술이 필요합니다.
대표적인 방법은 하나의 프롬프트에 대해 여러 개의 롤아웃을 생성하는 것입니다.
- 동일한 문제에 여러 답변을 생성한다.
- 답변들의 상대적인 성과를 비교한다.
- 그 결과를 일종의 기준선으로 사용한다.
- 더 성공적인 추론 경로를 강화한다.
그 밖에도 다음이 중요했습니다.
- 수치적 안정성
- 대규모 배치에서의 안정적 업데이트
- PPO의 불필요하거나 불안정한 요소 제거
- 분산 시스템에서의 데이터 동기화
- 알고리즘 단순화
알고리즘이 너무 복잡하면 대규모에서 불안정해집니다. 실제로 오늘날 대규모 강화학습에 사용되는 핵심 알고리즘은 높은 수준에서 보면 상당히 단순합니다.
11. 모델의 “잠깐, 다시 생각해보자”는 행동은 누가 설계했는가
인터뷰어
추론 모델이 문제를 풀다가 “잠깐, 다시 생각해보자”라며 되돌아가는 행동은 보상 설계자가 직접 만들어준 것입니까?제리 트워렉
아닙니다. 보상 설계자가 그런 행동을 직접 넣은 것이 아닙니다.모델이 스스로 발견한 것입니다.
사전학습 과정에서 모델은 사람들이 생각하는 수많은 텍스트를 봅니다.
예를 들면 다음과 같은 표현입니다.
- “잠깐, 이것은 잘못된 것 같다.”
- “다시 검토해보자.”
- “다른 접근법을 사용해보자.”
- “앞의 가정을 수정해야 한다.”
강화학습을 시작하면 모델은 사전학습에서 배운 여러 행동을 문제 해결에 시도합니다. 그 과정에서 자기 검토, 되돌아가기, 가정 수정 같은 행동이 더 높은 성공률을 낸다면 그 행동이 강화됩니다.
따라서 이런 문구는 단순한 문장이 아니라, 사고 과정을 전환하기 위한 일종의 내부 함수 호출처럼 작동합니다.
모델은 “다시 생각하기”라는 행동을 사용해 자신의 추론을 조정합니다. 그리고 실제로 문제 해결에 도움이 되는 행동이 강화학습을 통해 더 자주 나타나게 됩니다.
12. o1은 퍼즐 데모였고 o3는 실제 도구였다
인터뷰어
o1은 퍼즐에 강한 기술 데모에 가까웠고, o3는 실제로 사용할 수 있는 도구에 가까웠다고 표현했습니다. 무엇이 달라졌습니까?제리 트워렉
변화의 99%는 시스템 문제였고, 알고리즘 문제는 1% 정도였습니다.물론 몇 가지 흥미로운 알고리즘 문제도 있었습니다. 하지만 가장 어려운 부분은 도구 사용을 대규모로 구현하는 소프트웨어 엔지니어링이었습니다.
추론 모델이 도구를 사용하려면 다음 과정이 모두 안정적으로 연결돼야 합니다.
- 모델이 도구 사용 필요성을 판단한다.
- 적절한 도구를 선택한다.
- 정확한 형식으로 요청한다.
- 외부 환경이 도구를 실행한다.
- 실행 결과를 모델에 돌려준다.
- 모델이 결과를 해석한다.
- 필요한 경우 다시 도구를 호출한다.
- 최종 답을 만든다.
당시 OpenAI의 학습 프레임워크는 세계 최대급 인터넷 서비스와 비교할 수 있을 정도의 규모였습니다.
- 막대한 수의 가상 머신
- 엄청난 데이터 이동량
- 대규모 동기화
- 병목 현상 관리
- 모델과 환경의 샤딩
- 여러 시스템 사이의 통신
그리고 연구팀은 그런 시스템을 불과 몇 달 안에 구축해야 했습니다.
추론 자체가 작동한다는 사실은 이미 알고 있었습니다. 프로그래밍과 현실 세계 작업에서는 도구와 피드백이 필요하다는 것도 알고 있었습니다.
그러나 그것을 실제 규모에서 안정적으로 실행하는 엔지니어링은 잔혹할 정도로 어려웠습니다.
13. 테스트 타임 컴퓨트에는 아직 한계가 보이지 않는가
인터뷰어
추론 시간에 더 많은 계산을 투입하는 테스트 타임 컴퓨트는 어느 시점부터 효과가 줄어듭니까?제리 트워렉
아직 테스트 타임 컴퓨트 자체에서 의미 있는 근본 한계를 본 것은 아닙니다.현재 가장 큰 제약은 지능이 아니라 지연시간입니다.
긴 롤아웃은 실제 시간이 오래 걸립니다. 모델이 하나의 문제를 하루 동안 생각하도록 만들 수는 있겠지만, 대부분의 사용자는 답을 하루 동안 기다리고 싶어 하지 않습니다.
학습 측면에서도 문제가 됩니다.
롤아웃 하나가 하루 걸린다면 한 번의 실험에 필요한 시간이 지나치게 길어집니다. 현실의 하루는 제한돼 있기 때문에 연구자가 실행할 수 있는 학습 단계와 실험 횟수도 줄어듭니다.
두 번째 제약은 Transformer의 긴 컨텍스트 일반화 문제입니다.
Transformer가 더 길어진 컨텍스트를 완벽하게 활용하는 것은 아닙니다. 컨텍스트가 길어질수록 정보 활용과 일반화가 불안정해질 수 있습니다.
그래서 현재의 한계는 크게 두 가지입니다.
- 긴 순차 추론에 필요한 현실 시간
- 매우 긴 컨텍스트를 안정적으로 처리하는 아키텍처 문제
14. 병렬 서브에이전트는 순차 추론의 대체재가 아니다
제리 트워렉
최근에는 여러 개의 서브에이전트를 병렬로 실행하는 방식이 유행하고 있습니다.병렬화하면 지연시간 문제를 어느 정도 줄일 수 있습니다. 하지만 순차적 계산과 동일하지는 않습니다.
하나의 모델이 앞선 생각을 바탕으로 다음 생각을 이어가는 긴 순차 추론과, 여러 모델이 독립적으로 동시에 답을 만드는 것은 다릅니다.
병렬 서브에이전트 방식은 토큰 사용 효율이 낮을 수 있습니다. 여러 에이전트가 비슷한 일을 반복하거나, 충분히 유용하지 않은 결과를 생성할 수 있습니다.
사용자들이 Claude나 Codex의 사용량이 너무 빨리 소진된다고 불평하는 원인 중 하나도 이러한 서브에이전트 실행일 수 있습니다. 병렬 에이전트를 많이 호출하지만 실제 기여도는 제한적일 수 있습니다.
이 문제는 다음 중 하나일 수 있습니다.
- 아키텍처 문제
- 강화학습 문제
- 에이전트 간 조정 문제
- 병렬 계산과 순차 계산의 근본적 차이
15. GPT-5에서 추론 모델과 일반 모델을 통합할 때 어려웠던 것
인터뷰어
GPT-5에서는 추론 모델과 비추론 모델이 하나의 시스템으로 통합됐습니다. 가장 어려운 부분은 과학이었습니까, 아니면 수십억 사용자에게 통합 모델을 제공하는 제품화였습니까?제리 트워렉
대부분 조직과 제품의 문제였습니다.당시 OpenAI는 ChatGPT라는 역사적으로 매우 성공적인 소비자 제품을 보유하고 있었습니다.
기존 ChatGPT의 핵심 사용 형태는 다음과 같았습니다.
- 사용자가 비교적 짧고 쉬운 질문을 한다.
- 모델이 매우 빠르게 답한다.
- 답변은 대체로 합리적이다.
그런데 추론 모델은 다릅니다.
- 더 오래 생각한다.
- 더 느리다.
- 복잡한 작업을 수행할 수 있다.
- 도구를 사용한다.
- 여러 단계를 거친다.
한동안 OpenAI는 삼각형 말뚝을 사각형 구멍에 넣으려는 것처럼, 에이전트형 추론 모델을 기존 ChatGPT 형식에 억지로 맞추려 했습니다.
추론 모델과 일반 모델을 자연스럽게 통합하려는 방향 자체는 좋은 생각이었습니다. 하지만 기존 ChatGPT의 제품 형태가 에이전트 모델을 담는 최적의 그릇은 아니었습니다.
16. ChatGPT보다 Claude Code가 에이전트 제품을 먼저 보여줬다
제리 트워렉
결과적으로 Claude Code 같은 제품이 초기에 에이전트 모델의 적절한 제품 형태를 더 잘 보여줬다고 생각합니다.OpenAI는 에이전트 모델을 ChatGPT 안에 넣으려 했지만, 제품 관점에서는 잘 맞지 않는 부분이 있었습니다.
현재 ChatGPT가 에이전트형 제품으로 스스로를 재구성하는 것도 같은 이유입니다.
단순 질의응답 봇은 훌륭한 제품이지만, AI 전체 시장에서 보면 점차 더 작은 일부가 될 수 있습니다.
더 큰 기회는 다음과 같은 에이전트형 작업에 있습니다.
- 실제 파일을 다룬다.
- 코드를 수정한다.
- 도구를 사용한다.
- 장시간 작업한다.
- 여러 단계를 계획한다.
- 사용자 대신 실제 결과물을 만든다.
좋은 모델을 만드는 것만으로는 충분하지 않습니다. 사람들이 실제로 그 모델의 능력을 사용할 수 있도록 만들어야 합니다.
17. 긴 컨텍스트와 메모리 파일로 지속학습을 흉내 낼 수 없는가
인터뷰어
현재 모델은 문제에 막히면 무력해지는 경우가 많습니다. 인간은 실패에서 배우고 다음에는 더 잘합니다. 긴 컨텍스트, 메모리 시스템, 마크다운 파일 등을 이용하면 지속학습을 흉내 낼 수 있지 않습니까?제리 트워렉
그것만으로 충분했다면 이미 성공했을 것입니다.현재 모델은 상당히 긴 컨텍스트를 사용할 수 있습니다. 외부 검색 기능도 있고, 수많은 마크다운 파일을 저장해 필요할 때 검색하는 시스템도 만들 수 있습니다.
하지만 그런 시스템을 실제로 많이 사용하는 사람들과 이야기해보면 공통적인 평가가 나옵니다.
- 취약하다.
- 일반화가 잘되지 않는다.
- 메모리를 잘못 검색한다.
- 중요한 경험을 적절한 상황에 적용하지 못한다.
- 장기간 사용할수록 정보가 복잡하게 쌓인다.
당시 사람들은 GPT-4가 꽤 똑똑하니 AutoGPT나 LangChain 같은 스캐폴딩을 얹으면 에이전트가 될 수 있다고 생각했습니다.
- 함수 호출
- 반복 루프
- 외부 메모리
- 복잡한 프롬프트
- 계획 모듈
GPT-4 자체가 처음부터 끝까지 좋은 에이전트가 되도록 학습되지 않았던 것입니다.
지속학습도 마찬가지입니다.
현재 모델에 긴 컨텍스트와 메모리 파일을 추가한다고 해서 진짜 학습이 일어나는 것은 아닙니다. 모델이 처음부터 끝까지 학습하는 시스템으로 최적화돼 있지 않기 때문입니다.
지속학습은 마크다운 파일 관리 문제가 아니라 머신러닝 문제입니다.
18. Core Automation은 무엇을 만들고 있는가
인터뷰어
이러한 믿음을 바탕으로 Core Automation을 창업한 것입니까?제리 트워렉
그렇습니다.저는 이 가설에 제 행동과 자원을 걸었습니다. 지속학습이 필요하다는 생각을 바탕으로 회사를 만들었습니다.
Core Automation이 먼저 만들려는 것은 자동화된 AI 연구소입니다.
회사에서 어떤 업무를 시작할 때 가장 먼저 던지는 질문은 다음과 같습니다.
“이 일을 에이전트가 하게 만들 수 있는가?”
연구 프로그램을 시작할 때 기존 에이전트들을 최대한 사용합니다.
- 실험 코드 작성
- 실험 실행
- 평가
- 결과 읽기
- 로그 분석
- 다음 가설 제안
- 새로운 실험 설계
그다음 연구소 자체를 하나의 평가 환경으로 간주합니다.
- 오늘 에이전트가 연구소 업무를 얼마나 수행하는가?
- 내일은 어떻게 조금 더 잘하게 만들 수 있는가?
- 그다음 날에는 무엇을 개선할 수 있는가?
- 실패한 지점은 어디인가?
- 사람의 개입이 필요한 부분은 어디인가?
19. 벤치마크가 아니라 실제 연구소를 최적화한다
제리 트워렉
중요한 점은 우리가 관심 없는 벤치마크를 높이는 것이 아니라, 실제로 중요하게 생각하는 시스템을 직접 최적화한다는 것입니다.회사가 더 빠르고 좋은 연구를 하는 것이 목표라면, 연구소 운영 자체를 평가 환경으로 만들어야 합니다.
일반적인 벤치마크 점수를 높이는 것이 회사의 제품은 아닙니다.
우리가 원하는 것은 다음입니다.
- 에이전트가 더 많은 연구 업무를 수행한다.
- 실험 속도가 빨라진다.
- 실패 원인을 더 잘 찾는다.
- 더 좋은 가설을 제안한다.
- 사람의 개입이 줄어든다.
- 연구소 전체의 생산성이 높아진다.
이것이 테스트 타임 트레이닝을 연구소 운영에 적용하는 방식입니다.
20. 매일 변하는 모델을 어떻게 안전하게 평가하고 디버깅할 것인가
인터뷰어
실제 환경에서 계속 학습하고 매일 가중치가 바뀌는 모델은 평가와 디버깅이 어렵습니다. 이런 모델을 어떻게 안전하게 관리할 수 있습니까?제리 트워렉
디버깅은 분명 어렵습니다.저는 기계적 해석 가능성에 매우 낙관적인 편은 아닙니다.
인간의 사고조차 완전히 해석할 수 없습니다. 그런데 수천억 또는 수조 개의 파라미터를 가진 모델 내부를 완전하게 이해할 수 있다고 기대하는 것은 현실적이지 않을 수 있습니다.
모델 내부를 일부 분석하고 이해하려는 시도는 할 수 있습니다. 하지만 더 실용적인 접근은 모델을 행동적으로 분석하는 것입니다.
모델은 현실에서 보이는 행동으로 평가해야 합니다.
저는 모델을 미로 속의 쥐처럼 다루고 싶습니다.
- 모델이 어떤 경로를 선택하는가
- 어디에서 막히는가
- 어떤 상황에서 잘못된 판단을 하는가
- 어떤 자극에 어떤 행동을 보이는가
- 무엇을 개선해야 하는가
- 특정 실패가 얼마나 자주 반복되는가
21. AI 모델을 올림픽 선수처럼 훈련해야 한다
제리 트워렉
또 다른 비유는 올림픽 수영선수입니다.모델이 세계 최고의 연구자가 되기를 원한다면, 올림픽 선수를 훈련시키듯 모델의 행동을 세밀하게 분석해야 합니다.
- 어떤 방식으로 문제에 접근하는가
- 어느 단계에서 에너지를 낭비하는가
- 어느 순간에 효율적으로 추론하는가
- 어떤 기술적 습관이 성과를 높이는가
- 실패 직전에 어떤 행동을 보이는가
- 피드백을 받은 뒤 어떻게 변화하는가
그 결과를 다시 피드백으로 제공해 모델이 더 나은 버전으로 발전하게 만들어야 합니다.
즉, 모델 내부의 모든 뉴런을 완전히 해석하지 못하더라도 행동을 정밀하게 관찰하고 개선하는 것은 가능합니다.
22. Transformer의 근본적인 한계
인터뷰어
지속학습이 필요하다면 Transformer의 무엇이 문제입니까? 어텐션 비용, 정적인 가중치, 학습과 추론의 분리 중 어떤 것이 핵심입니까?제리 트워렉
가장 큰 문제는 Transformer가 제가 원하는 방식의 테스트 타임 트레이닝을 수행할 수 없다는 것입니다.Transformer는 암기와 사전학습에 매우 뛰어난 모델입니다.
모델이 가진 세계에 대한 이해는 대부분 사전학습 과정에서 만들어집니다. 학습은 연구소의 거대한 클러스터에서 일어나고, 배포된 뒤에는 가중치가 거의 고정됩니다.
추론 중에는 KV 캐시 형태의 임시 메모리를 만들 수 있지만, 그것은 의미 있는 장기학습과 다릅니다.
Transformer는 테스트 타임에 본질적으로 새로운 능력을 습득하지 않습니다.
23. OpenAI와 Anthropic이 오늘 학습을 멈춘다면
제리 트워렉
하나의 사고실험을 해볼 수 있습니다.OpenAI와 Anthropic이 오늘부터 학습 클러스터를 모두 종료한다고 가정해봅시다.
- 더 이상 새로운 사전학습을 하지 않는다.
- 파인튜닝도 하지 않는다.
- 현재 모델의 추론 서비스만 계속 제공한다.
모두가 그렇지 않다는 것을 알고 있습니다.
현재 모델에는 다음과 같은 한계가 있습니다.
- 지식 기준일이 존재한다.
- 새로운 사건을 자동으로 학습하지 못한다.
- 새로운 도구 사용법을 가중치에 통합하지 못한다.
- 사용자의 반복된 피드백으로 근본적으로 변하지 않는다.
- 새로운 기술과 능력을 지속적으로 습득하지 못한다.
우리가 원하는 것은 이러한 재학습을 온라인으로 옮기는 것입니다.
모델이 추론하고 실제로 사용되는 동안 새로운 지식과 기술을 습득하게 만드는 것입니다.
Transformer에는 이 과정을 자연스럽게 수행하는 연산이 없습니다.
그래서 우리는 테스트 타임에 실제 학습이 가능한 새로운 구조를 찾고 있습니다.
24. 기업용 AI에서 지속학습이 중요한 이유
인터뷰어
Core Automation의 기업용 응용 비전은 무엇입니까?제리 트워렉
비전은 단순합니다.모든 기업은 자신의 데이터로 학습된 모델을 원합니다.
하지만 현재의 파인튜닝 과정은 이상적이지 않습니다.
- 사용하기 어렵다.
- 시간이 오래 걸린다.
- 반복적으로 갱신해야 한다.
- 내부 데이터를 외부 회사에 보내야 할 수 있다.
- 데이터 보안과 규제 문제가 생긴다.
- 새로운 데이터가 쌓일 때마다 다시 학습해야 한다.
하지만 좋은 맞춤형 모델을 얻기 위해 데이터를 외부에 보내거나, 그렇지 않으면 성능이 낮은 일반 모델을 사용해야 하는 상황에 놓이기도 합니다.
지속학습은 이 문제에 대한 좋은 해답이 될 수 있습니다.
25. 기업마다 ‘자기만의 모델’을 갖는 미래
제리 트워렉
기업은 자신만의 모델 배포본을 가질 수 있습니다.- 모델이 기업 내부 하드웨어에서 실행된다.
- 외부 회사는 데이터를 보지 않는다.
- 기업은 데이터를 오직 자신의 모델에만 제공한다.
- 모델은 해당 기업의 업무와 데이터에서 지속적으로 학습한다.
- 시간이 지날수록 진정한 의미에서 그 기업의 모델이 된다.
모델 자체가 기업의 작업 방식, 데이터 구조, 반복되는 문제, 사용자 선호를 학습하고 변화해야 합니다.
지속학습은 개인화 문제를 올바른 방식으로 해결할 수 있습니다.
현재 오픈웨이트 모델이 필요한 이유로 “기업이 직접 파인튜닝할 수 있기 때문”이라는 주장이 자주 나옵니다.
하지만 실제 기업이 원하는 것은 계속 파인튜닝 작업을 수행하는 것이 아닙니다.
기업이 원하는 것은 스스로 계속 학습하는 모델입니다.
26. Core Automation이 완전히 성공한 세계
인터뷰어
Core Automation이 가장 대담한 의미에서 성공한다면 세상은 어떻게 달라집니까?제리 트워렉
사람들이 더 이상 의무적으로 일하지 않아도 되는 세계를 상상합니다.어떤 사람에게는 디스토피아처럼 들릴 수 있습니다. 하지만 저는 그것이 우리가 가야 할 미래라고 생각합니다.
일 자체가 완전히 사라진다는 뜻은 아닙니다.
컴퓨터가 인간보다 체스를 잘 두지만 사람들은 여전히 체스를 둡니다. 자동차가 인간보다 빠르지만 사람들은 여전히 달리기를 합니다.
사람들은 필요에 의해서가 아니라 원해서 활동할 수 있습니다.
현재 인간은 생존과 사회 유지에 필요한 많은 일을 해야 합니다.
- 육체적으로 무거운 노동
- 반복적인 사무 업무
- 오랫동안 집중해야 하는 분석
- 복잡한 문제 해결
- 지루하지만 반드시 필요한 관리 업무
27. AI가 제공하는 것은 ‘무책임의 세계’가 아니라 ‘초능력의 세계’
제리 트워렉
겉으로 보면 책임이 사라지는 세계처럼 보일 수 있습니다.하지만 다른 관점에서는 개인에게 초능력이 주어지는 세계입니다.
사람이 무언가를 상상하고 원하면 AI가 그것을 현실로 만들어줍니다.
- 새로운 제품을 만들고 싶다.
- 영화를 제작하고 싶다.
- 과학적 가설을 검증하고 싶다.
- 새로운 조직을 운영하고 싶다.
- 개인적인 프로젝트를 실행하고 싶다.
AI가 노동과 전문성을 제공하면 개인의 의지가 현실에 미치는 영향력이 커집니다. 이것은 더 큰 개인적 주도권과 행위 능력을 의미합니다.
그 결과 세상이 운영되는 방식, 인간관계, 경험의 형태, 교육과 창작의 구조도 크게 달라질 수 있습니다.
28. 미래는 고등학교와 비슷해질 수 있다
제리 트워렉
농담처럼 자주 말하지만, 완전한 농담은 아닙니다.미래는 고등학교와 비슷할 수 있습니다.
고등학생은 아직 생계를 위해 본격적으로 일하지 않습니다. 현실적인 책임도 성인보다 적습니다.
대신 다음과 같은 일을 합니다.
- 새로운 것을 배운다.
- 친구들과 시간을 보낸다.
- 자신의 관심사를 찾는다.
- 세상을 이해하려 한다.
- 앞으로 무엇을 하고 싶은지 탐색한다.
AI는 항상 곁에 있는 교사처럼 새로운 것을 가르쳐줄 수 있습니다. 사람들은 친구들과 시간을 보내고, 배우고, 자신이 원하는 활동을 탐색할 수 있습니다.
저는 그런 세계가 반드시 끔찍하다고 생각하지 않습니다.
29. 인간에게 남은 ‘일해야 하는 시간’은 몇 년인가
인터뷰어
그런 AGI 미래는 언제쯤 올 것으로 봅니까?제리 트워렉
AGI는 분명히 오고 있습니다.제가 인간에게 “일해야 하는 시간이 몇 년 정도밖에 남지 않았을 수 있다”고 말하는 것은 농담이 아닙니다.
인간이 지금처럼 생계를 위해 반드시 일해야 하는 상태가 영원히 지속되지는 않을 것이라고 생각합니다.
다만 정확히 얼마나 빨리 변화할지는 별개의 문제입니다.
저는 일반적으로 낙관적인 편이지만, 기술이 현실에 배포되는 데는 시간이 걸립니다.
새 기술은 기업, 제도, 사회 전반에 퍼져나가는 데 시간이 필요합니다.
AI 발전은 빠르게 느껴지면서 동시에 느리게 느껴집니다.
30. AI 발전은 동시에 빠르고 느리다
제리 트워렉
지난 7년 동안 모델 능력은 엄청나게 발전했습니다.개인적으로는 이미 미래에 살고 있다는 느낌을 받을 때가 많습니다.
저는 많은 코드를 직접 세부적으로 작성하기보다 바이브 코딩 방식으로 만들고 있습니다. 이동에서도 자율주행 기술을 많이 사용합니다.
이런 경험만 보면 미래가 이미 도착한 것 같습니다.
하지만 전체적인 일상은 과거와 비교해 아직 조금만 달라졌습니다.
- 대부분의 사람은 여전히 출근한다.
- 조직 구조는 크게 변하지 않았다.
- 기존 행정과 교육 제도가 유지된다.
- AI가 실제 경제 전체에 확산되는 속도는 모델 발전보다 느리다.
그럼에도 향후 5년 사이 어느 시점에는 인간의 일이 지금과 알아보기 어려울 정도로 변할 가능성이 높다고 생각합니다.
종합 해설
제리 트워렉의 관점에서 현재 AI 발전의 핵심은 더 이상 단순히 “더 높은 시험 점수를 받는 모델”이 아닙니다.그가 보는 다음 단계는 다음과 같습니다.
1. 정적인 모델에서 학습하는 모델로
현재 모델은 연구소에서 학습을 마친 뒤 고정된 상태로 배포됩니다.미래 모델은 현실에서 사용되면서 다음을 반복해야 합니다.
- 새로운 경험을 얻는다.
- 실패를 분석한다.
- 내부 능력을 수정한다.
- 다음 시도에서 더 잘한다.
- 장기적으로 지식과 기술을 축적한다.
2. 고정 벤치마크에서 현실 업무로
모델의 능력을 몇백 개 문제로 측정하는 방식은 점점 의미가 줄어듭니다.진짜 평가는 다음과 같은 질문이어야 합니다.
- 연구자의 업무를 얼마나 자동화했는가?
- 프로그래머의 생산성을 얼마나 높였는가?
- 실제 제품을 얼마나 잘 만들었는가?
- 시간이 지나면서 스스로 얼마나 개선됐는가?
3. 챗봇에서 에이전트로
빠르게 문답을 제공하는 챗봇은 AI의 한 형태일 뿐입니다.더 큰 변화는 모델이 실제 도구를 사용해 장시간 작업하는 에이전트에서 나옵니다.
- 코드 작성
- 파일 수정
- 실험 실행
- 분석
- 의사결정
- 연구
- 조직 운영
4. 파인튜닝에서 지속학습으로
기업은 매번 모델을 다시 파인튜닝하는 복잡한 과정을 원하지 않습니다.기업이 원하는 것은 자사 환경에 배치돼 자사 데이터와 경험으로 계속 개선되는 모델입니다.
5. Transformer 이후의 아키텍처
Transformer는 강력한 사전학습·추론 모델이지만, 추론 중에 장기적인 학습을 수행하는 구조는 아닙니다.제리 트워렉은 진정한 지속학습을 위해 Transformer와 다른 새로운 연산 구조 또는 새로운 모델 아키텍처가 필요하다고 판단하고 있습니다.
6. 자동화된 연구소가 만드는 자기강화 루프
Core Automation의 가장 중요한 아이디어는 AI 연구를 AI로 자동화하는 것입니다.에이전트가 연구를 수행하고, 그 결과로 더 나은 에이전트를 만들면 다음과 같은 루프가 형성됩니다.
더 좋은 AI → 더 빠른 AI 연구 → 더 좋은 AI → 더 빠른 AI 연구
제리 트워렉이 만드는 회사는 이 자기강화적 연구 자동화 루프를 현실의 연구소 수준에서 구현하려는 시도라고 볼 수 있습니다.
가장 중요한 발언 10가지
- “AI가 연구를 자동화하더라도, 시스템에 대한 이해 자체를 외주화할 수는 없다.”
- “그럴듯한 문장을 쓰는 것과 실제로 동작하는 프로그램을 작성하는 것은 다르다.”
- “고정된 평가의 시대는 끝났다.”
- “새 벤치마크가 등장하면 몇 세대 안에 거의 최대 점수까지 공략된다.”
- “유일하게 진짜인 테스트는 현실 세계다.”
- “o3의 발전은 99% 시스템 엔지니어링이고 1% 알고리즘이었다.”
- “긴 컨텍스트와 마크다운 파일은 학습을 대신할 수 없다.”
- “지속학습은 메모리 파일 문제가 아니라 머신러닝 문제다.”
- “기업은 파인튜닝 가능한 모델보다 지속적으로 학습하는 모델을 원한다.”
- “앞으로 5년 안에 인간의 일은 지금과 알아보기 어려울 정도로 변할 수 있다.”
결국엔 지속학습이 문제인거삼... 이것만 해결되면 agi라고 대부분이 생각하는듯
멀티모달도 너무 약하셈 4o 이후로 큰 도약이 안 보인다는 것임 멀티모달리티가 해결이 돼야 일자리에 막대한 영향을 끼칠 수 있는데 진전이 너무 느리셈