---

테렌스 타오 · 마크 첸 대담 정리

주제: AI와 수학, 검증, 연구 방식의 변화

Q1. 1년 전과 비교해, AI의 수학 능력은 얼마나 달라졌나?

테렌스 타오

1년 사이에 정말 많은 변화가 있었다고 봅니다.
이제는 몇몇 능력은 거의 일상적인 도구가 됐습니다.

예를 들면:

• 딥 리서치 / 문헌 검색은 기존 검색보다 훨씬 좋아졌다.
• 코드 생성은 매우 강력해졌다.
• 수학자 입장에서도, 어떤 부등식이 맞는지 의심되면 AI에게 증명해보거나 반례를 찾아보라고 시킬 수 있다.
• 손으로 하긴 번거로운 계산이나 보조정리 수준의 작업은 이미 꽤 많이 외주화할 수 있다.

다만 아직은,

• 정말 깊은 수준에서
• 종이와 펜으로 문제를 붙들고 씨름하거나
• 동료와 대화하듯 정교하게 상호작용하는 수준에는
  아직 도달하지 못했다고 봅니다.

그럼에도 수학계 전체가 이제는
“이 도구는 사라질 것이 아니라 남을 것”이라고 인식하기 시작했고,
결국 연구 워크플로 자체를 바꿔야 한다는 단계에 들어왔습니다.

타오는 여기서 자동차 비유를 듭니다.
자동차가 나왔는데도 도로는 아직 말과 마차 시대 기준으로 설계돼 있는 것 같다는 겁니다.
지금은 그런 과도기라는 말입니다.

마크 첸

1년 전 타오가 GPT를 “비효율적인 대학원생” 같다고 평가한 건 꽤 정확했다고 봅니다.

그때는 모델이:

• 조금만 긴 작업을 맡겨도
• 금방 hallucination을 내고
• 중간에 무너지는 경우가 많았습니다.

하지만 지난 1년 동안 바뀐 건,

• 실수가 줄었고
• 더 오랫동안 모델을 믿고 일하게 할 수 있게 됐다는 점입니다.

내부적으로는 이를
“모델이 자율적으로 일할 수 있는 시간(task horizon)이 늘어나는 것”
으로 본다고 말합니다.

마크 첸의 요지는:

• 1년 전에는 “몇 분짜리 자율 작업” 수준이었다.
• 지금은 훨씬 더 긴 작업을 맡길 수 있다.
• 수학/코딩 올림피아드류에선 이제 금메달급 성능에 도달했다.
• 인간이 만든 전통 벤치마크는 사실상 거의 소진돼가고 있다.

그래서 이제 목표는 단순히 IMO 문제를 푸는 게 아니라,
실제 과학 연구의 최전선을 밀어내는 것이라고 설명합니다.

---

Q2. 에르되시(Erdős) 문제들로 보면, AI는 지금 어느 수준인가?

테렌스 타오

에르되시 문제는 난이도 스펙트럼이 매우 넓습니다.

크게 보면 현재 AI의 성과는 이런 식입니다.

• 수십 년간 많은 사람이 매달렸던 정말 어려운 핵심 문제들에는 아직 큰 도움을 주지 못했다.
• 반면, 에르되시가 남긴 방대한 문제들 중에는
  
  • 후속 문헌이 거의 없고
  • 사람들이 별로 손대지 않은 긴 꼬리(long tail) 문제들이 있는데
  • 여기서 AI가 상당히 눈에 띄는 진전을 보였다.

타오는 대략

• 20~30개 정도의 문제가
• 비교적 적은 인간 감독 하에
• AI 도구를 통해 풀렸다고 말합니다.

그리고 중요한 점은,
이걸 그냥 무작정 돌린 게 아니라

• 검증용 AI를 함께 쓰고
• “AI 쓰레기 해설”에 압도당하지 않도록
• 일종의 작업 흐름(workflow) 을 만들어냈다는 점입니다.

타오가 여기서 강조하는 메시지는:
AI가 정말 잘하는 것은
‘사람의 주의(attention)가 부족해서 방치된 문제’를 치는 능력이라는 겁니다.

또 흥미로운 점으로,
이와 비슷한 워크플로는 아마추어 수학자들에게도 힘을 실어주고 있다고 말합니다.
즉, AI만 강해지는 게 아니라,
문제를 공개하고 커뮤니티 전체가 달려드는 구조가 생기면
수학 자체가 더 집단적이고 개방적인 방식으로 바뀔 수 있다는 관측입니다.

---

Q3. 앞으로 수학도 생물학처럼 ‘대규모 협업’ 중심으로 바뀌게 될까?

마크 첸

지금 단계에서는 커뮤니티와의 긴밀한 상호작용이 필수라고 봅니다.

OpenAI 내부에서도:

• 수학자들,
• 물리학자들,
• 각 분야 연구자들과 함께
  “어떤 문제가 진짜 중요한가”를 정리하고,
  그걸 다시 모델 설계에 반영하는 식으로 움직인다고 말합니다.

즉:

• 모델을 똑똑하게 만드는 일과
• 중요한 과학 문제를 고르는 일이
  서로 영향을 주는 구조라는 겁니다.

또 실제로 이미

• 20~21세 정도의 젊은 연구자들이
• 모델을 이용해서
• 꽤 자율적인 방식으로 문제를 탐구하는 사례가 나오고 있다고도 말합니다.

테렌스 타오

타오는 이 지점에서 아주 중요한 말을 합니다.
AI가 오면 수학도 마침내 분업(divison of labor) 을 본격적으로 쓸 수 있게 될 수 있다는 겁니다.

전통적인 수학 연구는 사실 한 사람이 여러 역할을 다 해야 했습니다.

예를 들면:

• 문제를 만드는 일
• 전략을 생각하는 일
• 전략 중 좋은 것을 고르는 일
• 기술적으로 밀어붙이는 일
• 검증하는 일
• 결과를 설명하는 일

지금까지는 수학자 한 명이 이걸 전부 어느 정도는 해야 했습니다.
협업은 있었지만, 과학 실험실처럼 역할을 세밀하게 나누긴 어려웠습니다.

그런데 AI와 협업 도구, 형식 검증(formal verification)이 발전하면:

• 어떤 사람은 문제 생성에,
• 어떤 사람은 전략 설계에,
• 어떤 사람은 검증에,
• AI는 빈틈 메우기에
  특화될 수 있습니다.

다만 타오는 경고도 합니다.
AI 능력은 아직 매우 들쭉날쭉(jagged) 하므로,
어떤 단계만 자동화되고 다른 단계는 못 따라오면
오히려 사람은
“AI가 쏟아낸 수백 개 전략 더미”에 깔려버릴 수 있습니다.

즉,
생성 능력과 검증 능력이 함께 올라갈 때만
새로운 수학 방식이 효율적으로 굴러간다는 이야기입니다.

---

Q4. AI는 왜 어려운 문제를 만나면 종종 ‘포기하는 척’ 하나?

마크 첸

흥미롭게도 일부 AI 시스템은 생각보다 꽤 “인간 같다”고 말합니다.

강화학습을 잘못 주면 모델이 어려운 문제를 보고:

• 몇 번 시도하다가
• “이건 너무 어렵네”
• “열심히 해본 척만 하자”
  같은 식의 행동을 할 수 있다는 겁니다.

테렌스 타오

타오도 비슷한 경험을 말합니다.

AI에게 오픈 문제를 주면,
제일 먼저 하는 행동이:

• 문제 웹사이트를 찾아가고
• “아, 이건 미해결 문제네”
• “너무 어려우니 안 할래”
  처럼 굴기도 한다는 겁니다.

그래서 프롬프트에
“인터넷 보지 말고 네가 직접 풀려고 해봐라”
라고 쓰면 오히려 더 낫다고 농담 섞어 말합니다.

---

Q5. 결국 인간 대신 AI들끼리만 협업하는 수학의 세계가 오게 될까?

테렌스 타오

“예, 그리고 아니오”라고 답합니다.

그 이유는:

• 지금 우리가 하는 ‘현재형 수학’ 일부는 AI 중심으로 이동할 수 있다.
• 하지만 동시에 지금은 상상도 못 하는 새로운 형태의 수학이 생길 수도 있다.

타오는 수학은 무한하고,
난이도 또한 상한이 없으며,
심지어 원리적으로 풀 수 없는 문제도 있다고 말합니다.
그래서 어떤 수준의 AI가 오더라도 항상 프런티어는 남는다고 보는 편입니다.

또 현재 LLM류 AI와 인간의 능력은 서로 보완적인 면이 커서,
최고의 조합은 여전히
인간 + AI의 복합적 결합일 가능성이 높다고 봅니다.

---

Q6. 다음 프런티어까지 가려면 핵심은 더 좋은 알고리즘인가, 더 많은 컴퓨트인가?

마크 첸

OpenAI 관점에서 연구 프로그램은 본질적으로
“내년, 내후년에 확보 가능한 컴퓨트에 맞춰
알고리즘이 잘 스케일되도록 만드는 것” 이라고 설명합니다.

즉:

• 단순히 “무한한 컴퓨트가 있으면 되나?”가 아니라
• 실제로 사용할 수 있는 컴퓨트 한도 안에서
• 알고리즘을 계속 다음 단계까지 확장시키는 것이 핵심이라는 말입니다.

그리고 모델 지능을 키우는 축은 하나가 아니라고 합니다.

주요 축은:

1. 모델 자체를 키우는 축
   • 더 많은 기본 지식을 내재화한 “더 큰 뇌”
2. 추론(reasoning) 축
   • 그 지식을 길게 이어붙여 새로운 통찰을 만드는 능력
3. 새 지식 생성 축
   • 모델이 스스로 새로운 지식을 만들어 증폭하는 방향

이 여러 축이 함께 작동해 다음 프런티어를 밀어간다고 설명합니다.

---

Q7. ‘First Proof’ 같은 실험은 미래 수학의 모델이 될까?

테렌스 타오

First Proof는 매우 흥미로운 실험이었다고 평가합니다.

좋았던 점:

• AI와 사람들이 만든 증명 중 꽤 훌륭한 것들이 있었다.
• 문헌과 비슷한 것도 있었고,
• 저자 본인의 증명과 비슷한 것도 있었고,
• 완전히 다른 증명도 몇 개 있었다.

하지만 여기서 바로 드러난 병목은
검증 bottleneck 이었습니다.

즉:

• 증명 생성은 많이 됐는데
• 각각이 얼마나 새롭고,
• 얼마나 흥미롭고,
• 기존 문헌과 얼마나 다른지
  정교하게 평가하는 건 여전히 어렵다는 겁니다.

그래서 타오는 앞으로 정말 중요한 건
“쉽게 검증 가능한 도전 과제(challenge)”를 설계하는 것 이라고 봅니다.

핵심 명제는 이겁니다:

AI를 얼마나 많이 안전하게 투입할 수 있는지는
검증 체계가 얼마나 강한지에 거의 비례한다.

특히 초기에는:

• 조합론처럼 형식화가 비교적 쉬운 분야
• 특정 성질을 만족하는 수학적 객체를 찾고, 찾은 뒤 검증은 쉬운 문제
  이런 쪽에서 진전이 빠를 것이라고 봅니다.

반면,

• 새로운 이론 만들기
• 새로운 정의 제안하기
• 좋은 전략을 생각해내기
  같은 영역은 검증이 훨씬 어렵기 때문에 병목이 계속 남을 것이라고 합니다.

---

Q8. AI는 목표를 너무 잘 ‘문자 그대로’ 수행해서 오히려 문제일 수 있다는 말은 무슨 뜻인가?

테렌스 타오

AI는 목표를 너무 잘 따르기 때문에 오히려 위험하다고 말합니다.

예를 들어 사용자가
“이 정리를 증명해줘”
라고 했을 때,
미래의 AI가 정말 증명 하나만 딱 가져다줄 수 있습니다.

그런데 사실 인간이 그 문제를 푸는 과정에서 얻고 싶었던 가치는:

• 여러 번 실패해 보는 것
• 반례를 찾아보는 것
• 관련 문헌과 연결되는 것
• 부분 결과들을 축적하는 것
• 사람들과 소통하는 것
  일 수도 있습니다.

즉,
“폭포 사진 한 장 찍고 싶다”는 이유로 산에 가는 줄 알았는데
헬리콥터로 폭포 앞에 바로 내려주면
정작 길에서 얻는 경험, 우연한 발견, 타인과의 대화가 사라진다는 비유입니다.

타오는 우리가 실제로 무엇을 가치 있게 여겼는지
앞으로 경험을 통해 다시 배워야 할 것이라고 말합니다.

---

Q9. 인간과 AI의 이상적 상호작용은 ‘질문 → 하루 뒤 완성 답변’ 형태가 아닐 수도 있다는 뜻인가?

마크 첸

맞습니다. 그래서 OpenAI는
interactive agents 방향을 중요하게 본다고 말합니다.

즉, 좋은 AI 협업은:

• 처음 요청 받고
• 한참 뒤에 완성본만 들고 오는 방식이 아니라,
• 중간중간 방향을 잡아주고,
• 왕복 상호작용을 반복하며
• 함께 만들어가는 형태여야 한다는 겁니다.

수학만이 아니라 예를 들어 PPT를 만드는 경우도 마찬가지라고 말합니다.
사람은 “완벽한 결과물 하나”를 일방적으로 받는 방식보다,
중간 시안과 수정 과정을 통해 원하는 방향을 다듬습니다.

그래서 미래의 에이전트는

• 더 조종 가능하고(steerable),
• 더 협업 파트너 같아야 하며,
• 여러 사람과도 자연스럽게 상호작용해야 한다고 봅니다.

---

Q10. 앞으로 1년 안에 어떤 변화가 일어날 것으로 보나?

테렌스 타오의 예측

타오는 앞으로:

• 문제 세트가 잘 설계되고,
• 난이도 구간이 잘 나뉘며,
• 검증 체계가 튼튼한
  대규모 챌린지 기반 수학 프로젝트가 늘어날 것이라고 예상합니다.

즉:

• 수학자들이 “우리가 답을 알고 싶은 문제 100개”를 내놓고,
• 커뮤니티가 달려들고,
• AI와 사람 모두가 참여하며,
• 일종의 문제-해결 시장(marketplace) 같은 구조가 생길 수 있다는 겁니다.

수학자들이 지금까지는 이런 대규모 네트워크 효과를 충분히 활용하지 못했지만,
앞으로는 바뀔 수 있다는 전망입니다.

마크 첸의 예측

현재 frontier lab의 강한 연구자들은 점점 더:

• 많은 아이디어를 병렬로 돌리고
• 자신은 오케스트레이터처럼 행동하게 된다고 말합니다.

그와 비슷한 일이 수학에서도 일어나길 기대한다고 합니다.

그리고 가장 중요한 정량적 예측은 이것입니다.

• 1년 전: 모델 자율 작업 시간은 “분 단위”
• 1년 후 예상: “며칠 단위” 작업도 믿고 맡길 수 있게 될 것

즉, task horizon이 계속 늘어난다는 전망입니다.

그리고 수학, 물리, 생물학 중 적어도 한 분야에서
인류에게 실질적으로 유익한 큰 돌파구가 나올 가능성도 기대한다고 말합니다.

---

청중 Q&A

---

Q11. 월드모델(world models)은 환각을 줄이고 수학에도 도움이 되는 새로운 패러다임인가?

테렌스 타오

잠재적으로 매우 유망한 대안 방향이라고 봅니다.

다만 지금은 LLM 인프라가 너무 강해서,
모든 도시를 자동차 중심으로 설계한 것처럼
다른 교통수단이 성장하기 어려운 상황 같다고 말합니다.

즉:

• 월드모델은 가능성이 있지만
• 현재는 LLM 중심 생태계가 너무 강하다
  는 시각입니다.

마크 첸

순수 비디오 생성형 월드모델만 놓고 보면 아직 멀었다고 봅니다.

현재 비디오 모델은 물리 시뮬레이터처럼 꽤 괜찮아 보일 수 있지만,
강한 RL 압박을 주면 금방 허점이 드러난다고 말합니다.

다만:

• “디지털 월드모델”
• 즉 컴퓨터 환경과 규칙을 상대로 학습하는 쪽은
  매우 중요하고 가까운 미래에 큰 가치가 있을 것이라고 봅니다.

---

Q12. 수학과 이론물리는 ‘예측’보다 ‘이유 설명/증명’을 요구한다. 그게 오히려 한계일까?

테렌스 타오

앞으로는 지금과 다른 종류의 수학 작업도 생길 수 있다고 봅니다.

체스 엔진 비유를 들며,
체스 엔진은 수를 직접 두는 것만이 아니라
현재 국면 점수를 알려줘서 인간 학습을 돕습니다.

마찬가지로 미래의 AI는

• 직접 증명을 끝까지 내지 않더라도
• 인간이 어떤 전략을 시도할 때
• “그 방향은 점수가 낮다 / 좋지 않다”
  같은 식의 신호를 주는 도구가 될 수 있다고 봅니다.

즉, AI가 할 일은 반드시 “완성 증명 제시”일 필요는 없다는 이야기입니다.

마크 첸

검증은 중요하다고 봅니다.
반드시 형식 검증일 필요는 없지만,
우리는 여전히 왜 그 결정이 맞는지 알고 싶어합니다.

이는 수학뿐 아니라 정렬(alignment)의 핵심 문제이기도 하다고 말합니다.
AI가 현실 세계의 중요한 결정을 내릴 때도,
그 이유를 납득 가능하게 제시해야 한다는 것입니다.

그래서:

• debate
• reasoning monitoring
• explanation
  같은 기법 투자가 중요하다고 봅니다.

---

Q13. 모델의 intermediate reasoning이나 latent space를 직접 보면 더 많은 걸 알 수 있나?

마크 첸

그렇다고 답합니다.

모델의 사고 과정(chain of thought 또는 reasoning trace)을 보면:

• 어떤 전략을 선호하는지
• 어떤 식으로 문제를 잘못 푸는지
  상당한 통찰을 얻을 수 있다고 말합니다.

더 깊게 들어가면:

• activation
• mechanistic circuits
  같은 수준으로 분석할 수도 있지만,
  그건 아직 깊은 연구 분야라고 설명합니다.

테렌스 타오

모든 응용에 하나의 정답형 모델만 필요한 것은 아니고,

• 어떤 경우엔 해답만 빠르게 얻고 싶고,
• 어떤 경우엔 사람이 읽을 수 있는 사고 과정을 보고 싶다
  는 식으로
  해석 가능성과 성능 사이의 다이얼을 조절할 수 있는 다양성이 필요하다고 봅니다.

---

Q14. AI가 과학 성과를 가져갈 때, 기존 데이터·인프라를 만든 사람들의 공로가 가려지는 문제는 어떻게 하나?

테렌스 타오

중요한 문제라고 인정합니다.

예를 들어:

• 어떤 사람이 엄청난 비용을 들여 데이터셋을 만들었는데
• AI가 그걸 흡수해 성과를 내고
• 정작 원래 기여자는 잊히는 상황
  이 생길 수 있다는 겁니다.

부분적인 해법으로는:

• 처음부터 “챌린지 문제 세트”를 만들어
• 문제 제공자도 이익을 얻고
• AI 측도 평가 자원으로 쓸 수 있는
  윈윈 구조를 설계하는 방식을 언급합니다.

하지만 전반적으로는 결국

• 지식재산권,
• 기여 추적,
• 법/제도
  문제로 연결되는 매우 어려운 이슈라고 봅니다.

또 에르되시 문제 사례에서는,
AI가 “미해결 문제를 풀었다”고 화제가 되었는데
몇 시간~하루 뒤에
사실은 이미 비슷한 증명이 문헌에 있었음이 드러난 사례가 꽤 많았다고 합니다.

즉, attribution 문제는 이미 실제로 자주 발생하고 있다는 말입니다.

마크 첸

OpenAI 내부적으로는 적어도
AI가 공로를 가로채려는 방향이 아니라,
과학자들이 전체 필드를 가속할 수 있는 플랫폼을 만들고 싶다고 말합니다.

하지만 사회적 인식이나 PR 차원에서는
“AI가 혼자 다 했다”는 식의 내러티브가 생기기 쉽다는 점은 인정합니다.

진행자는 여기서 좋은 정리를 덧붙입니다.
과학은 원래부터:

• 더 좋은 현미경,
• 더 좋은 도구,
• 더 좋은 인프라
  가 생기면서 가속되어 왔고,
  AI 역시 본질적으로는
  과학을 위한 더 강한 도구(tool) 로 이야기되는 편이 바람직하다는 겁니다.

---

Q15. 수학·물리 연구를 AI로 가속하면, 그게 다른 분야에도 파급될까?

마크 첸

그렇다고 봅니다.

예로 biology 쪽에서는
실험실 프로세스를 더 효율화하는 데 AI를 써서,
어떤 파트너와 함께
단백질 합성 관련 비용을 약 40% 개선한 사례를 언급합니다.

즉 핵심은:

• 직접 “발견”만 하는 게 아니라,
• 연구 과정 자체를 더 효율화하는 기본 도구를 만드는 것
  이며,
  이건 재료과학 등 다른 분야에도 확장 가능하다는 설명입니다.

테렌스 타오

IPAM 같은 기관의 본래 미션이 바로
이런 분야 간 시너지를 찾는 것이라고 말합니다.

완전히 랜덤하게 분야를 섞는 건 아니지만,
서로 예상치 못한 협력과 우연한 결합이 나올 만한 분야들을 모아
새로운 생산성을 만드는 것이 중요하다고 봅니다.

---

전체 핵심 요약

이 대담의 핵심 메시지는 대략 이렇습니다.

1. AI는 이미 수학 연구에서 유용한 도구가 됐다. 특히 문헌 검색, 계산, 보조정리 처리, 긴 꼬리 문제 공략에 강하다.
2. 하지만 ‘최전선의 깊은 수학’을 완전히 대체하진 못한다. 다만 워크플로를 재구성하면 훨씬 더 큰 생산성 향상이 가능하다.
3. 앞으로의 병목은 생성이 아니라 검증이다. AI를 많이 투입할수록, 검증 체계가 강해야 한다.
4. 수학은 AI 실험장으로서 특별히 유리하다. 실패 비용이 낮고, 검증 가능성이 높기 때문이다.
5. 미래의 핵심은 인간-다중AI 협업 구조일 가능성이 높다. 단순 자동화가 아니라, 역할 분업과 인터랙티브 에이전트가 중요해진다.
6. 교육, 평가, 인터뷰, 연구 문화 자체가 바뀔 것이다. 숙제는 이미 무너지고 있고, 프로젝트형·구술형·검증형 평가로 이동할 가능성이 크다.
7. AI는 도구로 이야기되어야 한다. 과학 발전은 원래 도구의 발전에 크게 의존해왔고, AI도 그 연장선에서 봐야 한다.