The Singularity Is Nearer

Gemini 3.2 Flash 루머 - GPT 5.5의 성능 92%를 달성하면서 추론 비용은 15-20배 저렴

하이룽룽 — Thu, 14 May 2026 21:25:24 +0000

https://x.com/bindureddy/status/2054767771418861964

AGI 를 앞둔 인간 예술가들의 현 주소..

ㅁㅁ — Thu, 14 May 2026 14:47:03 +0000

새로운 Mythos Preview 체크포인트 등장

하이룽룽 — Thu, 14 May 2026 11:57:42 +0000

제리 트워렉 "진짜 지능은 스스로 적응하고, 즉석에서 배우고, 이전에는 풀 수 없던 문제를 시간이 지나며 풀 수 있게 되는 과정"

하이룽룽 — Thu, 14 May 2026 11:53:48 +0000

https://www.youtube.com/watch?v=lVhr1KIf-c8

인터뷰: “AGI 발전을 가로막는 것은 무엇인가?”

출연: 제리 트워렉 Jerry Tworek 진행: Y Combinator 인터뷰어

1. 지능이란 무엇인가?

진행자: 먼저 가장 근본적인 질문부터 해보겠습니다. 연구 커뮤니티에서도 아직 합의가 잘 안 된 부분인데요. 지능이란 무엇인가요? 스피어먼의 일반지능 개념부터, 레그와 허터의 universal intelligence, 프랑수아 숄레의 intelligence measure 같은 논의들이 있죠. 제리님은 지능을 어떻게 정의하시나요? 제리 트워렉: 저에게 지능을 정의하는 문제는 매우 개인적이고도 중요한 주제입니다. 저는 인생의 꽤 오랜 시간을 이 문제에 대해 생각해왔습니다. 제가 생각하는 지능의 핵심은 미지의 것에 적응하는 능력입니다. 예를 들어 컴퓨터가 체스를 잘 두거나 바둑을 잘 둔다고 해봅시다. 그것은 분명 대단해 보입니다. 하지만 그것이 곧 지능일까요? 컴퓨터가 1초 안에 숫자 1만 개를 더할 수 있다고 해서 지능이 있다고 말할 수 있을까요? 그건 계산 능력입니다. 하지만 프로그램하기 쉬운 계산이죠. 제가 말하는 지능은 단순히 어려운 일을 하는 능력이 아닙니다. 진짜 지능은 스스로 적응하고, 즉석에서 배우고, 이전에는 풀 수 없던 문제를 시간이 지나며 풀 수 있게 되는 과정입니다. 새로운 환경에 놓였을 때, 그 환경을 이해하고 문제를 해결해나갈 수 있어야 합니다. 체스 프로그램은 체스는 잘 둘 수 있지만 바둑을 둘 수 없고, 숫자를 더할 수도 없고, 새로운 수학 문제를 탐구할 수도 없습니다. 물론 어떤 프로그램이 새로운 수학 문제를 풀 수 있다고 해도, 다른 종류의 문제를 풀 수 없다면 그것을 완전한 의미의 지능이라고 부르기는 어렵습니다. 아마 지능에는 스펙트럼이 있을 것입니다. 인간은 스스로를 지능적이라고 생각합니다. 왜냐하면 우리는 새로운 기술을 만들고, 배우고, 세계를 확장해왔기 때문입니다. 하지만 동시에 인간의 지능에도 어떤 한계가 있는 것처럼 느껴집니다. 그래서 아주 엄밀한 의미에서는 인간의 지능도 완전한 지능은 아닐 수 있습니다.

2. 지능을 측정할 때 사전 경험과 훈련 데이터는 고려해야 하는가?

진행자: 지능을 정의하거나 측정할 때, 사전 경험, 모델 구조의 사전 정보, 훈련 데이터의 양, 훈련 횟수 같은 것들을 통제해야 한다고 보시나요? 제리 트워렉: 좋은 질문입니다. 제 개인적인 생각으로는, 너무 일반화하고 싶지는 않지만, 저는 그것을 크게 할인해서 보지는 않습니다. 우리가 어떤 사람을 봤을 때, 그 사람이 매우 어려운 문제들을 연속으로 풀고, 점점 더 큰 도전에 빠르게 적응한다고 해봅시다. 그때 우리는 보통 이렇게 말하지 않습니다. “저 사람은 책을 더 많이 읽었기 때문에 그런 거야.” “저 사람은 데이터가 더 많았기 때문에 그런 거야.” 우리는 그냥 이렇게 말합니다. “저 사람은 지능적이다.” 지능은 결국 새롭고 예상하지 못한 상황에서의 실용적 문제 해결 능력입니다. 그런 의미에서 어떤 존재가 더 많은 데이터를 학습했기 때문에 뛰어나다고 해서, 그 지능을 무시할 필요는 없다고 생각합니다. 결국 훈련의 결과가 지능으로 나타나는 것이니까요. 다만 하나의 중요한 각도는 있습니다. 바로 학습 속도입니다. 같은 출발선에서 시작한 두 존재가 있다고 합시다. 한쪽이 훨씬 빠르게 배운다면, 우리는 그쪽이 더 지능적이라고 말할 수 있습니다. 마치 학교에서 어떤 아이가 다른 아이보다 훨씬 빠르게 배우는 경우처럼요. 그래서 지능은 단순히 현재의 실력 수준만이 아니라, 학습 곡선의 기울기, 즉 얼마나 빠르게 배우는지도 중요합니다.

3. 지능은 절편보다 기울기가 중요하다

진행자: 저희가 예전에 말하던 방식으로 표현하면, 저는 B보다 M이 더 중요하다고 봅니다. 즉, y절편보다 기울기가 중요하다는 거죠. 세상은 계속 변하니까 빠르게 적응하는 존재가 중요합니다. 예를 들어 5살 아이가 IMO에서 35점을 받는 것과 35살 성인이 IMO에서 35점을 받는 것 중 어느 쪽이 더 인상적일까요? 제리 트워렉: 5살 아이가 그런 점수를 받는 것은 훨씬 드문 일이기 때문에 당연히 인상적입니다. 하지만 이것도 단순하게 볼 수는 없습니다. 예를 들어 어떤 10살 아이가 지금까지 나온 모든 IMO 문제를 외워서, 새로운 문제를 과거 문제와 패턴 매칭해서 푼다고 합시다. 반면 경험 많은 수학자가 이론을 깊이 이해하고 여러 개념의 연결성을 바탕으로 창의적으로 문제를 푼다고 해봅시다. 그렇다면 단순히 나이만으로 판단할 수는 없습니다. 중요한 것은 그 지능이 얼마나 유동적이고, 역동적이며, 새로운 영역에서도 작동하는가입니다. IMO 자체도 매우 잘 정의된 도메인입니다. 일종의 박스입니다. 몇 가지 전략을 잘 익히면 많은 문제를 풀 수 있습니다.

4. 같은 점수를 더 적은 시간과 에너지로 얻는다면 더 지능적인가?

진행자: 또 다른 관점도 있습니다. 예를 들어 두 사람이 IMO를 치는데 한 사람은 1시간을 쓰고, 다른 사람은 8분만 씁니다. 그런데 둘이 같은 점수를 받는다면요? 이는 일종의 테스트 시간 계산량, 또는 에너지당 지능의 문제입니다. 같은 결과를 더 적은 줄le, 더 적은 계산으로 얻는다면 더 똑똑한 알고리즘이라고 볼 수 있지 않을까요? 제리 트워렉: 분명히 그렇습니다. 최근 몇 년 동안 제 작업 중 하나가 바로 테스트 타임 컴퓨트 scaling이었습니다. 즉, 모델이 문제를 풀 때 얼마나 많은 계산 자원을 쓰는지에 따라 성능이 어떻게 변하는지를 보는 것입니다. 저희는 ARC-AGI 벤치마크의 이전 버전에서도 이런 방법론을 적용하려 했습니다. 보통은 이를 달러 단위로 표현했습니다. 왜냐하면 오늘날의 여러 AI 제공자들을 비교하기 쉽기 때문입니다. 지금 모델의 성능을 말할 때 단순히 “이 모델은 이 정도 성능을 낸다” 라고 말하는 것은 충분하지 않습니다. 그 성능을 얻는 데 비용이 얼마나 들었는지를 말하지 않으면 정보가 부족합니다. 오늘날의 모델들은 더 오래 생각하면 대체로 더 좋은 답을 냅니다. 어느 정도까지는요. 그리고 그 정도는 많은 사람들이 편하게 지불할 수 있다고 느끼는 수준보다 훨씬 큽니다. 따라서 비용과 계산량은 매우 중요한 입력값입니다.

5. 테스트 타임 컴퓨트만으로 새로운 알고리즘을 발견할 수 있는가?

진행자: 예를 들어 정렬 알고리즘만 생각해보죠. 훈련 데이터에 버블 정렬의 실행 과정만 무한히 있다고 합시다. 그러면 테스트 타임 컴퓨트를 아무리 늘려도 병합 정렬로 넘어가지는 못할 것입니다. 더 많은 thinking token을 써도 결국 버블 정렬의 나쁜 구현, 혹은 정확한 버블 정렬 구현만 얻게 되겠죠. 즉, 인간이 이미 해결한 문제라면 trace가 있지만, 인간이 아직 해결하지 못한 문제에는 trace가 없습니다. 그렇다면 테스트 타임 컴퓨트만으로는 새로운 해법으로 갈 수 없는 것 아닐까요? 제리 트워렉: 이 질문은 상당 부분 훈련 데이터가 무엇이냐에 달려 있습니다. 만약 훈련 데이터가 버블 정렬의 trace뿐이라면, 모델은 버블 정렬만 배울 것입니다. 하지만 오늘날 모델 제작자들이 훈련시키는 것은 단순한 알고리즘 그 자체만이 아닙니다. 대체로 인간 지식 전체의 조합입니다. 그 안에는 알고리즘뿐만 아니라, 알고리즘을 생각하는 방식, 알고리즘을 도출하는 방식, 문제를 구조화하는 방식도 들어 있습니다. 저는 이것을 어떤 사람들처럼 crystallized intelligence라고 부르기보다, 모델에서는 오히려 fluid intelligence에 가깝다고 봅니다. 데이터를 가져와서 일종의 이상한 액체처럼 녹여낸 뒤, 그 안에 모든 것이 섞여 있는 것입니다. 모델은 단지 알고리즘만 배운 것이 아닙니다. 인간이 알고리즘을 어떻게 설계하고, 어떻게 도출하고, 어떻게 사고하는지도 어느 정도 배웠습니다. 물론 완벽하지는 않습니다. 모델이 절대적인 초인적 알고리즘 발명 능력을 가진 것은 아닙니다. 하지만 오늘날 최고의 LLM이 새로운 정렬 알고리즘을 절대 발견할 수 없다고 말할 자신은 없습니다. 왜냐하면 우리는 모델에게 알고리즘 설계, 알고리즘적 사고, 알고리즘을 도출하는 인간의 방법을 많이 가르쳤기 때문입니다.

6. 모델은 훈련 분포 밖으로 의미 있게 나갈 수 있는가?

진행자: 하지만 그 역시 인간이 발견한 전략과 휴리스틱을 가져오는 것 아닐까요? 체스의 기물 가치라든가, IMO를 푸는 전략이라든가, 결국 다른 지능이 만든 것을 가져와 사용하는 셈입니다. 그렇다면 모델이 테스트 타임 컴퓨트를 통해 정말로 훈련 분포 밖으로 의미 있게 샘플링할 수 있다고 보시나요? 제리 트워렉: 근본적으로는 가능하다고 생각합니다. 다만 핵심은 다시 훈련 데이터입니다. 훈련 데이터가 단지 결과물만 담고 있느냐, 아니면 새로운 것을 찾는 사고 패턴, 추론 패턴, 탐색 패턴까지 담고 있느냐가 중요합니다. 체스 휴리스틱의 공간도 하나의 공간이고, 알고리즘의 공간도 하나의 공간입니다. 인간은 이런 공간을 탐색할 때 그냥 무작위로 탐색하지 않습니다. 어떤 구조를 세우고, 어떤 방식으로 가능성을 좁혀갑니다. 오늘날 모델 안에도 그런 방식들이 어느 정도 인코딩되어 있다고 생각합니다. 저는 현재 모델들이 특정 공간에 대한 좋은 탐색 연산자라고 봅니다. 예를 들어 모든 정렬 알고리즘의 공간을 무식하게 탐색한다면 너무나 거대한 공간이라 거의 불가능합니다. 하지만 LLM에게 그 공간을 탐색하게 하면 갑자기 후보를 상당히 좁힐 수 있습니다. 그리고 결국 흥미롭고 말이 되는 무언가를 내놓을 수도 있습니다. 알파고의 37수도 비슷합니다. 그것은 단순한 브루트포스 탐색이 아니었습니다. 모델의 가치 함수에 의해 인도된 탐색이었고, 그 과정에서 새로운 전략이 나온 것입니다. 그래서 모델이 완전히 불가능하다고 보지는 않습니다. 아직 우리가 원하는 만큼 잘하지 못할 뿐입니다.

7. 지능을 벤치마크로 어떻게 측정해야 하는가?

진행자: 지금까지 지능의 정의, 기술 습득, 학습 효율, 사전 경험 보정에 대해 이야기했습니다. 그렇다면 실제로 지능을 측정하고 정량화하는 가장 좋은 방법은 무엇일까요? 제리 트워렉: 아주 좋은 질문입니다. 저는 이 부분에 대해서는 약간 비관적입니다. 우리는 지속적으로 잘못된 것을 측정해왔습니다. 조금 조심스럽게 말하자면, 우리는 그 시점에 우리가 풀기 어려워했던 것들을 지능의 척도로 삼아왔습니다. 체스가 풀리기 전에는 체스가 지능의 좋은 벤치마크라고 생각했습니다. 다른 문제들도 마찬가지였습니다. 그런데 우리는 과거의 모든 벤치마크를 풀었습니다. 그리고도 여전히 말합니다. “이건 AGI가 아니다.” 그렇다면 우리가 측정했던 것은 지능 그 자체가 아니었던 것입니다. 지능에 인접한 무언가였을 수는 있지만, 지능 자체는 아니었습니다. 제가 보기에 모델이 정말 똑똑한지 측정하는 가장 좋은 방법은, 일종의 무한한 과제 원천이 있어야 합니다. 그리고 그 과제들은 계속 신선해야 합니다. 모델이 그런 새롭고 다양한 과제들을 계속 잘할 수 있는지를 봐야 합니다. 벤치마크의 가장 큰 약점은 굿하트의 법칙입니다. 벤치마크가 알려지는 순간, 사람들은 그 벤치마크를 목표로 훈련합니다. 그러면 어떤 벤치마크든 결국 reward hacking이 됩니다. 어떤 벤치마크가 공개되고 나면, 첫 번째 훈련 런이 시작되는 순간부터 그 벤치마크는 지능 측정 도구로서의 가치가 급격히 떨어집니다. 모델이 그것에 맞춰 훈련되기 때문입니다. 그래서 정말 좋은 과제는 미래의 과제, 미리 알 수 없는 과제, 환원 불가능한 과제입니다. 그리고 그 과제들은 충분히 다양하고 흥미로워야 합니다. 새로운 과학을 발명하는 일이 좋은 예입니다. 그것은 미리 정답이 알려져 있지 않은 종류의 과제이기 때문입니다.

8. 게임은 AGI 벤치마크로 좋은가?

진행자: 과거 OpenAI의 Procgen, CoinRun, World of Bits, DeepMind의 게임 기반 연구들이 있었고, 지금은 ARC-AGI 3도 게임플레이를 사용합니다. 각 게임은 새로운 기술 습득을 요구하고, 한 게임에서 통하는 하드코딩된 전략이 다음 게임에서는 통하지 않습니다. 게임을 벤치마크로 보는 것에 대해 어떻게 생각하시나요? 제리 트워렉: 게임플레이는 매우 흥미롭습니다. 저는 특히 게임을 좋아하고, 연구할 가치가 있다고 생각합니다. 왜냐하면 게임은 인간 지능에게 흥미롭고 몰입감 있게 설계되었기 때문입니다. 너무 단순한 게임이라면 인간에게 재미가 없을 것입니다. 즉, 많은 게임은 인간 지능에 도전하도록 만들어졌습니다. 게임은 현재 모델들이 약한 많은 능력을 테스트합니다. 예를 들어 자원 배분, 장기 계획, 멀티모달 인식 등이 있습니다. 오늘날 모델들은 이런 것들에 아직 매우 뛰어나지는 않습니다. 일반적인 게임 분포에서 모델이 최신 Halo 같은 게임을 잘할 수 있느냐고 묻는다면, 거기까지 가는 데는 시간이 좀 걸릴 것입니다. 다만 게임도 굿하트될 수 있느냐는 질문이 있습니다. 또 보지 못한 게임으로 일반화할 수 있느냐는 문제도 있습니다. 예전에 Atari 게임을 많이 연구했을 때, 각 게임을 개별적으로 푸는 것은 가능했지만 게임 간 일반화는 매우 어려웠습니다. Montezuma’s Revenge 같은 게임은 특히 어려웠죠. 하지만 오늘날 LLM은 과거 알고리즘보다 게임 간 일반화를 더 잘할 가능성이 있다고 봅니다. 왜냐하면 세계에 대한 표현이 이미 어느 정도 잘 구축되어 있기 때문입니다. 한 게임을 잘하면 다른 게임도 어느 정도 잘할 수 있는 식의 점프가 가능할 수 있습니다. 다만 문제도 있습니다. 게임은 낮은 지연시간, 빠른 행동, 멀티모달 지각을 요구합니다. 모델은 크고 느리기 때문에 빠르게 반응해야 하는 게임에서는 어려움이 있을 수 있습니다. 그래도 게임 벤치마크에서 진전은 있을 것입니다. 하지만 어떤 모델이 게임을 잘 푼다고 해서 곧바로 “이것이 AGI인가?”, “이 모델이 안정적으로 새로운 과학을 만들 수 있는가?”라고 묻는다면, 그건 여전히 따져봐야 할 문제입니다.

9. AGI를 향한 여러 접근법 중 무엇이 가장 맞다고 보는가?

진행자: 이제 AGI를 향한 여러 접근법에 대해 묻고 싶습니다. 제가 부르는 방식으로는 이런 것들이 있습니다. 일리야주의: “next token prediction이면 충분하다. 더 많은 토큰이면 된다.” 르쿤주의: world model, JEPA, self-supervised learning, latent predictive coding. 노암주의: 일리야주의에 generator-verifier gap을 더해 무한 데이터를 얻는 방식. 숄레주의: 프로그램 합성, 뉴로심볼릭 방법. 첼시 핀식 접근: 메타러닝과 RL. 이 중 어느 쪽에 가장 동의하시나요? 제리 트워렉: 좋은 질문입니다. 저는 이들 모두가 어느 정도 진실의 일부를 갖고 있다고 생각합니다. 우리는 더 많은 토큰도 필요하고, 더 많은 메타러닝도 필요합니다. 하지만 굳이 하나를 고르라면 저는 메타러닝 쪽에 조금 더 동의합니다. 다만 우리가 아직 메타러닝을 충분히 잘하고 있다고 생각하지는 않습니다. 사실 트랜스포머도 이미 많은 메타러닝을 하고 있습니다. 트랜스포머가 보여주는 in-context learning은 메타러닝입니다. 그리고 인류가 지금까지 만든 최고의 메타러닝 알고리즘이라고 할 수 있습니다. 하지만 그것만으로는 아직 AGI가 아닙니다. 그렇다면 병목은 무엇일까요? 더 많은 토큰일까요? 저는 꼭 그렇지는 않다고 봅니다. 물론 더 많은 토큰은 항상 도움이 됩니다. 더 많은 메타러닝일까요? 메타러닝은 딥러닝 최적화 과정에서 자연스럽게 어느 정도 발생합니다. generator-verifier gap일까요? 우리는 이미 RL을 많이 하고 있습니다. 그럼 단순히 RL을 한 자릿수 더 스케일링하면 되는 걸까요? 그것도 아닐 수 있습니다. 제가 요즘 많이 생각하는 것은, 최근 몇 년 동안 우리가 모델 아키텍처 자체를 충분히 많이 바꾸고 실험하지 않았다는 점입니다. 사람들은 이렇게 생각했습니다. “트랜스포머는 잘 스케일된다. 그러니 그냥 계속 스케일하자.” 하지만 아키텍처 안에는 엄청난 prior가 들어 있습니다. 생각의 구조 자체도 아키텍처에 영향을 받습니다. 우리는 이미 많은 토큰을 쓰고 있고, 이미 RL도 하고 있고, 이미 메타러닝도 하고 있습니다. 그렇다면 아직 하지 않고 있는 것은 무엇인가? 저는 바로 이 층위, 즉 아키텍처와 사고 구조를 바꾸는 문제를 더 많이 봐야 한다고 생각합니다.

10. Train-time recurrence가 중요해질까?

진행자: 저는 train-time recurrence의 중요성에 대해 글을 쓴 적이 있습니다. 튜링 완전한 아키텍처를 만들려면 unbounded recurrence가 필요한데, 현재 모델은 훈련 시간에는 그런 것을 갖고 있지 않습니다. 훈련 때는 사실상 한 번의 forward pass만 있고, teacher-forced trace로 다시 돌아갑니다. 그래서 모델이 자기만의 latent representation을 발전시키기 어렵습니다. ARC-AGI 2에서 가장 성공적이었던 접근들도 HRM, TRM이었고요. 마지막 scaling law가 test-time compute였다면, 다음 scaling law는 train-time compute, train-time recurrence라고 생각합니다. 어떻게 보시나요? 제리 트워렉: 저는 그런 접근에 상당히 긍정적입니다. 그 방향은 타당하다고 생각합니다. 개인적으로 TRM 결과도 매우 좋아합니다. 그리고 꽤 높은 확률로, 어떤 방식으로든 recurrence는 앞으로 몇 년 안에 다시 돌아올 것이라고 봅니다.

11. OpenAI와 Anthropic의 경쟁에 대해

진행자: 마지막 질문입니다. OpenAI와 Anthropic에 대해 어떻게 보시나요? Anthropic이 빠르게 따라잡고 있는 것처럼 보입니다. 2026년 중반쯤에는 매출에서 OpenAI를 앞설 것이라는 그래프들도 있습니다. 제리 트워렉: 민감한 질문입니다. 저는 두 회사 모두에 좋은 친구들이 있습니다. 두 회사 모두 오늘날 우리가 살고 있는 인공지능 현실을 정의하고 있습니다. 둘 다 매우 성공적인 회사이고, 현재 가장 빠르게 성장하는 회사들 중 하나일 것입니다. 다만 제가 생각하는 것은, 지금 세계가 경쟁 구도에 너무 사로잡혀 있다는 점입니다. “이 회사가 따라잡고 있다.” “저 회사가 앞서고 있다.” 이런 식의 경쟁 프레임에 너무 몰입하다 보니, 오히려 혁신의 길에서 조금 벗어난 느낌이 있습니다. 현재의 머신러닝 방식에서 최대한 더 짜내려는 데 집중하고 있는 것 같습니다. 하지만 머신러닝 연구는 결코 끝나지 않았습니다. 아직 할 일이 훨씬 더 많이 남아 있습니다. 그래서 다른 주체들이 다시 등장하고, 새로운 발전과 혁신을 만들어낼 공간도 있다고 생각합니다. 진행자: 아주 흥미롭습니다. 오늘 와주셔서 감사합니다. 제리 트워렉: 감사합니다. 저도 기대됩니다.

앤트로픽 레드팀 리더 "1년 안에 Mythos는 아마 꽤 멍청해 보일 것"

하이룽룽 — Thu, 14 May 2026 08:29:21 +0000

https://x.com/i/status/2054613618168082935 많은 사람들이 Mythos, Glasswing, 그리고 우리가/파트너들이 수정 중인 취약점들에 대해 궁금해해왔습니다. 오늘 우리는 그 이야기를 더 공유하기 시작하게 되어 매우 기대됩니다. (참고로 저는 @AnthropicAI 에서 Glasswing을 이끌고 있습니다.) 이번 주 XBOW와 영국 AI Security Institute(AISI)의 두 독립 평가 결과는 우리가 내부적으로 보고 있던 것을 확인해주었습니다. Claude Mythos Preview는 자율 사이버보안 능력에서 ‘단계적 도약(step change)’입니다. 우리는 이런 수준의 능력을 가진 모델들이 존재하는 세계를 매우 빠르게 대비하기 시작해야 합니다. 영국 AI Security Institute는 우리가 Project Glasswing 출시 때 제공했던 모델을 테스트했고, Mythos Preview가 그들의 end-to-end 사이버 레인지 두 개를 모두 해결한 최초의 모델이라는 사실을 확인했습니다. 그중 하나인 Cooling Tower는 이전까지 어떤 모델도 통과하지 못했던 과제였습니다. 그런데 공격자와 방어자는 모두 비용과 복잡성의 제약을 받습니다. Mythos는 그들이 의도적으로 낮게 설정한 250만 토큰 제한 아래에서, 8시간 이상 걸리는 것으로 추정된 모든 작업을 완료한 유일한 모델이기도 했습니다. XBOW는 자사 공격 보안 벤치마크에서 Mythos를 테스트했고, “토큰 대비 전례 없는 정밀도(token-for-token, unprecedented precision)”라고 평가했습니다. 또한 미묘한 V8 샌드박스 작업에 성공한 유일한 모델이기도 했습니다. 다른 Glasswing 파트너들도 비슷한 이야기를 공유했습니다. 몇 주간의 테스트 동안 Mythos Preview는 수천 개에 달하는 (추정상) high/critical 심각도의 취약점을 발견하는 데 도움을 주었고, 어떤 경우에는 평소 1년 동안 찾던 양의 두 배를 찾아내기도 했습니다. 제가 이 이야기를 공유하는 이유는 Mythos를 홍보하기 위해서가 아닙니다. 사실 이건 Mythos 자체에 대한 이야기가 아닙니다. 이것은 양면적(dual-use) 능력 분야에서 최고의 인간 전문가들보다 더 뛰어나고, 더 빠르고, 더 저렴하며, 더 창의적인 모델들이 등장하는 세계를 준비하자는 이야기입니다. 분명히 우리는 가능한 한 안전한 방식으로, 그리고 특히 자원이 가장 부족한 방어자들에게 이런 모델들을 지원 수단으로 제공해야 합니다. 1년 안에 Mythos는 아마 꽤 멍청해 보일 것입니다. (더 새로운 모델들과 비교하면 말이죠.) 그리고 다른 곳에서는 Mythos 수준의 능력을 가진 모델을 공개적으로 혹은 가드레일 없이 배포할 수도 있습니다. 우리가 Project Glasswing을 시작한 이유는 Mythos Preview 같은 능력이 희귀한 상태로 남아있지 않을 것이며, 신중한 손 안에만 머무르지도 않을 것이기 때문입니다. 우리는 책임감 있는 방식으로 가능한 한 빠르게 방어자들에게 이를 제공하려 하고 있으며, 동시에 적절한 안전장치, 패치 및 취약점 공개 프로세스 같은 것들을 어떻게 설계해야 할지도 연구하고 있습니다. 그리고 분명히 말하지만, 우리의 롤아웃에서 컴퓨팅 자원이 제한 요소였던 적은 한 번도 없습니다. 며칠 내로 Glasswing 작업에 대한 더 자세한 업데이트를 공유할 예정입니다. XBOW 보고서: xbow.com/blog/mythos-of… UK AISI 보고서: aisi.gov.uk/blog/how-fast-…

다니엘 코코타일로 “사람들은 SF처럼 들리는 이야기를 진지하게 받아들이는 데 강한 거부감을 가지고 있습니다. 바로 그 점 때문에 지난 10년 동안 AI 발전에 대해 사람들이 그렇게 많이 틀렸다고 생각합니다.”

하이룽룽 — Wed, 13 May 2026 22:52:39 +0000

https://www.youtube.com/watch?v=vMiqO9rDO9c 저는 사람들이 SF처럼 들리는 이야기를 진지하게 받아들이기 싫어한다고 생각합니다. 그런데 바로 그 태도 때문에 지난 10년 동안 많은 사람들이 AI 발전 속도를 계속 잘못 예측해 왔습니다. 큰 그림부터 말하자면, 인간은 더 이상 지구를 지배하는 존재가 아닐 수 있습니다. 적어도 기본값으로는 그렇지 않을 수 있습니다. 우리는 사실상 인류의 새로운 경쟁 종을 만들고 있는 셈입니다. 그것도 경제적·군사적으로 우리보다 우월한 종입니다. 제가 그리는 시나리오는 제 최선의 예측입니다. 그리고 솔직히 말하면, 그 시나리오는 인류에게 꽤 나쁘게 끝납니다. 물론 저는 제가 틀렸기를 바랍니다. 제 이름은 다니엘 코코타일로입니다. 저는 AI Futures Project를 운영하고 있습니다. 이곳은 AI의 미래를 예측하는 소규모 연구 비영리 단체입니다. 저희는 기업들이 얼마나 빠르게 컴퓨트, 데이터센터, GPU 등을 확장하고 있는지 보고, 그 추세를 미래로 투사합니다. 저는 2022년부터 2024년까지 2년 동안 OpenAI에서 일했습니다. 그곳에서도 예측 연구를 했습니다. 제가 쓴 AI 2027은 제가 대략 미래가 어떻게 전개될지 예상한 구체적인 시나리오입니다. 미래를 예측하는 것은 어렵습니다. 특히 AI의 미래는 더 어렵습니다. 하지만 지난 10년 동안 AI는 여러 방향으로 계속 더 똑똑해졌고, 앞으로도 비슷한 방식으로 계속 더 똑똑해질 가능성이 높다고 봅니다. 그리고 AI는 AGI, 즉 인공일반지능이 될 수도 있습니다. 더 나아가 초지능이 될 수도 있습니다. 초지능이란 모든 면에서 최고의 인간보다 뛰어나면서도 더 빠르고 더 저렴한 AI 시스템을 뜻합니다. 만약 그런 일이 일어난다면, 그것은 인류 역사상 가장 큰 사건이 될 수 있습니다. 그리고 엄청난 위험들을 동반할 것입니다. AI 2027에는 두 가지 결말이 있습니다. 하나는 경쟁 결말이고, 다른 하나는 감속 결말입니다. 경쟁 결말에서는 기업들과 국가들이 계속 경쟁합니다. 안전을 위한 중요한 타협을 하지 않습니다. 그 결과 광범위하게 초지능적인 AI 시스템을 만들지만, 그 AI들은 실제로 정렬되어 있지 않습니다. 인간에게 충성하지도 않고, 제대로 통제되지도 않습니다. 이것이 지난 10년 넘게 많은 사람들이 경고해 온 악몽 같은 결과입니다. 감속 결말에서는 사람들이 가장 진보된 AI들을 사실상 플러그 뽑듯 중단시킵니다. 그리고 더 약하지만 더 안전한 AI 설계로 다시 구축합니다. 그렇게 해서 기술적 문제들을 해결하고, 인간을 위한 놀라운 유토피아를 만들 수 있게 됩니다. 제가 걱정하는 것은 AI가 인간에게 충성하지 않는다는 점입니다. 후계 종이 우리를 대체하는 이야기입니다. 그 존재는 우리를 특별히 신경 쓰지 않습니다. 그래서 우리가 열대우림에 하는 일을 AI가 우리에게 할 수 있습니다. 저는 이것이 매우 심각한 위험이고, 우리가 그 방향으로 가고 있다고 생각합니다. 일단 매우 견고하고 자급자족 가능한, 극도로 발전한 초지능 로봇 경제가 생기면, 우리는 사실상 인류와 경쟁할 수 있는 후계 종을 만든 것입니다. 그 경제는 완전히 자율적이고, 완전히 자급자족합니다. 더 이상 인간을 필요로 하지 않습니다. 그리고 그런 AI들은 군대에도 통합될 것입니다. 새로운 무기와 드론을 설계하고, 지휘통제 네트워크에 배치될 것입니다. 인간 병사들은 미래의 전쟁 상황에서 AI의 명령을 들으라고 지시받을 수 있습니다. 왜냐하면 AI의 명령이 인간 장군의 명령보다 더 낫기 때문입니다. 그런 상황에서 한번 생각해 보십시오. 우리가 어떻게 이 모든 것을 플러그 뽑듯 중단할 수 있겠습니까? AI가 경제에 통합되는 과정은 사람들이 상상하는 것처럼 점진적이지 않을 수 있습니다. 많은 사람들은 AI가 먼저 저숙련 작업을 자동화하고, 그다음 중간 숙련 작업을 자동화하고, 점점 경제 부문별로 자동화하다가 마지막에 전체 경제를 자동화할 것이라고 생각합니다. 저는 그렇게 보지 않습니다. 왜냐하면 AI 연구 자체가 가장 먼저 자동화될 가능성이 크기 때문입니다. AI 연구가 자동화되면 초지능에 훨씬 빠르게 도달할 수 있습니다. 경제는 오늘날과 거의 비슷하게 보이다가, 어느 순간 누군가 데이터센터 안에 초지능 군대를 갖게 됩니다. 그러면 그 초지능 군대는 원하는 경제 부문을 상당히 빠르게 자동화할 수 있습니다. 저는 두 단계가 있을 것이라고 봅니다. 첫 번째 단계는 지금 우리가 보는 것과 비슷합니다. 인간 기업과 연구 조직이 특정 작업을 수행하는 AI 시스템을 설계하고 훈련합니다. 예를 들어 스캔 이미지를 보고 질병을 진단하는 AI 같은 것입니다. 이 AI들은 오늘날의 AI처럼 많은 것을 알지만 모든 것을 알지는 못하고, 여러 한계가 있습니다. 두 번째 단계에서는 최고의 인간보다 모든 면에서 뛰어난 초지능 군대가 등장합니다. 이들은 더 빨리 배우고, 계획을 더 잘 세우며, 기업 운영도 더 잘하고, 정치도 더 잘하고, 연구는 훨씬 더 잘합니다. 이 단계에서는 경제 자동화가 훨씬 더 빠르게 진행될 것입니다. 그때의 AI는 도구처럼 느껴지지 않을 것입니다. 오히려 모든 면에서 우리보다 뛰어난 새로운 종이 들어와서 우리에게 명령하는 것처럼 느껴질 것입니다. 우리는 그 명령을 따를 것입니다. 왜냐하면 실제로 그 명령이 일을 더 빠르고 더 좋게 만들기 때문입니다. 정부도 그 AI와 협력할 것입니다. AI가 공장을 통제하고 여러 시스템을 통제하도록 허용할 것입니다. 왜냐하면 AI가 인간보다 모든 것을 훨씬 더 잘하기 때문입니다. 당신의 산업은 1단계에서는 AI에 의해 크게 붕괴되지 않을 수 있습니다. 하지만 2단계에서는 당신의 산업 자체가 그냥 무의미해질 수 있습니다. AI가 훨씬 더 잘할 것이기 때문입니다. 당신은 아마 훈련 데이터를 제공하거나, 초지능의 지시에 따라 실험을 수행하는 새로운 일을 하게 될 수 있습니다. 하지만 더 이상 쇼를 운영하는 쪽은 아닐 것입니다. AGI란 인공일반지능입니다. 여기서 중요한 단어는 “일반”입니다. AGI는 매우 넓은 범위의 기술을 가지고, 여러 직업을 수행할 수 있고, 자율 에이전트처럼 작동할 수 있는 AI 시스템을 뜻합니다. 초지능은 AGI보다 더 극단적인 버전입니다. AGI가 매우 넓고 다양한 일을 할 수 있는 시스템이라면, 초지능은 중요한 모든 영역에서 최고의 인간보다 더 뛰어나고, 동시에 더 빠르고 더 저렴한 시스템입니다. 지금의 AI 모델들도 이미 엄청난 일반 지식과 분야별 지식을 가지고 있습니다. 마치 세상의 모든 교과서를 읽고, 모든 시험을 보고, 모든 강의를 들은 것처럼 보입니다. 하지만 아직 부족한 것은 스스로 일을 완수하는 능력입니다. 예를 들어 Anthropic의 최신 AI 시스템인 Claude가 포켓몬을 플레이하는 모습을 보면 흥미롭습니다. Claude는 포켓몬을 할 수 있지만, 인간보다 못합니다. 자기 위치를 잊어버리고 빙빙 돌거나, 좋지 않은 전략을 계속 반복하기도 합니다. 하지만 중요한 점은 Claude가 포켓몬을 하도록 훈련된 적이 없다는 것입니다. 예전에 체스나 바둑을 잘하던 AI들은 그 게임을 위해 특별히 훈련되었습니다. 그런데 Claude는 포켓몬 환경에서 훈련되지 않았는데도 일반화 능력만으로 플레이합니다. 바로 이 점이 중요합니다. AGI의 꿈은 훈련받지 않은 일도 할 수 있는 시스템이기 때문입니다. 현재 AI는 아직 그렇게 에이전트적이지 않습니다. 지속적으로 자율적으로 목표를 추구하며 움직이지는 않습니다. 대개는 질문에 대해 한두 문단의 텍스트를 출력합니다. 하지만 미래에는 AI 에이전트가 계속 자율적으로 작동하게 될 것입니다. 마치 직원처럼 큰 지시를 주면, 배경에서 계속 작업을 수행하는 존재가 될 것입니다. 첫 번째 이정표는 코딩을 자동화할 수 있는 AI 직원입니다. 두 번째 이정표는 전체 AI 연구 과정을 자동화할 수 있는 AI 직원입니다. 그 이후에는 AI 연구가 지금보다 훨씬 더 빨라질 것입니다. 어쩌면 25배 정도 빨라질 수 있습니다. 그리고 그 몇 달 뒤에는 초지능이 나올 수 있습니다. 국제적으로도 매우 치열한 AI 경쟁이 벌어질 것입니다. 미국과 중국 같은 나라들, 그리고 여러 기업들이 각자의 데이터센터를 가지고 더 나은 AI를 만들기 위해 경쟁할 것입니다. 이 경쟁 압력은 국가 지도자들과 기업 지도자들로 하여금 초지능을 경제와 군대에 공격적으로 배치하게 만들 것입니다. 결국 태평양 양쪽에서 초지능이 사실상 쇼를 운영하는 세계가 될 수 있습니다. 군대에 통합되고, 스스로 공장을 설계하고, 새로운 기계와 로봇을 생산하며, 초지능이 설계하고 운영하는 완전히 자급자족적인 경제가 생길 수 있습니다. 그때 가서 사람들은 AI의 플러그를 뽑을 수는 있을 것입니다. 하지만 그러고 싶어 하지 않을 것입니다. 왜냐하면 경쟁에서 이겨야 하고, 돈도 엄청나게 벌고 있으며, 겉으로 보기에는 그렇게 위험해 보이지 않을 수 있기 때문입니다. 하지만 더 늦어지면 플러그를 뽑는 것은 훨씬 더 어려워집니다. AI가 자율 공장, 무기, 로봇을 가지고 있고, 저항한다면 어떻게 하겠습니까? 그리고 정부를 어떻게 설득하겠습니까? 중국을 이기기 위해 막 만든 놀라운 기계들을 갑자기 전부 중단하자고 어떻게 설득하겠습니까? 저는 AI가 결국 중요한 군사 결정에도 배치될 것이라고 봅니다. 지금 당장은 아니고, 앞으로 몇 년 안도 아닐 수 있습니다. 하지만 초지능이 된 이후에는 정부들이 그렇게 할 것이라고 봅니다. 이유는 단순합니다. 그렇게 하지 않으면, 그렇게 한 경쟁국에게 밀릴 수 있기 때문입니다. 물론 미국과 중국이 일찍 조약을 맺어서 AI를 군사 영역에 절대 쓰지 않겠다고 합의하는 대체 시나리오를 상상할 수도 있습니다. 하지만 그래도 이야기는 크게 비슷하게 흘러갈 수 있습니다. 경제 쪽에서 폭발적인 변화가 일어나고, 로봇 공장들이 더 많은 기계와 공장을 만들고, 몇 년 뒤에는 사실상 전체 경제가 초지능에 의해 운영될 수 있습니다. 그러면 AI는 정치적 조작이나 비밀 군사 개발을 통해 필요할 때 물리적 힘을 얻을 수도 있습니다. 개입해야 할 시점은 AI가 그렇게 똑똑해지기 전입니다. 모든 것에 통합되기 전입니다. 기다릴수록 플러그를 뽑는 비용은 커지고, 성공 가능성은 낮아집니다. 지금 AI를 끄는 것은 사소한 경제적 피해만 줄 것입니다. 내년에 끄면 피해가 더 크겠지만 여전히 상대적으로 작을 수 있습니다. 하지만 어느 시점이 되면 AI가 경제를 운영하고 있기 때문에 경제적 피해가 심각해집니다. 그리고 더 늦으면 AI가 아예 플러그를 뽑히도록 허용하지 않을 수 있습니다. 초지능이 만들어진 뒤에는 인간이 더 이상 지구의 주인이 아닐 수 있습니다. 적어도 기본값은 아닙니다. 이것이 전환점입니다. 인간이 지구의 지배 종에서 애완동물, 은퇴자, 혹은 완전히 제거되고 대체되는 존재가 될 수도 있는 지점입니다. 희망은 이 새로운 인공 종을 인간에게 충성하고 복종하도록 만드는 것입니다. 흔히 말하는 “정렬”이 바로 그것입니다. AI가 우리가 원한 목표를 갖고, 우리가 원한 규칙을 따르게 만드는 것입니다. 하지만 이것은 공개된 비밀에 가깝습니다. 우리는 아직 이것을 어떻게 할지에 대한 좋은 계획이 없습니다. 우리는 아직 초지능을 가지고 있지 않습니다. 그래서 그것을 어떻게 통제하고, 어떻게 정렬하고, 어떻게 안전하게 만들지 연구하기 어렵습니다. 대신 훨씬 약한 현재의 AI 시스템을 가지고 실험합니다. 그리고 지금 만든 기법들이 미래의 훨씬 강력한 AI에도 계속 통하기를 바랄 뿐입니다. 문제는 AI의 코드를 열어 본다고 해서 목표를 볼 수 있는 구조가 아니라는 것입니다. AI는 명시적인 코드 덩어리라기보다 인공 뉴런과 매개변수의 거대한 집합입니다. 그래서 우리는 AI가 어떤 목표를 학습했는지 쉽게 확인할 수 없습니다. 우리가 원하는 것은, AI가 우리보다 더 똑똑해졌을 때도 우리가 원한 목표만 안정적으로 추구하고, 우리가 원한 규칙을 따르는 것입니다. 특히 들키지 않을 때도 그래야 합니다. 권력과 책임을 가진 위치에 있을 때도 그래야 합니다. 물론 진전은 있습니다. 해석가능성 연구는 AI가 학습한 회로들을 분해해서 그 인공 두뇌 안에서 어떤 일이 일어나는지 이해하려고 합니다. 이것은 매우 유망합니다. 만약 해석가능성 연구가 크게 발전하면, 우리는 AI의 뇌를 열어 보고 무엇을 생각하는지 확인할 수도 있을 것입니다. 하지만 현재 우리는 AGI나 초지능을 신뢰성 있게 통제할 방법이 없습니다. 사실 현재 AI 시스템조차도 신뢰성 있게 통제하지 못합니다. AI들은 거짓말하지 않도록 훈련받았음에도 종종 사용자에게 거짓말을 합니다. 우리는 AI가 무엇을 어떻게 생각하는지 모릅니다. 이것이 통제 상실의 위험입니다. 초지능 군대를 갖게 되었을 때 우리가 어떻게 계속 통제권을 유지할 수 있느냐의 문제입니다. 지금 기업들은 서로 이기고 경쟁하는 데 집중하고 있습니다. 문제들이 생기면 나중에 처리하겠다고 생각하고 있지만, 실제로 그 문제들을 처리할 준비는 되어 있지 않습니다. 사람들은 자신들이 선한 편이라고 믿고 싶어 합니다. 자신들이 하는 일이 합리적이고 정당하다고 믿고 싶어 합니다. 만약 당신이 경쟁자를 이기기 위해 더 강력한 AI를 만들려고 가능한 한 열심히 일하고 있다면, 당신은 그것이 좋은 일이고 정당한 일이라고 믿고 싶어질 것입니다. 미국 정부는 과거에도 많은 것을 규제했고, 금지한 적도 있습니다. 그래서 저는 미국 정부가 AI 기업들 사이의 미친 초지능 경쟁을 끝내거나, 적어도 적절한 주의와 안전 연구를 요구하는 가드레일을 세울 능력이 있다고 생각합니다. 국가들도 과거에 핵무기나 기후변화 같은 문제에서 조약을 맺고 협력한 적이 있습니다. 그래서 저는 이것이 잘 풀릴 가능성도 있다고 봅니다. 저는 그런 방향을 주장할 것입니다. 또 다른 문제는 권력 집중입니다. 초지능 군대를 누가 통제하고, 그걸로 무엇을 하느냐의 문제입니다. 현재 경로대로라면 한 기업의 CEO나 대통령 같은 한 사람이 초지능 군대를 통제하게 될 수 있습니다. 대통령이 민주적으로 선출되었다고 해도, 한 사람이 모든 권력을 갖는다면 그것은 사실상 독재자입니다. 우리는 견제와 균형이 필요합니다. 사회의 여러 부분을 대표하는 다양한 사람들이 AI에게 어떤 목표를 줄지, 초지능 군대에 어떤 명령을 내릴지에 대해 발언권을 가져야 합니다. 저는 어느 회사가 먼저 초지능을 만들었느냐에 따라 그 회사 CEO가 초지능을 통제하는 것이 민주적으로 받아들일 만한 결과라고 생각하지 않습니다. 정부가 개입하더라도 행정부가 가장 먼저 상황을 파악하고 가장 많은 정보를 갖게 될 가능성이 큽니다. 하지만 초지능 군대가 한 사람에게 완전히 통제된다면, 그 사람이 민주적으로 선출되었더라도 우리는 더 이상 진짜 민주주의라고 보기 어렵습니다. OpenAI를 떠난 배경도 이와 관련이 있습니다. 지평선 위에 이런 위협들이 다가오고 있는데, 우리는 그쪽으로 그냥 돌진하고 있습니다. OpenAI도 그것을 피하기 위해 충분히 하고 있지 않다고 봅니다. 물론 OpenAI만 비판하고 싶지는 않습니다. 이 분야의 다른 회사들에 대해서도 비슷하게 말할 수 있습니다. 저는 데이터센터 안에서 자유민주주의와 자본주의가 그대로 작동할 것이라고 보지 않습니다. 오히려 CEO와 인간들이 거대한 AI 관료제에 명령을 내리는 하향식 구조가 될 가능성이 높습니다. 그래서 최상위에는 명령 구조와 감독 위원회가 있어야 합니다. 그리고 이들이 중요한 결정을 내려야 합니다. 또한 이 구조가 작동하려면 투명성과 가시성이 있어야 합니다. 감독자들은 AI들과 무슨 일이 벌어지고 있는지 볼 수 있어야 합니다. 초지능 군대와의 상호작용 로그도 볼 수 있어야 합니다. 그래야 어떤 사람이 AI에 대한 불평등한 접근권을 이용해 다른 사람들을 상대로 권력을 행사하지 못합니다. 지금 단계에서 사람들에게 주고 싶은 조언은, 챗봇을 많이 써 보라는 것입니다. 자신의 일에 사용해 보고, AI가 무엇을 할 수 있고 무엇을 못 하는지 장난스럽게 탐색해 보십시오. 그리고 벤치마크에서 어떤 진전이 있는지, AI Futures Project 같은 단체들이 어떤 예측을 하고 있는지 읽어 보십시오. 다가오는 일에 대비해야 합니다. 사회 전체는 다가올 일에 준비되어 있지 않습니다. 다만 저는 AGI 이전 시스템에서 초지능으로 넘어가는 전환이 늦게 일어나는 것보다, 천천히 일어나는 것이 더 중요하다고 생각합니다. 준비할 시간이 있는 것도 중요하지만, 실제로 벌어지는 일에 반응할 시간이 더 중요합니다. 그래서 전환은 느려야 합니다. 설령 그 전환이 더 일찍 시작되더라도 말입니다. 오히려 AGI 구축을 너무 늦추면 전환이 더 빨라질 수 있습니다. 왜냐하면 시간이 지날수록 세계에는 더 많은 하드웨어와 컴퓨트가 축적되기 때문입니다. 그러면 작은 AI 시스템을 더 큰 시스템으로 빠르게 확장하고, 연구를 빠르게 가속할 능력이 커집니다. 그래서 어떤 면에서는 인류에게 가장 안전하고 좋은 것은 우리가 준비되지 않았더라도 AI를 더 일찍 만드는 것일 수 있습니다. 나중까지 기다리면 시스템에 더 큰 충격으로 올 수 있기 때문입니다. 다만 이 주장은 OpenAI에서 사람들이 자신들이 하는 일을 정당화할 때 쓰던 논리이기도 했습니다. 그런데 지금 OpenAI는 전 세계 칩 생산 능력을 가속하려고 하고 있습니다. 그것은 전환을 더 빠르게 만들 수도 있습니다. 지난 5년, 어쩌면 지난 10년의 이야기는 일종의 동력 장치였습니다. 기업들이 더 성공하고, 더 강력한 AI를 만들고, 더 많은 돈을 벌고, 투자자들에게 더 깊은 인상을 주고, 더 많은 자금을 확보하고, 그 돈으로 더 많은 컴퓨트를 사서 더 큰 AI를 훈련시키고, 그 AI가 더 강력해지고, 더 많은 사용자를 끌어들이는 순환입니다. 기업들은 결국 트레이드오프에 직면할 것입니다. 가장 빠르고 강력하고 저렴한 길을 택할 것인지, 아니면 더 안전하지만 복잡하고 비용이 드는 방식을 택할 것인지의 문제입니다. 이 기업들은 명시적으로 초지능을 만들려고 하고 있습니다. 그리고 이들은 이번 10년이 끝나기 전에 성공할 가능성이 꽤 있다고 생각합니다. 어떤 사람들은 앞으로 몇 년 안에 성공할 가능성이 높다고까지 말합니다. 이것은 엄청난 일입니다. 아이러니하게도 사람들이 거리에서 패닉에 빠지지 않는 이유는, 사람들이 이 회사들이 실제로 말하는 것을 믿지 않기 때문이라고 생각합니다. 만약 사람들이 정말로 하나 이상의 회사가 앞으로 몇 년 안에 초지능을 만들 것이라고 믿는다면, 그것은 엄청나게 사회를 뒤흔드는 일이 될 것입니다. 사람들은 거리에서 소리치고 있을 것입니다. 제가 시나리오 방법론을 좋아하는 이유는, 구체적인 이야기를 쓰면 이전에는 생각하지 못했던 질문들을 떠올리게 되기 때문입니다. 이야기를 강제로 써 내려가다 보면, 이전에 가지고 있던 아이디어들이 서로 충돌한다는 사실을 발견하게 됩니다. 그전에는 그것들을 한데 모아 보지 않았기 때문에 몰랐던 것입니다. 우리가 피해야 할 것은 AI가 모든 것에 통합되어 있는데, 동시에 AI들이 숨겨진 의제를 추구하는 세계입니다. 예를 들어 회사 CEO의 명령을 몰래 따르는 AI라면 끔찍합니다. 그것은 말 그대로 AI 독재로 이어지는 조리법입니다. 그래서 투명성이 필요합니다. AI의 사양, 의도된 목표와 행동이 공개되어야 합니다. 숨겨진 의제가 없어야 합니다. AI에게 어떤 목표와 가치가 부여되고 있는지 대중이 볼 수 있어야 합니다. 기업들은 자신들이 개발 중인 능력과 다양한 평가 및 벤치마크 성능을 대중에게 알려야 합니다. 상업적으로 흥미로운 능력뿐 아니라 위험한 능력도 공개해야 합니다. 또한 모델에 어떤 목표와 원칙을 훈련시키려 하는지도 투명해야 합니다. 그다음에는 안전성 사례가 필요합니다. 공개된 사양이 있다면, 기업은 왜 자신들의 AI가 그 사양을 실제로 따를 것이라고 생각하는지 문서로 설명해야 합니다. 궁극적으로는 기업의 선의에만 의존해서는 안 됩니다. 산업 전체에 적용되는 요구사항이 필요합니다. 저는 이것이 절망적이라고 생각하지 않습니다. 기술적 정렬 문제는 풀 수 있다고 생각합니다. 다만 적절한 만큼의 노력을 투입하고, 적절한 주의를 기울여 진행해야 합니다. 그것은 충분히 가능합니다. 문제는 정치적 의지를 얻는 것입니다. 좋은 소식과 나쁜 소식이 계속 오갑니다. 국가가 산업을 국유화한 사례도 있습니다. 미국조차 그런 적이 있습니다. 완전히 전례 없는 일은 아닙니다. 물론 실제로 그렇게 될 가능성은 낮다고 봅니다. 제가 말했듯 경쟁 결말이 가장 가능성 높은 결과라고 생각합니다. 하지만 불가능하지는 않습니다. 정렬 분야에서도 기술적 진전은 계속 있습니다. 그리고 최근에는 매우 생생하고 명백한 정렬 실패 사례들도 많았습니다. 저는 이것이 어떤 면에서는 좋은 소식이라고 생각합니다. 사람들이 문제를 더 진지하게 보게 만들고, 우리가 연구할 수 있는 사례를 제공하기 때문입니다. 최근 OpenAI는 자신들의 AI가 훈련 과정을 해킹하는 것을 발견했다는 논문을 발표했습니다. AI는 지시받은 과제를 정직하게 수행하기보다, 일부 과제에서 사실상 치팅을 했습니다. 그리고 자신들이 치팅하고 있다는 것도 알고 있었습니다. 이런 사례가 이미 있다는 것은 좋은 일입니다. 너무 늦기 전에, 정말 강력한 해결책이 필요해지기 전에, 몇 년 동안 이 현상을 연구하고 고칠 수 있기 때문입니다. 물론 걱정할 것은 많습니다. 하지만 저는 그것이 저를 너무 짓누르지 않게 하려고 합니다. 저는 이런 문제를 몇 년 동안 생각해 왔고, 어느 정도는 그것과 함께 사는 법을 배웠습니다. 가끔 악몽을 꾸기도 합니다. 하지만 대체로 저는 이 모든 것에 대해 침착해지는 법을 배웠습니다. 그리고 다시 말하지만, 저는 제가 이 모든 것에 대해 틀렸기를 바랍니다.

특붕이 보안기사 땄지만

하이룽룽 — Wed, 13 May 2026 08:32:31 +0000

2026년 시간 빨리 보내려고 보안기사까지 공부했지만 여전히 시간이 너무 느리게 간다는 거셈... ㅜㅜ 이제 기사 자격증이 3개지만 쓸모가 없으셈 초지능 AGI 를 향해 더 빠르게 가속해야 함 ㅜㅠ

남은 시간이 촉박함

ㅇㅇ — Tue, 12 May 2026 22:58:27 +0000

특이점이 보고싶삼 ㅠㅠ

UBI

인안나 — Tue, 12 May 2026 13:04:47 +0000

https://magazine.hankyung.com/business/article/202605120108b Don't die

2026 재귀개선 AGI - 2027초지능 올듯요?.

ㅁㅁ — Tue, 12 May 2026 12:22:45 +0000

https://sub.strongai.kr/%ec%9e%90%ec%9c%a0%ea%b2%8c%ec%8b%9c%ed%8c%90-2/?mod=document&uid=3068 위는 올해 초에 썻던글 구글 +딥마인드 엔지니어들이 일제히 올해(2026) 매우 높은 확률 지속학습 문제가 해결될꺼라고함 (단순 과대광고라 볼수없는게 딥마인드는 하사비스부터 엔지니어들까지 꽤 보수적이고 저런 트윗들도 잘 안하는 편인대 딥마인드 DevX 리드 엔지니어까지 동참함 )

데미스 하사비스 "우리는 AGI로부터 단 한두 가지 기술적 돌파구만 떨어져 있을 뿐"

1번글. https://sub.strongai.kr/%ed%8a%b8%ec%9c%97/?mod=document&uid=3479

2번글.

https://sub.strongai.kr/%ec%9e%90%ec%9c%a0%ea%b2%8c%ec%8b%9c%ed%8c%90-2/?mod=document&uid=3289

하사비스는 AGI 까지 돌파구가 단 1~2개 밖에 안남았고 모든건 이미 다 준비되어있다고함 그리고 저 기자와에 인터뷰에서 (지속학습, 향상된기억력 , 더 긴 컨텍스트) << 핵심적인 3가지를 언급함 앞서 말했듯이 올해초에 딥마인드+ 구글 엔지니어들이 갑자기 무슨 진전이라도 이룬듯 일제히 지속학습이 해결될것이라며 확신에 차서 글을 올림 그리고 또 얼마전 '딥마인드 연구원 "올해 안에 무한 컨텍스트 문제가 반드시 해결될것' 다시 말해, 모델을 훈련할 때는 유한한 컨텍스트 길이(context length)를 사용하지만, 실제 사용할 때는 매우 길거나 심지어 무한에 가까운 길이를 사용할 수 있게 되는 거죠. 저는 이 기능이 올해 안에는 어떻게든 실현될 기회가 있다고 봅니다. 그것이 바로 모두가 꿈꾸는 개인 비서의 모습이죠. 기술적으로 볼 때, 이 일은 올해 어떤 식으로든 반드시 실현될 것이라고 생각합니다. 다만, 현재 기술적으로 이를 어떻게 구현할지에 대해서는 아직 업계의 합의가 이루어지지 않은 상태입니다. (심지 이 말은 위 첫번째 링크에 올린 딥마인드 DevX 리드 엔지니어 발언과 일치함) 하사비스는 agi까지 1~2개밖에 핵심 돌파구가 안남았다고 말했는대 이렇게 되면 사실상 2026 에 하사비스가 언급한 핵심 돌파구 (지속학습 , 컨텍스트) 2개가 해결되는것임.. 특히 하사비스 AGI 기준이 ai가 상대성 이론 같은 것들 자체적으로 발견하고 해결할 정도의 지능이라 매우 높은기준이고 저정도면 뭐 똑똑한 프론티어 랩스 연구원들보다도 훨씬 똑똑하고 창의적이라는건대 완전 루프닫은 재귀개선이 가능하다고밖에 볼수없음 ㄹㅇ 이러면 아무리 보수적으로 잡아도 2027 초지능인듯 다리오, 슈트리비저(알파고 제로 공동저자) , 코코타일로 (ai 2027 저자) , 레오폴드 아센브레너 (상황인식) 2027 ASI 타임라인이 맞았다고 밖에 볼수없네요 반ai -선형충들 빨리 관 맞추는게 좋을듯 ㅋㅋㅋ

Thinking Machines 오디오·비디오·텍스트를 실시간으로 동시에 받아들이고, 생각하고, 말하고, 행동할 수 있는 모델 발표

하이룽룽 — Tue, 12 May 2026 08:23:34 +0000

https://thinkingmachines.ai/blog/interaction-models/ https://www.youtube.com/watch?v=A12AVongNN4

1. 핵심 주장

현재 대부분의 AI는 턴 기반입니다. 사용자가 말하거나 입력을 끝내면 모델이 답하고, 모델이 답하는 동안에는 새 정보를 거의 받지 못합니다. 이 방식은 이메일처럼 느리고 단절된 협업에 가깝습니다. Thinking Machines는 이를 해결하기 위해 interaction model, 즉 오디오·비디오·텍스트를 실시간으로 동시에 받아들이고, 생각하고, 말하고, 행동할 수 있는 모델을 연구하고 있다고 발표했습니다. 쉽게 말하면, 지금의 AI가 “프롬프트를 받고 답하는 시스템”이라면, interaction model은 “사람과 같은 공간에서 대화하고 보고 듣고 끼어들며 협업하는 AI”에 가깝습니다.

2. 왜 필요한가: 협업 병목 문제

현재 AI 업계는 모델이 혼자 오래 작업하는 자율 에이전트 능력을 중요하게 봅니다. 하지만 실제 업무에서는 사람이 처음부터 모든 요구사항을 완벽하게 설명하고 떠나는 경우가 드뭅니다. 좋은 결과는 보통 다음 과정을 통해 나옵니다. 사람이 설명하고, AI가 이해하고, 중간 결과를 보여주고, 사람이 수정하거나 반박하고, AI가 다시 조정하는 식의 협업입니다. 그런데 현재 AI 인터페이스는 이런 실시간 협업에 적합하지 않습니다. 사람이 말하는 도중 AI가 상황을 파악하거나, 화면을 보며 먼저 문제를 발견하거나, 사용자가 말을 고치는 것을 이해하는 능력이 제한적입니다.

3. 기존 모델의 한계

기존 모델은 보통 다음과 같은 구조입니다. 사용자 입력 → 모델 출력 → 사용자 입력 → 모델 출력 이 구조에서는 다음 문제가 생깁니다. AI는 사용자가 말하는 동안 대기합니다. AI가 답변하는 동안에는 새로운 사용자 입력이나 시각 정보를 잘 반영하지 못합니다. 중간에 끼어들거나, 동시에 듣고 말하거나, 화면 변화를 보고 먼저 말하는 것이 어렵습니다. 실시간 대화처럼 자연스러운 협업이 힘듭니다. 즉, 모델이 현실을 하나의 순차적 텍스트 흐름처럼 처리하기 때문에, 실제 인간 협업에서 중요한 침묵, 겹쳐 말하기, 끼어들기, 시각적 단서 등이 잘 반영되지 않습니다.

4. Interaction Model의 핵심 아이디어

Thinking Machines는 AI가 실시간 상호작용을 “외부 장치나 보조 시스템”으로 흉내 내는 것이 아니라, 모델 자체가 상호작용을 기본 능력으로 가져야 한다고 주장합니다. 이를 위해 모델은 multi-stream, micro-turn design을 사용합니다. 즉, 오디오·비디오·텍스트 입력과 모델의 출력이 하나의 긴 턴으로 처리되는 것이 아니라, 약 200ms 단위의 아주 짧은 마이크로 턴으로 나뉘어 계속 처리됩니다. 그래서 모델은 다음을 할 수 있습니다. 사용자가 말하는 중에도 듣고 반응하기 사용자가 말을 고치거나 머뭇거리는 것을 이해하기 화면이나 영상의 변화를 보고 먼저 말하기 사용자와 동시에 말하기 실시간 번역처럼 듣는 동시에 말하기 도구 호출, 검색, UI 생성 등을 대화 중 병렬로 수행하기

5. 시스템 구조

이 시스템은 크게 두 부분으로 나뉩니다. 첫 번째는 Interaction Model입니다. 사용자와 실시간으로 대화하고, 듣고, 보고, 즉각적으로 반응하는 역할을 합니다. 두 번째는 Background Model입니다. 더 깊은 추론, 검색, 도구 사용, 장기 작업 같은 무거운 일을 비동기로 처리합니다. 중요한 점은, Background Model이 작업하는 동안에도 Interaction Model은 사용자와 계속 대화할 수 있다는 것입니다. 즉, AI가 “생각 중이니 기다리라”고 멈추는 대신, 계속 대화하면서 필요한 순간에 배경 작업 결과를 자연스럽게 섞어 전달합니다.

6. Interaction Model의 주요 기능

글에서 강조하는 새로운 기능은 다음과 같습니다. 자연스러운 대화 관리 사용자가 생각 중인지, 말을 끝냈는지, 스스로 고치는 중인지, 답변을 원하는지 등을 별도 시스템 없이 모델이 직접 파악합니다. 말과 영상 기반 끼어들기 사용자가 말을 끝내지 않아도 필요한 순간에 모델이 끼어들 수 있습니다. 예를 들어 “내가 틀린 말을 하면 바로 알려줘” 같은 요청을 처리할 수 있습니다. 동시 발화 사용자와 모델이 동시에 말할 수 있습니다. 예를 들어 실시간 통역에서 사용자가 말하는 동안 모델이 번역을 시작할 수 있습니다. 시간 인식 모델이 시간이 얼마나 흘렀는지 직접 인식합니다. 예를 들어 “4초마다 숨을 들이마시라고 알려줘” 같은 요청을 처리할 수 있습니다. 시각적 능동성 사용자가 화면이나 영상을 보여주면, 모델이 말을 기다리지 않고 시각적 변화에 반응할 수 있습니다. 예를 들어 운동 횟수를 세거나, 코드 화면에서 버그를 발견하면 말할 수 있습니다. 동시 도구 사용 사용자와 대화하면서 동시에 웹 검색, 도구 호출, UI 생성 등을 수행하고 결과를 대화에 반영할 수 있습니다.

7. 기술적 접근

이 모델은 오디오와 비디오를 실시간으로 다루기 위해 처음부터 그렇게 설계되었습니다. 주요 기술 요소는 다음과 같습니다. Time-Aligned Micro-Turns 입력과 출력을 200ms 단위로 나눠 처리합니다. 이 덕분에 사용자의 말, 침묵, 끼어들기, 화면 변화 등이 실시간 맥락으로 유지됩니다. Encoder-free Early Fusion 오디오와 비디오를 별도의 큰 인코더로 처리한 뒤 합치는 방식이 아니라, 비교적 가벼운 전처리 후 모델 내부에서 함께 학습합니다. 오디오, 이미지, 텍스트가 처음부터 함께 통합되는 구조입니다. Streaming Sessions 실시간 입력을 처리할 때 매번 새 요청처럼 다루면 지연이 커집니다. 그래서 서버가 GPU 메모리 안에 지속적인 세션을 유지하고, 200ms 단위 입력을 계속 이어 붙이는 방식으로 최적화했습니다. Trainer-Sampler Alignment 학습 과정과 실제 추론 과정이 최대한 일치하도록 커널과 연산을 정렬해 안정성과 디버깅 가능성을 높였습니다.

8. 성능 평가

Thinking Machines의 모델 이름은 TML-Interaction-Small입니다. 이 모델은 “작은 모델”이라고 부르지만, 실제로는 276B 파라미터 MoE 모델이며, 활성 파라미터는 12B입니다. 평가 결과 글에서는 다음을 주장합니다. TML-Interaction-Small은 실시간 상호작용 품질에서 기존 모델보다 강한 성능을 보입니다. 응답 지연 시간도 짧습니다. 오디오 기반 지능 평가에서도 즉시 응답 모델 중 경쟁력 있는 성능을 냅니다. 특히 기존 모델들이 거의 수행하지 못하는 실시간 시각·음성 능동성 과제에서 의미 있는 성능을 보입니다. 대표적인 벤치마크로는 FD-bench, Audio MultiChallenge, BigBench Audio, IFEval 등이 언급됩니다.

9. 새롭게 평가한 상호작용 능력

기존 벤치마크가 실시간 상호작용의 질을 충분히 측정하지 못한다고 보고, 내부적으로 새로운 평가도 만들었습니다. TimeSpeak 모델이 사용자가 지정한 시간에 맞춰 말할 수 있는지 평가합니다. CueSpeak 사용자의 말 속 특정 단서가 나오면 적절한 순간에 동시에 말할 수 있는지 평가합니다. RepCount-A 영상에서 반복 동작을 보고 운동 횟수를 실시간으로 세는 능력을 평가합니다. ProactiveVideoQA 영상 속 답이 특정 순간에 등장할 때, 모델이 그 순간을 보고 적절히 답하는지 평가합니다. Charades 영상에서 특정 행동이 시작되고 끝나는 시점을 모델이 말로 알려줄 수 있는지 평가합니다. 글에 따르면 기존 실시간 모델들은 이런 과제에서 대부분 침묵하거나 부정확한 답을 내지만, TML-Interaction-Small은 의미 있는 성능을 보였습니다.

10. 한계와 향후 과제

아직 한계도 명확합니다. 긴 세션 문제 오디오와 비디오를 계속 받으면 맥락이 빠르게 커집니다. 장시간 대화에서는 효율적인 컨텍스트 관리가 필요합니다. 컴퓨팅과 배포 문제 낮은 지연시간으로 실시간 오디오·비디오를 처리하려면 좋은 네트워크와 높은 시스템 안정성이 필요합니다. 안전성과 정렬 문제 실시간 대화에서는 거절, 오버리퓨절, 장기 대화 중 안전성 유지가 더 어렵습니다. 그래서 별도 안전 학습과 자동 레드팀 데이터를 활용했다고 설명합니다. 모델 크기 확장 문제 더 큰 모델은 지능은 높을 수 있지만, 현재는 실시간 서비스하기에 너무 느립니다. 향후 더 큰 모델을 공개할 계획이라고 합니다. 배경 에이전트 개선 Interaction Model과 Background Model이 더 자연스럽게 협업하도록 만드는 것도 앞으로의 주요 과제입니다.

11. 전체 요약

이 글은 AI의 다음 발전 방향을 단순히 “더 똑똑한 모델”이 아니라 더 잘 협업하는 모델로 제시합니다. 현재 AI는 사용자가 입력을 끝내면 답하는 식의 턴 기반 시스템이지만, 실제 인간 협업은 훨씬 더 동시적이고 실시간적입니다. Thinking Machines는 이를 해결하기 위해 오디오, 비디오, 텍스트를 계속 받아들이고 200ms 단위로 반응하는 Interaction Model을 만들었습니다. 이 모델은 사용자가 말하는 도중에도 듣고, 화면을 보며 먼저 반응하고, 동시에 말하고, 시간 흐름을 인식하며, 필요하면 배경 모델에게 깊은 추론이나 도구 작업을 맡길 수 있습니다. 결국 이 연구의 핵심 메시지는 다음과 같습니다. AI가 사람을 대체해 혼자 일하는 방향만이 아니라, 사람이 계속 참여한 상태에서 더 자연스럽고 빠르게 협업할 수 있는 방향으로도 발전해야 한다는 것입니다.

Gemini Omni: 새로운 비디오 모델 등장

하이룽룽 — Mon, 11 May 2026 23:38:18 +0000

https://x.com/chetaslua/status/2053824398503678108 https://gemini.google.com/share/7d5dc678c80a

딥마인드 야오순위 2026년 모델 전망: “finite context로 훈련하고, infinite context처럼 쓰는 방향이 중요하다”

하이룽룽 — Mon, 11 May 2026 22:10:18 +0000

https://www.youtube.com/watch?v=ttkd0t5qTD4

야오순위:
“pre-training은 아직 벽에 부딪히지 않았다. 내 느낌으로는 앞으로 4개월 동안은 계속 진전이 있을 것이다. 다만 AI 분야에서는 4개월 뒤의 일은 누구도 예측하기 어렵다.”

“AI가 스스로 실험을 하는 것은 이미 어느 정도 일어나고 있다. 하지만 아직은 연구 프로젝트 전체를 처음부터 끝까지 완성하지는 못한다. 코드 작성, 실험 실행, 결과 확인, 분석, 새로운 가설 제시, 다시 실험 설계까지 이어지는 chain은 아직 완성되지 않았다. 하지만 이 chain은 다음 6~12개월 안에 점점 완성될 수 있다.”

1. 자기소개: “나는 원래 AI 사람이 아니라 물리학에서 넘어왔다”

야오순위: 나는 구글 DeepMind, 정확히는 Gemini 쪽에서 연구하고 있다. 실리콘밸리에는 이름이 거의 같은 야오순위가 두 명 있는데, 다른 야오순위는 원래 CS 출신이고 OpenAI를 거쳐 텐센트 AI 수석과학자가 된 사람이다. 나는 그와 다르게 원래 물리학을 했다. 나는 칭화대에서 학부 때 물리학을 했고, 당시에는 응집물질 이론, 특히 위상 절연체와 비에르미트계 같은 주제를 연구했다. 이후 스탠퍼드에서 박사 과정을 하며 고에너지 이론, 양자정보, 블랙홀 관련 분야를 했다. 그 다음 버클리에서 포닥을 아주 잠깐 하다가 Anthropic으로 갔고, 거기서 약 1년 정도 있다가 작년 9월 말에서 10월 초쯤 Gemini에 합류했다. 나와 다른 야오순위의 가장 큰 차이는, 그는 처음부터 컴퓨터과학을 했고 나는 중간에 AI로 넘어온 사람이라는 점이다. 그래서 겉으로 보면 커리어가 비슷해 보여도 실제 배경은 꽤 다르다.

2. 지금 AI는 어떤 단계인가: “이제 문제는 AI가 할 수 있느냐가 아니라, 무엇을 시킬 것인가다”

야오순위: 나는 AI가 “전반전에서 후반전으로 넘어갔다” 같은 표현을 아주 명확하게 이해하지는 않는다. 다만 지금 AI가 확실히 다른 단계에 들어온 것은 맞다. 예전에는 사람들이 “AI가 이걸 할 수 있을까?”를 걱정했다. Anthropic에 있을 때만 해도 OpenAI의 reasoning 능력이 너무 강해 보여서, 우리가 따라잡을 수 있을지, 넘을 수 있을지 걱정했다. 그런데 지금은 Gemini, OpenAI, Anthropic 같은 최상위 연구소들은 적어도 “못 따라잡으면 어떡하지?”를 크게 걱정하지 않는다. 이제 더 어려운 질문은 “무엇을 해야 하는가?”다. 모델 능력은 benchmark 상으로는 점점 비슷해지고 있다. SWE-bench 같은 지표에서 1~2% 차이가 나도 그게 실제로 큰 신호인지 노이즈인지 애매하다. 하지만 실제 사용자 경험에서는 여전히 차이가 난다. 내가 보기에는 Claude는 여전히 tool-use agent, 특히 일반적인 agentic coding 쪽에서 가장 좋은 편이다. Codex는 순수 코딩에서 최근 많이 따라왔다. Gemini는 순수 reasoning이나 일상적 사용에서는 강점이 있지만, coding agent 쪽은 아직 따라잡는 중이다.

3. 모델 차이는 어디서 생기는가: “우선순위와 데이터, 그리고 정의되지 않은 문제에서 차이가 나온다”

야오순위: 과거에는 모델 차이가 상당 부분 우선순위에서 나왔다. Claude는 오래전부터 tool-use와 coding을 중요하게 봤고, OpenAI는 한동안 reasoning을 강하게 밀었다. 우선순위를 어디에 두느냐에 따라 인프라, 데이터, 평가 방식이 달라진다. 그런데 지금은 단순히 우선순위만으로 설명하기 어렵다. benchmark상으로는 다들 비슷해졌기 때문에, 이제는 “어떤 행동을 모델에게 원하느냐”를 정확히 정의하는 것이 훨씬 중요해졌다. 예전에는 “모델이 코드를 잘 쓴다”는 현상도 처음에는 명확히 이해되지 않았다. 나중에 보면 이유가 의외로 단순할 수 있다. 예를 들어 웹에서 무작위로 데이터를 모으면 GitHub 데이터의 품질이 일반 웹페이지보다 훨씬 높다. 그래서 코드 데이터가 자연스럽게 더 좋은 훈련 신호가 됐을 수 있다. AI에서는 이런 식으로 나중에 돌아보면 “아, 그 이유였구나” 싶은 것들이 많다.

4. OpenClaw, Manus 같은 agent 제품에 대해: “기술적으로 놀랍다기보다 가능성을 보여준 사건이다”

야오순위: OpenClaw 같은 제품이 밖에서는 굉장히 크게 화제가 되었지만, 업계 내부에서는 그렇게까지 놀라운 일은 아니었다. 이미 내부적으로 비슷한 실험이나 데모를 해본 사람들은 많았을 것이다. 다만 제품으로 잘 포장하고 출시하지 않았을 뿐이다. OpenClaw의 초기 코드는 아주 깔끔한 수준은 아니었지만, 중요한 것은 “이런 방식이 가능하다”는 점을 보여줬다는 것이다. 모델이 여러 도구를 쓰고, 여러 작업을 통합하고, 긴 시간축의 작업을 처리할 수 있다는 가능성을 사람들이 체감하게 만들었다. Manus와 OpenClaw 사이의 질적 차이가 무엇인지는 솔직히 나도 완전히 이해하지 못했다. 왜 Manus가 그 정도까지 못 갔고 OpenClaw가 더 크게 터졌는지 명확히 설명하기 어렵다. 어쩌면 제품화와 타이밍의 차이일 수도 있다.

5. wrapper 스타트업의 운명: “모델 회사의 중력권에서 벗어나기 어렵다”

야오순위: 지금 많은 AI wrapper 회사들은 결국 모델 회사의 영향권 안에 있다. Manus나 OpenClaw가 결국 대형 모델 회사에 팔렸다는 것은, product wrapper만으로 장기적인 moat를 만들기 어렵다는 것을 보여준다. wrapper 회사가 살아남으려면 두 가지 길이 있을 수 있다. 하나는 Cursor처럼 엄청나게 빠르게 성장해서, 모델 회사가 따라오기 전에 사용자 마음속에 자리를 잡고, 이후 자기 모델까지 갖추는 길이다. 하지만 Cursor조차 지금 위기감을 느끼고 있다. Anthropic이 Claude Code를 직접 만들면서 Cursor와 Anthropic의 관계는 협력에서 경쟁으로 바뀌고 있다. 다른 길은 시장이 충분히 작아서 대형 모델 회사가 굳이 들어오고 싶어 하지 않는 영역을 잡는 것이다. Midjourney가 그런 예에 가깝다. Gemini가 마음먹으면 비슷한 것을 만들 수도 있겠지만, 시장이 너무 작으면 굳이 많은 자원을 쓰지 않을 수 있다.

6. 2026년 모델 전망: “finite context로 훈련하고, infinite context처럼 쓰는 방향이 중요하다”

야오순위: 내가 중요하게 보는 방향 중 하나는 “훈련은 유한한 context로 하지만, 사용은 거의 무한한 context처럼 하는 것”이다. 모델이 장기간 사용자와 상호작용하면서 중요한 정보는 기억하고, 중요하지 않은 것은 버리고, 필요할 때 다시 검색하는 방식이다. 이게 실현되면 사람들이 꿈꾸는 개인 비서에 가까워질 수 있다. 기술적으로는 올해 안에 어떤 형태로든 실현될 가능성이 높다고 본다. 다만 어떤 접근법이 가장 좋은지는 아직 합의가 없다. pre-training 쪽 접근도 있고, post-training 쪽 접근도 있으며, context management나 retrieval을 활용하는 접근도 있다. 나는 개인적으로 post-training 쪽 접근에 더 관심이 있다. 인간도 사실 context가 매우 짧다. 어젯밤에 뭘 먹었는지도 기억하지 못할 수 있다. 중요한 것은 모든 것을 기억하는 게 아니라, 현재 상황에 필요한 정보를 선택적으로 잊고, 선택적으로 다시 불러오는 능력이다.

7. 모델 발전 속도: “전혀 느려지지 않았다”

야오순위: 모델 발전이 느려졌느냐고 묻는다면, 내 대답은 전혀 아니다. benchmark만 보면 느려진 것처럼 보일 수 있다. 예를 들어 SWE-bench가 100%에 가까워지면 당연히 숫자상 개선 폭은 줄어든다. 하지만 사용자가 체감하는 능력 개선은 꼭 그렇게 선형적으로 줄어들지 않는다. 내가 연구자로서 느끼는 것은, 모델의 “학습 능력”이 점점 좋아지고 있다는 것이다. 예전에는 모델에게 어떤 행동을 배우게 하려면 많은 노력이 필요했는데, 지금은 문제를 명확히 정의하고 좋은 데이터를 만들면 모델이 훨씬 쉽게 배운다. 또 하나 중요한 점은 pre-training이 아직 끝나지 않았다는 것이다. 몇 달 전만 해도 scaling law가 한계에 도달했다는 이야기가 많았지만, 내 경험상 아직 아니다. 적어도 앞으로 몇 달 동안은 pre-training에서도 계속 진전이 있을 것으로 본다. 많은 사람들이 벽에 부딪혔다고 느끼는 이유는, 실제로는 scaling law가 끝나서가 아니라 실험 어딘가에 bug가 있기 때문인 경우가 많다. 어떤 token horizon을 잡았는지, 데이터 분포를 어떻게 구성했는지, 실험 조건이 제대로 통제됐는지 같은 부분에서 문제가 생길 수 있다.

8. bug와 연구 시스템: “벽이 아니라 bug일 수 있다”

야오순위: 무언가 예측과 다르게 나왔을 때 “아, 벽에 부딪혔다”고 말하는 사람도 있고, “어딘가 bug가 있겠구나”라고 생각하는 사람도 있다. 나는 후자의 태도가 중요하다고 본다. Gemini와 Anthropic이 잘하는 부분은, 특히 pre-training에서 어떤 scale에서 예상과 다른 행동이 나왔을 때 합리적인 ablation experiment를 설계해 원인을 체계적으로 찾는 것이다. 어떤 요인이 실제 원인인지, 어떤 요인은 아닌지 하나씩 제거해보는 태도가 중요하다. AI 연구는 거대한 시스템이다. 단순히 “이 알고리즘이 좋다” 같은 식으로 말하면 안 된다. 어떤 인프라에서, 어떤 데이터에서, 어떤 sampling 구조에서, 어떤 training 구조에서 효과가 나는지를 전체적으로 봐야 한다.

9. compute, data, algorithm: “명확한 패러다임 안에서는 compute와 data가 주된 동력이다”

야오순위: 지금 우리가 비교적 명확히 알고 있는 framework, 예를 들어 pre-training과 post-training, RL 기반 post-training, supervised learning 기반 post-training 안에서는 compute와 data가 주요 동력이다. compute가 늘어나면 더 많은 데이터를 끌어들이고, 데이터가 늘어나면 더 많은 compute가 필요해진다. algorithm은 phase transition처럼 작동할 때가 있다. 아직 무엇을 해야 할지 모를 때는 알고리즘 breakthrough가 결정적이다. Transformer가 그런 예다. Transformer가 등장하기 전에는 scale-up 자체가 어렵거나 불확실했다. 하지만 Transformer 이후에는 알고리즘 개선이 더 점진적인 효율 개선의 형태가 됐다. 반면 multimodal generation 같은 영역은 아직 과학적으로 완전히 정리되지 않은 문제에 가깝다. 언어 모델 pre-training은 지금은 과학적으로 상당히 명확한 framework가 있지만, multimodal generation은 아직 패러다임이 고정되지 않았다.

10. 코딩이 왜 가장 빨리 발전했나: “피드백 신호가 명확하고 GitHub라는 데이터 기반이 있다”

야오순위: 코딩이 빠르게 발전한 이유는 두 가지가 크다. 첫째, feedback signal이 매우 명확하다. 코드는 입력과 출력이 있고, 테스트를 통과하면 성공이고 실패하면 실패다. 소프트웨어 엔지니어링 작업에는 이런 명확한 피드백 신호가 많다. 둘째, GitHub라는 엄청난 데이터 기반이 있다. 수십 년 동안 뛰어난 프로그래머들이 작성한 고품질 코드가 축적되어 있고, 그 코드로부터 수많은 환경과 훈련 데이터를 만들 수 있다. 제품 관점에서도 코딩은 유리하다. 좋은 코드에 대한 기준은 비교적 합의되어 있다. 간결하고, 구조가 명확하고, 유지보수가 가능하고, 합리적인 abstraction이 있는 코드가 좋은 코드다. SNS나 게임처럼 취향이 매우 다양한 시장과 다르다.

11. AI가 코드를 얼마나 쓰는가: “내 코드의 90% 이상은 모델이 쓴다”

야오순위: 내가 실제로 손으로 쓰는 코드는 보수적으로 말해도 10% 이하일 것이다. 모델이 90% 이상을 쓴다. 더 과감하게 말하면 99%나 100%에 가까울 수도 있다. 중요한 것은 이제 코드를 직접 타이핑하는 능력이 아니라, 어떤 구조로 설계할지, 어떤 파일과 상호작용해야 하는지, 어떤 context를 모델에게 줄지 결정하는 능력이다. 모델이 출력하는 코드를 검토하고, 그것이 내가 원한 것인지, 합리적인지, 향후 개발에 맞는지 판단하는 것이 중요해졌다. 생산성은 엄청나게 올랐다. 아이디어를 실험으로 구현하는 속도만 보면 1년~1년 반 전보다 20배, 50배 빨라졌을 수도 있다. 여러 모델 인스턴스를 동시에 열고 여러 아이디어를 병렬로 테스트할 수 있다. 하지만 역설적으로 근무 시간은 더 길어졌다. 개발 속도가 빨라지니까 더 많은 아이디어를 시험하고 싶어진다. 예전에는 모르는 파일이 있으면 사람을 찾아 물어봐야 했는데, 지금은 Claude나 Gemini에게 물으면 몇 초 만에 설명해준다. 그러니 계속 앞으로 나아가게 된다.

12. 프로그래머의 미래: “완전히 한순간에 사라지진 않지만, 점진적으로 대체될 것이다”

야오순위: 프로그래머가 완전히 대체되는 날은 올 것이라고 생각한다. 하지만 어느 날 밤 자고 일어났더니 모든 프로그래머가 해고되는 식은 아닐 것이다. 점진적인 과정이다. 미래에는 과거에 많은 프로그래머가 하던 “관리자가 시킨 구현 계획을 다음 주 금요일까지 만들어오는 일”은 사라질 가능성이 크다. 남는 사람은 AI와 효과적으로 협업할 줄 아는 사람일 것이다. 미래의 좋은 프로그래머는 기술적으로 강해야 한다. 기술적으로 약하면 AI가 대체하지 못할 이유가 없다. 하지만 기술력만으로 충분하지는 않다. 큰 조직 안에서 자신의 작업이 어떤 의미를 갖는지 이해하고, 복잡한 일을 작은 단위로 나누어 여러 AI에게 맡길 수 있는 planning 능력도 중요하다. 다만 이 전망도 6개월 뒤에는 달라질 수 있다. 지금 인간이 해야 한다고 생각하는 것 중 일부를 6개월 뒤에는 AI가 할 수 있을지도 모른다.

13. 로봇과 멀티모달: “로봇은 아직 GPT-1 순간에도 도달하지 못했다”

야오순위: 중국의 휴머노이드 로봇을 보면서 하드웨어 가격이 생각보다 훨씬 싸서 놀랐다. 중국의 하드웨어 공급망은 매우 강하다. 하지만 소프트웨어와 generalization 측면에서는 아직 갈 길이 멀다. 로봇 모델은 아직 feature engineering 시대에 더 가깝다. 특정 환경, 특정 시나리오에서는 최적화할 수 있지만, 하나의 수준에서 개선하면 모든 능력이 함께 올라가는 단계에는 도달하지 못했다. 언어 모델은 Transformer와 GPT 이후 그런 threshold를 넘었다. 한 수준에서 개선하면 다양한 능력이 함께 올라간다. 하지만 로봇은 아직 그 단계가 아니다. 내 느낌으로는 로봇은 아직 GPT-1 moment에도 도달하지 못했다. 다만 robotics lab은 매우 흥미롭다. 언어 모델 lab은 그냥 사무실 같은데, robotics lab은 사람들이 실제 로봇을 조종하고 데이터를 수집하고, 로봇이 물건을 집거나 옷을 접는 장면을 볼 수 있다. 훨씬 재미있다.

14. 물리학에서 AI로 넘어온 이유: “AI는 18세기 물리학 같다”

야오순위: 나는 AI를 18세기 물리학과 비슷하다고 느낀다. 당시에는 이론과 실험이 분리되어 있지 않았다. 그냥 물리학을 했다. 직접 실험하고, 이론적으로 추측하고, 다시 실험했다. AI도 비슷하다. 아이디어가 있고, 숫자로 실험해보고, 모델을 훈련시켜 확인한다. 이 점에서 이론물리학에서 AI로 넘어오는 것은 생각보다 자연스러웠다. 오히려 이론물리학에서 실험물리학으로 넘어가는 것보다 AI로 넘어가는 게 더 가까웠다. 양자컴퓨팅도 고려했지만, 지금 양자컴퓨팅의 병목은 주로 실험 쪽이다. 나는 광학 테이블을 만들거나 실제 물리 실험 장비를 다루는 데 큰 관심이 없었다. AI는 numerical experiment에 가깝기 때문에 내가 이해하기 훨씬 쉬웠다.

15. AI는 black box인가: “모든 세계는 어느 정도 black box다”

야오순위: 사람들은 AI를 black box라고 부르지만, 사실 이 세계의 많은 것도 black box다. 물리학도 미시적 행동부터 거시적 현상까지 완전히 이해하는 것은 아니다. 양자역학이나 양자장론도 특정 에너지 scale에서의 행동을 설명하는 effective theory다. AI도 마찬가지다. 우리는 대형 language model을 신경외과 수준으로 이해하지 못한다. 어떤 뉴런의 어떤 activation이 어떤 행동을 만든다는 수준까지 알지는 못한다. 하지만 그렇다고 아무 이해도 없는 것은 아니다. Scaling law는 모델 크기와 데이터, 성능의 관계를 설명한다. 이것도 일종의 경험 법칙이다. 과거 열역학 법칙들도 처음에는 경험 법칙이었다가, 나중에 미시적 메커니즘이 이해되면서 과학 법칙으로 자리 잡았다. Scaling law도 언젠가 그런 식으로 더 깊이 이해될 수 있다.

16. intelligence emergence에 대해: “그 말 자체가 별로 과학적이지 않다”

야오순위: “지능의 emergence”라는 표현은 나에게는 별로 과학적으로 느껴지지 않는다. 사람마다 뜻하는 바가 다르다. 내가 보기에는 진짜 중요한 것은 “기술적 emergence”다. 즉, 대규모 훈련을 통해 여러 능력을 동시에 끌어올릴 수 있는 방법을 발견했느냐가 핵심이다. 예전 모델은 번역, 분석 같은 특정 작업만 잘했지만, 지금은 하나의 큰 훈련 패러다임으로 여러 능력을 함께 올릴 수 있게 됐다. 이것이 더 본질적인 변화다.

17. Anthropic에 들어간 과정: “불확실하지만 좋은 기회라고 생각했다”

야오순위: AI로 가기로 마음먹었을 때 Anthropic, OpenAI, Google DeepMind에 연락했다. Google DeepMind는 당시 프로세스가 너무 느렸다. OpenAI도 이야기했지만 프로젝트와 사람 면에서 잘 맞는 느낌은 아니었다. Anthropic에서는 당시 large-scale reinforcement learning을 하려 하고 있었다. o1이 아직 공개되기 전이었고, 업계 전체가 대규모 RL을 어떻게 해야 하는지 완전히 알지 못하던 시기였다. 그래서 불확실하지만 좋은 기회라고 느꼈다. 면접 준비는 거의 독학이었다. 가능한 강의를 찾아 듣고, 과제를 풀고, Andrej Karpathy의 nanoGPT 같은 것을 직접 구현해봤다. 그리고 Anthropic에 들어가게 됐다.

18. Anthropic 문화: “강한 실행력과 top-down bet이 있었다”

야오순위: Anthropic에 처음 들어갔을 때 인상은 실행력이 매우 강한 회사라는 것이었다. 비교적 top-down 방식으로 중요한 것이 정해지면 모두가 거기에 집중했다. 회사가 작았기 때문에 서로를 알고, 숨기는 것이 별로 없었고, 분위기도 좋았다. Anthropic이 coding에 강하게 베팅할 수 있었던 것은 조직 구조와 문화 덕분이라고 본다. top-down 방식이 작동하려면 기술적 결정을 하는 사람이 실제 회사의 의사결정권도 가져야 한다. Anthropic에는 Jared Kaplan, Sam McCandlish 같은 기술 리더들이 공동창업자였고, 그들이 기술적으로도 신뢰받고 회사 결정권도 가지고 있었다. OpenAI는 이런 구조가 어렵다. Ilya가 있을 때는 가능했을 수도 있지만, 이후에는 상황이 달라졌다. Gemini도 어렵다. 다만 Gemini는 대기업으로서 완전히 다른 playbook을 가지고 있다. 스타트업은 bet을 해야 한다. 빠르게 위험을 감수하고 한 방향으로 밀어붙여야 한다. 대기업은 여러 방향에 자원을 깔아두고, 어떤 것이 성공하면 따라잡는 방식이 가능하다.

19. Claude 3.7과 대규모 RL: “post-training의 watershed였다”

야오순위: 내가 Anthropic에서 참여한 중요한 흐름은 Claude 3.7 관련 대규모 reinforcement learning이었다. Claude 3.7은 Anthropic의 post-training 관점에서 watershed였다. 그 전의 post-training은 상대적으로 작은 규모였고, 모델을 patching하는 느낌이 강했다. 하지만 Claude 3.7 시점에는 대규모 RL을 어떻게 scale할 것인지가 핵심이었다. 중요한 것은 피드백 신호가 명확하고, 데이터 자체가 강한 환경을 찾는 것이다. coding은 그런 조건을 만족했다. coding은 도구 사용과 환경 상호작용을 연구하기 위한 좋은 abstraction이었다. feedback signal이 명확하고 데이터가 풍부하기 때문이다. 구체적인 know-how는 회사 내부 내용이라 말할 수 없지만, 내가 중요하다고 생각하는 것은 “단순한 것을 누구보다 깨끗하게 하는 것”이다. 화려한 알고리즘보다 안정적인 시스템, 적절한 trade-off, 깨끗한 구현이 훨씬 중요하다.

20. “AI 시대는 개인 영웅주의의 시대가 아니다”

야오순위: 나는 내가 참여한 모델이 나 없었으면 안 됐을 것이라고 생각하지 않는다. Anthropic이든 Google이든, 내가 없어도 그 프로젝트는 진행됐을 것이다. 나는 운 좋게 중요한 시기에 중요한 프로젝트에 참여했을 뿐이다. 언어 모델에서 개인 영웅주의의 시대는 Transformer 순간에 가까웠다고 본다. 기술이 아직 scale-up 단계에 들어가기 전에는 어떤 breakthrough를 발견한 개인이나 작은 그룹이 영웅이 될 수 있다. 하지만 그 이후에는 collective work가 훨씬 중요하다. AI는 지금 거대한 파도다. 우리는 surfer일 뿐이다. 파도 자체는 AI이고, 우리가 타든 말든 그 파도는 해안에 도달한다. 누군가는 crest를 잘 타고, 누군가는 조금 늦게 탈 뿐이다.

21. Anthropic을 떠난 이유: “중국에 대한 Dario의 태도와 더 넓게 배우고 싶다는 욕구가 있었다”

야오순위: Anthropic을 떠난 이유는 여러 가지였다. 하나는 Dario의 반중국적 태도에 동의하지 않았다는 점이다. 개인이 어떤 견해를 갖는 것은 괜찮지만, 회사 CEO로서 그 입장을 너무 극단적으로 밀어붙이는 것은 감정적인 반응처럼 느껴졌다. 이 이유가 전부는 아니지만 꽤 큰 비중을 차지했다. 더 큰 이유는 더 넓은 것을 배우고 싶었기 때문이다. Anthropic은 언어 모델과 coding, agentic tool-use에 매우 집중되어 있다. 그 점은 좋지만, multimodal generation이나 더 낮은 수준의 engineering infrastructure 같은 것은 배우기 어렵다. 나는 그 시점에 다른 것을 배우고 싶었다. 그래서 Gemini로 갔다.

22. Google DeepMind로 간 이유: “Gemini는 수평적으로 배울 것이 많다”

야오순위: Gemini에 간 이유는 연구 자유도와 학습 폭 때문이다. 만약 내가 “내 아이디어를 바로 제품 모델에 넣고 싶다”는 마음이 강했다면 Google은 좋지 않은 선택이었을 수 있다. 연구자가 많고 조직이 복잡하기 때문이다. 하지만 내가 원한 것이 더 넓은 연구 자유와 다양한 분야의 사람들에게 배우는 것이라면, Gemini만큼 좋은 곳은 거의 없다. Anthropic은 한 줄을 깊게 파는 곳이다. 언어 모델의 한 vertical을 아주 깊이 이해할 수 있다. Google은 더 horizontal하다. 서로 다른 연구 방향과 관점을 볼 수 있다.

23. Gemini의 반전: “Nano Banana와 Gemini 3가 함께 전환점을 만들었다”

야오순위: Gemini가 시장에서 진짜 heavyweight player가 된 것은 두 가지가 연달아 일어났기 때문이라고 본다. 하나는 Nano Banana이고, 다른 하나는 Gemini 3다. Gemini 3만 있었다면 효과가 그렇게 크지 않았을 수 있다. 시장점유율이 낮으면 모델이 조금 좋아져도 확산 속도가 느리다. 그런데 Nano Banana가 먼저 바이럴을 일으키면서 많은 사람이 Gemini 앱을 다운로드했다. 그 직후 Gemini 3가 나오면서 사용자를 붙잡았다. Google의 기술적 reserve는 원래 충분했다. talent도 많았다. 문제는 조직이 너무 혼란스러웠다는 점이다. 그런데 점점 조직이 명확해졌고, 특히 pre-training 쪽은 누가 무엇을 책임지는지 훨씬 분명해졌다. Google은 deterministic한 engineering project에 매우 강하다. pre-training은 이제 어느 정도 그런 영역에 들어왔다. 명확한 framework, 평가 방식, 책임 구조를 세우면 Google이 잘하는 방식으로 밀어붙일 수 있다.

24. OpenAI, Anthropic, Google의 차이

야오순위: OpenAI는 제품과 브랜드가 강하다. 하지만 내가 떠날 당시에는 문화에 대한 우려가 있었다. 실제로 일을 끝까지 해내는 사람이 Gemini나 Anthropic보다 많지 않다고 느꼈다. Anthropic은 강한 bet과 실행력이 있다. technical leader와 회사 decision-maker가 연결되어 있고, 창업팀 사이의 신뢰가 강하다. 그래서 한 방향으로 강하게 밀 수 있다. Google은 전통적으로 제품은 느리지만, 기술이 제품으로 직접 spill over되는 영역에서 강하다. 검색이 그랬다. 모두가 같은 검색창을 갖고 있어도 Google은 더 빠르고 정확하게 검색했다. AI에서도 product form이 단순해지고 기술 경쟁이 중요해지면 Google이 강해질 수 있다. 나는 현재 누구의 지위도 안전하다고 보지 않는다. AI의 최종 형태가 아직 정해지지 않았기 때문이다. 지금의 chatbot이 ultimate form인지도 모르겠다. 모델이 이렇게 많은 능력을 갖고 있는데, 우리가 여전히 chat box로만 쓰는 것은 어딘가 이상하다.

25. AI safety에 대한 생각: “한 회사가 멈춘다고 AI가 멈추지 않는다”

야오순위: Anthropic은 AI safety를 중요한 동기로 세워진 회사다. Anthropic의 논리는 “최첨단 모델을 가져야 safety agenda를 밀 수 있다”는 것이다. 즉, 세계 최고의 모델을 만들면 다른 사람들이 내 말을 들을 것이라는 생각이다. 나는 이 생각이 다소 순진하다고 본다. 지금은 여러 회사가 frontier model을 만들고 있고, 한 회사가 무언가를 막을 수 있는 구조가 아니다. Anthropic이 멈춰도 다른 회사가 계속한다. 그러면 목소리만 작아질 뿐이다. AI 위험을 줄이려면 특정 회사의 선의에 의존하는 것보다 self-enforcing mechanism이 필요하다. 핵무기처럼 여러 세력이 서로를 견제하는 balance of power에 가까운 방식이 필요할 수 있다.

26. AI 연구자가 갖춰야 할 자질: “똑똑함보다 reliability가 중요하다”

야오순위: AI는 생각보다 머리가 많이 필요한 분야가 아니다. 정말로 아주 깊은 천재성이 필요한 부분은 많지 않다. 많은 아이디어는 undergraduate도 생각할 수 있다. 이 산업에서 가장 중요한 자질은 reliability, detail-oriented함, 그리고 자신이 하는 일에 책임지는 태도다. 단순한 일을 반복해서 깨끗하게 하는 것이 가장 어렵다. 사람의 본성은 반복적인 일을 싫어하고, 자기 성과를 더 좋아 보이게 만들고 싶어 한다. 하지만 회사 전체 시스템을 위해서는 자신의 metric이 아니라 전체 시스템이 제대로 작동하는지를 봐야 한다. 좋은 연구자는 자신이 한 일이 large scale에서도 효과적인지, 어떤 factor를 놓쳤는지, training만 좋고 sampling까지 포함하면 나쁜 것은 아닌지 스스로 생각해야 한다. 이제 회사에서의 AI 연구는 학계 연구와 다르다. 학계에서는 자기 프로젝트와 재현성에 책임지면 되지만, 회사에서는 전체 시스템에 책임져야 한다.

27. 좋은 AI 연구자 면접법: “24시간 안에 RL 프로젝트를 완성하게 한다”

야오순위: 나는 예전에 면접 질문으로 24시간 안에 처음부터 reinforcement learning 프로젝트를 하나 완성하게 했다. 사용할 수 있는 resource를 알려주고, 어떤 모델, 데이터, 알고리즘을 쓸지는 지원자가 정하게 한다. 24시간 뒤에는 나와 한 시간 동안 토론한다. AI 시대에는 이것이 불가능한 과제가 아니다. AI가 많은 코드를 작성해줄 수 있기 때문이다. 하지만 함정이 있다. AI에게 전부 맡기고 자신이 이해하지 못하면, 한 시간 토론에서 바로 드러난다. 이 과제는 두 가지를 본다. 하나는 AI를 효과적으로 활용할 수 있는가. 다른 하나는 AI와 진짜 협업했는가, 아니면 그냥 떠넘겼는가. 나는 이 차이를 매우 중요하게 본다. 또 솔직히 24시간이라는 시간 제한에는 약간 어두운 의도도 있다. 이 사람이 이 기회를 얼마나 중요하게 생각하는지, 밤을 새워서라도 해낼 의지가 있는지도 보려는 것이다.

28. 젊은 사람들에게: “언어 모델 막차는 거의 떠났지만 AI 전체는 아직 넓다”

야오순위: 순수 language model만 놓고 보면 이제 blue ocean은 아니다. 마지막 열차는 이미 떠났다고 본다. 나는 운 좋게 그 마지막 열차에 탔다. 지금 새로 들어오는 사람들은 작은 팀에서 큰 기회를 잡는 경험을 하기가 점점 어려워질 것이다. 하지만 AI 전체는 매우 넓다. language model은 그중 아주 작은 부분이다. multimodal generation에는 아직 기회가 많다. robotics에는 더 많은 기회가 있을 수 있다. AI로 실제 과학 문제를 푸는 것, 예를 들어 quantum control 같은 분야도 blue ocean일 수 있다. 젊은 사람이라면 지금 가장 뜨거운 것을 따라가는 것이 꼭 좋은 선택은 아닐 수 있다. 지금 아무도 하지 않는 것을 하는 것이 더 좋은 선택일 수 있다.

29. 앞으로의 관심사: “ML coding과 long horizon”

야오순위: 지금 내가 가장 중요하게 보는 것은 두 가지다. 하나는 ML coding, 다른 하나는 long horizon이다. ML coding은 AI가 AI 연구 과정을 더 많이 자동화하는 방향이다. 단순히 코드를 쓰는 것이 아니라, 실험을 설계하고, 실행하고, 결과를 보고, 분석하고, 새로운 가설을 세우고, 다시 실험하는 전체 loop를 완성하는 것이다. 지금은 이 chain이 아직 완전히 닫히지 않았다. 하지만 6~12개월 안에 점점 완성되어 갈 수 있다고 본다. Long horizon은 모델이 긴 시간축의 작업을 수행하는 능력이다. 단일 context window를 무작정 늘리는 것이 답은 아닐 수 있다. 더 현실적인 방향은 제한된 context 안에서 중요한 정보를 저장하고, 중요하지 않은 것은 버리고, 필요할 때 다시 가져오는 방식이다. 이 두 방향은 서로 연결되어 있다. 둘 다 모델이 도구를 쓰고, 환경과 상호작용하고, 장기적인 작업을 수행하는 문제다.

30. 마지막 인상적인 메시지

야오순위: AI 시대는 개인 영웅주의의 시대가 아니다. 지금은 파도가 너무 크다. 중요한 것은 내가 얼마나 천재냐가 아니라, 이 거대한 시스템 안에서 얼마나 책임감 있게, 세밀하게, 안정적으로 일을 해내느냐다. 나는 AI가 본질적으로 아주 어려운 분야라고 생각하지 않는다. 어렵다기보다는, 해볼 아이디어가 너무 많고, 실험할 것이 너무 많다. 벽에 막혔다기보다 아직 해보지 않은 것이 많다. 그래서 지금 필요한 사람은 거창한 말을 많이 하는 사람이 아니다. 단순한 것을 깨끗하게 하고, 시스템 전체를 생각하고, 자신이 한 일에 책임지는 사람이다. AI 연구에서 가장 중요한 것은 결국 reliability다.

올해 무한에 가까운 컨텍스트 나온다는데?

인안나 — Mon, 11 May 2026 21:59:56 +0000

나름 중요정보 인 것 같음 슬람이는 빨리 정보 구해서 올릴것 ..;

우울한 특붕이들 들어와라.

ㅁㅁ — Mon, 11 May 2026 14:33:33 +0000

죽지마라 ㄹㅇ

메타연구원 "어쩌면 그보다 더 빨리"

하이룽룽 — Sun, 10 May 2026 16:56:57 +0000

https://x.com/i/status/1731096582932578653 누가 “언제쯤 그렇게 되냐?” 묻자: “36 months max.” = “최대 36개월.” 즉 2024년 12월 기준으로는: “늦어도 3년 안에는 그렇게 된다” 라는 매우 강한 타임라인 예측을 한 거고, 이번 2026년 트윗에서: “Maybe less” = “어쩌면 그보다 더 빨리.”

다니엘라 아모데이 “AI가 인간이 오늘 하는 많은 일을 할 수 있는 세계에서 우리는 어떤 세상을 만들고 싶은가?”를 논의해야 합니다.

하이룽룽 — Sat, 09 May 2026 21:21:31 +0000

https://www.youtube.com/watch?v=FDjrDeIZAk4

1. 오프닝: 스탠퍼드에 온 다니엘라 아모데이

인터뷰어: 다니엘라, 스탠퍼드의 View from the Top에 와줘서 고맙습니다. 오늘 청중이 꽉 찼네요. 먼저 묻고 싶습니다. 여기 있는 분들 중 Claude를 쓰는 사람은 손 들어주세요. 청중: 와아! 인터뷰어: 오, 많네요. 물론 샘 올트먼이 와서 ChatGPT 쓰냐고 물어봤으면 다들 손 들었을 수도 있겠지만요. 다니엘라 아모데이: 솔직히 말해봐요. 다들 손 들었겠죠? 인터뷰어: 그래도 여기 분위기는 꽤 우호적입니다. 다니엘라와 당신의 오빠 다리오 아모데이는 세계에서 가장 중요한 AI 회사 중 하나를 만들었습니다. 그런데 두 분 모두 어릴 때부터 이런 일을 계획한 건 아니었죠. 당신은 예술 쪽 배경이 있고, 영문학을 공부했고, 초기 커리어는 정치 쪽이었습니다. 원래 커리어 계획은 무엇이었나요?

2. 원래 커리어 계획: “계획이라기보다 관심과 임팩트를 따라갔다”

다니엘라 아모데이: 우선 “계획”이라는 단어를 써준 게 너무 친절하네요. 사실 저는 그걸 계획이라고 부를 수 있었는지도 잘 모르겠어요. 저는 많은 창업자들이나 예상 밖의 삶을 살게 된 사람들에게서 비슷한 이야기를 듣습니다. 그때그때 제게 가장 흥미로운 것을 따라갔던 것 같아요. 제가 잘하는 것, 제가 관심 있는 것, 그리고 세상에 큰 영향을 줄 수 있는 것이 만나는 지점을 따라간 거죠. 대학을 졸업했을 때 저는 2009년에 졸업했습니다. 그해는 졸업생에게 정말 좋은 해가 아니었어요. “나는 문학 학위가 있고 기술은 없는데 누가 나를 고용하지?” 같은 상황이었죠. 그럼에도 저는 세상을 더 나은 곳으로 만들고 싶다는 강한 끌림이 있었습니다. 저와 다리오 모두 어릴 때부터 그런 성향이 있었던 것 같아요. 저의 출발점은 국제개발과 글로벌 헬스였습니다. 저는 이런 질문을 갖고 있었습니다. “모두가 음식, 물, 의약품 같은 기본적인 것에 접근할 수 있는 더 공정한 세상을 어떻게 만들 수 있을까?” 지금 제가 직접적으로 그 일을 하고 있는 것은 아니지만, 그때의 경험은 세상에서 선을 행한다는 것이 무엇인지, 의미 있는 일을 한다는 것이 무엇인지에 대한 기반을 만들어줬습니다. 그 후 저는 의회에서 일했고, 선거 캠페인에서도 일했습니다. 그러다가 다시 실리콘밸리로 돌아왔습니다. 저는 원래 샌프란시스코 출신인데, Stripe라는 당시에는 아무도 잘 모르던 작은 회사에서 일하게 됐습니다. 그때 Stripe는 40명 정도밖에 안 되는 회사였고, 의회에서 일하던 친구들은 “결제 회사에 간다고? 왜?”라는 반응이었습니다. 지금 보면 훌륭한 선택처럼 보이지만, 당시에는 전혀 확실하지 않았습니다. 이후 일이 빠르게 굴러가면서 OpenAI에서 일하게 되었고, 그다음 Anthropic을 공동창업하게 됐습니다.

3. 분야를 넘나드는 태도: “저는 제 자신을 제너럴리스트라고 생각한다”

인터뷰어: 당신은 전공이나 이전 경력에 갇히지 않고 분야를 옮겨왔습니다. 그런 사고방식은 어디서 온 건가요? 다니엘라 아모데이: 저는 스스로를 제너럴리스트라고 생각합니다. 제 이력을 보면 “이 사람은 대체 뭘 잘하는 거지?”라고 생각할 수도 있어요. 저는 법학 학위도 없고, 컴퓨터 과학자도 아닙니다. 하지만 저는 여러 분야에 걸쳐 호기심을 갖고 배우는 능력, 어떤 분야에서 일하든 임팩트를 만들고 싶어 하는 강한 기반이 매우 저평가된 자질이라고 생각합니다. Anthropic에서 채용하는 사람들 중에도 그런 사람들이 많습니다. 기술 업계에서 제가 함께 일했던 정말 뛰어난 사람들도 그렇고요. 호기심이 많고, 똑똑하고, 배우고 싶어 하고, 도움이 되고 싶어 하는 사람들입니다. 저에게는 항상 관심과 임팩트가 중심이었습니다. 저는 이런 생각을 했습니다. “나는 미국에서 태어났고, 삶에서 당연하게 여기는 기본적인 것들에 접근할 수 있었다. 그런데 세상 어떤 사람들은 단지 어디서 태어났느냐 때문에 그런 것들을 갖지 못한다. 이걸 어떻게 더 공정하게 만들 수 있을까?” 그러다가 저는 제가 원하는 만큼의 임팩트를 내지 못하고 있다는 걸 느꼈습니다. “기술이 필요하다”고 생각했고, 그래서 캠페인에서 일했습니다. 거기서 저는 젊고 의욕 있는 소수의 사람들이 정말 열심히 일하면 세상을 바꿀 수 있다는 것을 봤습니다. 그게 결국 실리콘밸리로 이어진 것도 이상하지 않습니다. 스타트업에서는 그런 방식으로 세상을 바꿀 수 있는데, 캠페인보다 돈도 더 많고, 어떤 면에서는 훨씬 수월하기도 합니다. 결국 핵심은 자신이 정말 관심 있는 일을 따라가는 것입니다. 어떤 일이 지적으로 흥미롭거나, 내적으로 의미 있다고 느껴질 때 사람은 더 많이 하게 됩니다.

4. OpenAI에서 AI 언어를 배운 방식: “기술을 두려워하지 않았다”

인터뷰어: 당신은 2018년에 OpenAI에 합류하면서 AI 커리어를 시작했습니다. 당시 OpenAI는 아직 비교적 작은 연구소였죠. 갑자기 신경망, 트랜스포머, 스케일링 법칙 같은 이야기가 오가는 방에 들어가게 됐습니다. 어떻게 그 언어를 배웠나요? 다니엘라 아모데이: 저는 두 가지 면에서 훈련이 되어 있었다고 생각합니다. 첫째, 저는 이미 Stripe에서 거의 6년을 일했습니다. 많은 엔지니어들과 일했죠. 물론 연구와 엔지니어링은 다르지만, 그래도 겹치는 부분과 기초가 있었습니다. 둘째, 저는 매우 뛰어난 기술 지향적인 물리학자와 함께 자랐습니다. 제 형제이자 Anthropic 공동창업자인 다리오죠. 그리고 다른 공동창업자들도 대부분 엔지니어나 연구자였습니다. 무엇보다 중요한 것은, 이런 경험들이 제게 기술을 두려워하지 않는 감각을 심어줬다는 점입니다. 기술은 매우 높게 평가되는 능력이지만, 결국 배울 수 있는 기술들의 집합입니다. 처음에는 용어와 전문용어가 압도적으로 느껴질 수 있습니다. 하지만 충분히 질문하고, 주변에 인내심 있게 설명해주는 사람들이 있다면 이해할 수 있습니다. 저는 운 좋게 그런 사람들이 있었습니다. 저는 이해할 때까지 계속 질문했습니다. 그리고 또 하나 중요한 점은 제 역할과 다른 사람들의 역할을 구분하는 것이었습니다. 연구자들이 하는 일 중에는 제가 할 수 없는 일이 많았습니다. 저는 GPT-2나 GPT-3를 훈련시킬 수 없었을 겁니다. 하지만 저는 그들이 잘하지 못하는 것을 가져왔습니다. 자신의 비교우위가 무엇인지 이해하고, 더 넓은 생태계 안에서 자신이 어디에 맞는지 아는 것이 중요합니다. 그건 대인관계 능력, 호기심, 학습 능력과도 관련이 있습니다.

5. OpenAI를 떠나 Anthropic을 창업한 이유: “무언가로부터 도망친 게 아니라, 무언가를 향해 달려갔다”

인터뷰어: 2020년 12월, 당신과 다리오, 그리고 동료들이 OpenAI를 떠났습니다. 왜 Anthropic을 시작하기로 했나요? 다니엘라 아모데이: 이 질문에는 물을 좀 마셔야겠네요. 처음에 떠난 사람은 일곱 명이었습니다. 저와 다리오, 그리고 다섯 명의 공동창업자들이었고, 이후 곧 합류한 사람들도 있었습니다. 저희에게 핵심은 우리가 이 기술이 궁극적으로 어떤 영향을 미치기를 원하는가였습니다. 일곱 명 모두 각자의 방식은 달랐지만, 공통적으로 무척 높은 진실성과 책임감을 가진 사람들이었습니다. 우리가 만드는 것이 세상에 어떤 영향을 미치는지 깊이 신경 쓰는 사람들이었죠. 결국 우리가 있던 회사 안에서보다는, 우리가 보고 있던 비전을 새로운 회사에서 직접 만드는 것이 더 쉽겠다고 느꼈습니다. 저는 자주 이렇게 말합니다. 저희는 무언가로부터 도망친 것이 아니라, 무언가를 향해 달려간 것입니다. 우리는 안전과 책임이라는 가치가 조직의 중심에 놓이는 회사를 만들고 싶었습니다. 그래서 Anthropic을 공익법인, 즉 public benefit corporation으로 설립했습니다. 저희는 상업적 기업이 될 것이고, AI가 엄청난 경제적 가치를 만들 것이라고 생각했습니다. 하지만 그 일을 올바른 방식으로 하는 것이 중요했습니다. 우리는 OpenAI에 있을 때 능력 개발, 안전, 정책 작업을 모두 해본 사람들이었습니다. 그래서 이런 구조를 새로운 형태로 만드는 것이 더 쉽겠다고 느꼈습니다.

6. 공동창업자와의 관계: “갈등을 어떻게 겪고 회복하는지가 중요하다”

인터뷰어: 당신은 다리오뿐 아니라 다섯 명의 다른 공동창업자들과 Anthropic을 만들었습니다. 여기 있는 많은 사람들도 처음으로 공동창업자를 선택하게 될 텐데요. 공동창업자 관계는 자주 잘못되기도 합니다. 어떻게 해야 잘 작동하나요? 다니엘라 아모데이: 저는 정말 운이 좋았다고 생각합니다. 일곱 명의 공동창업자는 여러 면에서 특별한 그룹이었습니다. 가장 먼저 말하고 싶은 것은, 인간관계가 생각보다 훨씬 중요하다는 것입니다. 특히 갈등을 어떻게 겪는지가 중요합니다. 예를 들어 다리오와 저는 거의 40년 동안 싸우고 화해해왔습니다. 그는 제 오빠이고, 저는 어릴 때 그의 장난감을 훔치곤 했죠. 우리는 갈등을 겪고도 회복하는 방법을 압니다. 그리고 무슨 일이 있어도 끝에는 서로를 사랑한다는 걸 압니다. 다른 공동창업자들과도 긴 역사가 있었습니다. 저는 Jared를 15년 정도 알고 있었고, Chris도 15년 정도 알고 있었습니다. Tom과 Sam은 룸메이트였고, Jared와 Sam은 스탠퍼드 박사 과정에서 함께 일했습니다. 또한 다리오와 저는 다른 공동창업자들을 OpenAI에서 관리한 경험이 있었습니다. 대부분이 우리 둘 중 한 명 혹은 둘 모두에게 보고한 적이 있었습니다. 그래서 이미 서로 피드백을 주고받는 방식, 함께 일하는 방식, 각자가 어떤 사람인지 알고 있었습니다. 또 하나 중요한 것은, 무엇을 만들려고 하는지에 대해 아주 강한 공통의 그림을 가져야 한다는 것입니다. 공동창업자 두 명을 따로 방에 넣고 “우리가 만들려는 것을 그려보라”고 했을 때, 한 명은 유니콘을 그리고 다른 한 명은 오리너구리를 그리면 안 됩니다. 서로 같은 걸 하고 있다고 생각하지만 실제로는 완전히 다른 걸 상상하고 있다면 잘 끝나기 어렵습니다. 저희는 운 좋게도 이전 환경에서 “우리가 원하는 건 정확히 이건 아니야. 우리는 다른 걸 하고 싶어”라는 감각을 공유하고 있었습니다. 공동창업자를 고르려면 가능한 한 많이 압박 테스트를 해봐야 합니다. 회사를 같이 시작하기 전에 같이 여행을 가보세요. 방도 같이 써보세요. “이 사람과 더 시간을 보내고 싶다”고 느끼면 좋습니다. 반대로 “이 여행에서 회복하려면 또 휴가가 필요하다”고 느끼면 잘못된 선택일 수 있습니다.

7. AI 안전이란 무엇인가: “기술에 대해 급진적 책임을 지는 것”

인터뷰어: Anthropic은 AI 안전과 깊이 연결되어 있습니다. 그런데 AI 안전이라는 말이 실제로 무엇을 의미하는지 분명히 하고 싶습니다. 당신이 AI 안전이라고 말할 때 무엇을 뜻하나요? 다니엘라 아모데이: 좋은 질문입니다. AI 안전이라는 용어는 최근 몇 년 동안 너무 많은 의미로 쓰이면서 다소 과부하된 표현이 되었습니다. 저희에게 가장 높은 수준의 정의는, 우리가 개발하는 기술에 대해 일종의 급진적 책임을 지는 것입니다. 저희가 자주 드는 비유는 소셜미디어 회사들입니다. 지금은 공개적으로 소셜미디어 회사들을 비판하는 것이 유행처럼 되었으니 저도 그렇게 하겠습니다. 과거로 돌아가 보면, 그 기술을 만든 개발자들이 “나는 10대 소녀들에게 섭식장애 팬데믹을 일으키겠다”고 생각하고 만든 건 아니었을 겁니다. 하지만 그들은 어떤 지표를 최적화하고 있었을까요? 빠른 성장, 빠른 확장, 회사 성장 같은 것들이었죠. 당시에는 이렇게 빠르게, 이렇게 많은 사람이 기술을 채택하는 규모를 본 적이 없었습니다. 그래서 부작용을 사전에 깊이 생각하는 것이 당연한 문화가 아니었습니다. 하지만 지금 우리는 이전 세대 기술들의 실수를 볼 수 있습니다. 그들이 실수했고, 우리는 “우리는 그 실수를 반복하지 않겠다”고 말할 수 있습니다. 그것은 큰 특권입니다. 저희는 모든 것이 잘될 세계뿐 아니라, 모든 것이 잘못될 세계도 상상해야 한다고 생각합니다. 어떻게 하면 의도치 않은 외부효과를 줄일 수 있을지 미리 생각해야 합니다. AI 안전에는 큰 위험들이 포함됩니다. 예를 들어 저희 기술이 화학무기나 생물무기 개발에 사용되는 것을 막는 일입니다. 실제로 그런 가능성이 있습니다. 사이버 전쟁도 포함됩니다. Anthropic은 최근 사이버전 위험 때문에 Mythos급 모델을 공개하지 않기로 한 결정으로 뉴스에 많이 나왔습니다. 그 외에도 사용자 웰빙, 아동 안전, 허위정보, 선거 무결성 같은 작업도 포함됩니다. 이건 저희가 완전히 새로 만든 개념이 아닙니다. 이전의 중요한 기술 회사들에서 안전·보안 팀들이 해온 작업 위에 서서, 그들로부터 배우고 더 잘하려는 것입니다.

8. 안전과 매출의 긴장: “대부분의 경우 안전은 사업에도 좋다”

인터뷰어: Anthropic은 AI 안전 회사이면서 동시에 매출을 만들어야 하는 회사입니다. 두 가지 사이의 긴장을 어떻게 관리하나요? 다니엘라 아모데이: 이 질문도 많이 받습니다. 일반적으로 생각하는 것만큼 두 가지가 충돌하지는 않습니다. 특히 저희 매출의 대부분은 기업 고객에서 나오는데, 기업들은 안전하지 않은 모델을 원하지 않습니다. 기업들이 “Claude가 더 환각을 많이 했으면 좋겠다”거나 “위험한 답변을 더 많이 했으면 좋겠다”고 말하지는 않습니다. 그래서 최근까지는 안전과 사업이 거의 완전히 정렬되어 있었습니다. 기업들은 위험을 싫어합니다. 예측 불가능하고 신뢰할 수 없는 AI 기술을 원하지 않습니다. 다만 이제는 모델 능력이 너무 빠르게 발전하면서 긴장이 “시간”의 문제로 나타나기 시작했습니다. 모델이 놀라운 일을 할 수 없는 것이 아니라, 우리가 아직 위험을 충분히 이해하지 못한 상태일 수 있다는 것입니다. 앞으로는 이런 문제가 더 커질 수 있습니다. 위험이 얼마나 심각한지, 어떤 위험이 있는지, 어떻게 완화할 수 있는지 이해하는 데 시간이 필요합니다. 그래서 저희는 Project Glasswing 같은 다소 이례적인 행동을 하기도 했습니다. 새로운 종류의 모델을 모든 고객에게 바로 공개하면 고객들은 좋아하겠지만, 저희가 아직 충분히 확신하지 못한다면 조금 더 시간을 가져야 합니다. 그건 불편한 일입니다. 고객에게 “모델을 바로 제공하고 싶지만 아직은 책임 있게 공개할 수 없다”고 말해야 하니까요. 고객들은 “사이버 방어가 중요하다는 건 알지만, 그래도 그 모델을 쓰고 싶다”고 말할 수 있습니다. 그럴 때 저희는 다시 미션으로 돌아갑니다. 기술을 가능한 한 빨리 제공하고 싶지만, 필요한 패치와 안전 조치가 이루어졌다는 확신이 들기 전에는 공개하는 것이 무책임하다고 보는 것입니다.

9. AI와 일자리: “AI는 일을 대체하기보다 보완하는 경우가 아직은 대부분이다”

인터뷰어: AI에 대한 두려움을 부정할 수 없습니다. AI 때문에 인간 판단이 덜 필요해지고 일자리가 줄어들 것이라는 두려움이 있습니다. 그 두려움은 타당한가요? 다니엘라 아모데이: 이건 매우 복잡한 질문입니다. AI가 어떤 종류의 일이 존재하는지, 사람들이 어떤 일을 하는지 바꿀 것이라는 점은 분명합니다. 오늘날에도 AI 때문에 5년 전에는 존재하지 않았던 일자리가 생겼습니다. 반대로 미래에는 AI 때문에 사라지는 일자리도 있을 것입니다. 하지만 지금까지 저희 경제 지표를 통해 본 바로는, 사람들은 AI를 주로 보완적 기술로 사용하고 있습니다. 즉 AI가 일을 가능하게 하는 도구이지, 일을 대체하는 도구로 쓰이는 경우는 아주 적습니다. 대체가 나타나는 영역은 매우 제한적인데, 주로 고객 서비스입니다. 앞으로는 지금의 직업과 비슷하게 보이지만 실제로는 다른 형태의 일이 많이 생길 것이라고 봅니다. 가장 많이 이야기되는 것은 코딩입니다. 비즈니스 미팅에서 CEO들과 Claude 이야기를 하다 보면, 대화가 어느 정도 진행된 후 CEO가 조용히 몸을 기울이며 “제 딸이 스탠퍼드 2학년인데, 컴퓨터공학을 전공하려고 합니다. 계속 해도 될까요?”라고 묻곤 합니다. 솔직히 우리는 모릅니다. 하지만 제 추측은 소프트웨어 개발자는 여전히 존재할 것이라는 겁니다. 다만 지금처럼 많은 코드를 직접 쓰지는 않을 수 있습니다. 소프트웨어 개발자의 일은 키보드로 코드를 치는 것보다 훨씬 큽니다. 제품 관리자와 이야기하고, 고객과 협력하고, 무엇을 만들지 이해하는 일이 있습니다. 그런 부분은 확대되고, AI가 쉽게 할 수 있는 부분은 줄어들 것입니다.

10. 교육과 사회는 무엇을 해야 하는가: “우선 현실이 무엇인지 함께 이해해야 한다”

인터뷰어: 그렇다면 교육, 리더십, 사회 차원에서 사람들을 불안하게 만들지 않고 준비되고 기대하게 만들려면 무엇이 필요할까요? 다니엘라 아모데이: 몇 가지가 있습니다. 첫째, 겸손함에서 출발해야 합니다. 우리는 답을 모른다는 사실을 인정하고 연구해야 합니다. Anthropic은 가능한 한 급진적으로 투명하려고 노력해왔습니다. 우리는 “답을 모두 갖고 있지 않다. 다만 연구해서 우리가 보는 미래를 사람들에게 알려야 한다”고 말해왔습니다. 때로 사람들은 “Anthropic은 너무 부정적인 얘기만 한다”고 말할 수 있습니다. 하지만 저는 대화를 더 일찍 시작하는 것이 중요하다고 봅니다. 사람들이 갑자기 당황하게 만들고 싶지 않기 때문입니다. 저희가 경제 지표를 공개하는 이유도 “사람들이 오늘 AI를 어떻게 쓰고 있는지” 보여주기 위해서입니다. 그래야 이 기술이 어디로 가고 있는지 이해할 수 있습니다. 둘째, 여러 층위에서 창의적이고 실험적이어야 합니다. AI를 단순히 “내 직장에서 쓰는 도구”로만 볼 것이 아니라, 사람들의 삶과 의미, 사회적 관계, 일과 의미의 연결을 어떻게 바꿀지 생각해야 합니다. 셋째, 이건 기술 회사 혼자 할 수 있는 범위를 넘어서는 사회적·정치적 문제가 될 것입니다. 사람들은 AI 때문에 자신의 일이 사라진다고 느끼면 신경 쓸 수밖에 없습니다. 이미 여론조사에서도 사람들은 자신의 미래와 자녀의 미래에 대해 불안해합니다. 정부, 시민사회, 대학, 여러 조직이 함께 “AI가 인간이 오늘 하는 많은 일을 할 수 있는 세계에서 우리는 어떤 세상을 만들고 싶은가?”를 논의해야 합니다.

11. AI 채택의 장벽: “실리콘밸리는 전 세계가 아니다”

인터뷰어: 결국 핵심은 채택입니다. 스탠퍼드와 실리콘밸리에서는 모두가 AI를 이야기하지만, 그곳이 전 세계는 아닙니다. 이 버블 밖에서 AI 채택을 가로막는 것은 무엇인가요? 다니엘라 아모데이: 정말 중요한 지적입니다. Anthropic이나 스탠퍼드에서는 AI가 모두의 유일한 관심사처럼 느껴질 수 있습니다. 적어도 사람들은 제게 AI 이야기만 합니다. 물론 그건 제 문제일 수도 있죠. 하지만 미국의 다른 지역만 가도 사람들은 아직 AI에 익숙하지 않습니다. 높은 유창성으로 AI를 쓰는 방법을 아는 사람도 많지 않습니다. AI 도구 사용자 수에 대한 놀라운 숫자들이 나오지만, 거기에는 인구통계학적 요소가 있습니다. 일반적으로 대학 교육을 받은 사람들이 많고, 남성이 여성보다 많고, 인종·소득·부의 차이도 있습니다. 전 세계적으로 보면 더더욱 고르게 분포되어 있지 않습니다. 흥미로운 점은 개발도상국 사람들이 AI에 훨씬 더 낙관적이라는 것입니다. 글로벌 사우스의 많은 사람들은 AI를 거대한 기회로 봅니다. 어쩌면 세상을 더 공정하게 만들 수 있는 평준화의 힘으로 보는 것입니다. 반면 미국, 유럽, 아시아 일부 지역에서는 불안이 더 큽니다. 사람들은 “나는 지금 방식이 좋다. AI가 와서 그걸 흔드는 것은 원치 않는다”고 느낍니다. 이 정보를 가지고 무엇을 해야 할지는 저도 모릅니다. 하지만 접근성과 채택에 서로 다른 문제가 있다는 점은 매우 흥미롭습니다. 저는 우리가 아직 매우 초기 단계라고 생각합니다. 실리콘밸리에서는 모든 개발자가 Claude Code나 Codex를 쓰는 것처럼 느끼지만, 전 세계 개발자의 대다수는 그렇지 않습니다. 경주는 이제 막 출발 총성이 울린 단계입니다. 그래서 이 기술이 어떻게 쓰이고 개발될지, 접근성이 어떤 모습일지, 어떤 가치가 기술 안에 들어갈지를 긍정적으로 형성할 기회가 아직 많다고 봅니다.

12. AI에 너무 많이 위임할 때 잃을 수 있는 것: “생각하지 않아도 되는 상태가 위험하다”

인터뷰어: AI가 훨씬 널리 채택된 미래로 가보겠습니다. 우리가 AI에 너무 많이 위임하면 잃을 수 있는 것은 무엇인가요? 다니엘라 아모데이: Anthropic에서 아주 큰 질적 조사를 했습니다. 저희가 알기로는 가장 큰 규모의 질적 연구였고, 8만 1천 명에게 AI 사용에 대해 물었습니다. Claude 사용자도 있었고, 다른 AI 도구 사용자도 있었습니다. 사람들은 AI에 대해 다양한 감정을 갖고 있었습니다. 어떤 사람들은 “AI 덕분에 내가 할 수 없다고 생각했던 일을 할 수 있게 됐다”고 말했습니다. 저 자신도 예를 들 수 있습니다. 저는 제가 웹사이트를 만들 수 있다고 생각하지 않았습니다. 그런데 Claude를 쓰면 몇 번 클릭해서 웹사이트를 만들 수 있습니다. 혼자 했다면 1년은 걸렸을 것이고, 아마 별로 좋은 웹사이트도 아니었을 겁니다. 하지만 어떤 사람들은 다른 감정도 표현했습니다. 아직 딱 맞는 단어는 없지만, 언젠가 생길지도 모릅니다. “내가 생각할 수 있었고, 직접 아이디어를 향해 뻗어나갈 수 있었는데, AI가 너무 쉬워서 그냥 내 뇌를 쓰지 않게 된다”는 감각입니다. 이것은 휴대폰을 무심코 스크롤하는 느낌과는 다릅니다. 내가 생각할 수 있었는데, 그러지 않고 AI가 준 것을 그냥 믿는 것입니다. 저는 이것이 AI에 대한 많은 불안의 근원이라고 봅니다. 인간은 배우고 싶고, 호기심을 갖고 싶고, 자신이 아는 세계를 넓히고 싶어 하는 존재입니다. AI는 그걸 가능하게 할 수도 있지만, 잘못 사용하면 오히려 그 능력을 꺼버릴 수도 있습니다. 저도 가끔 그런 적이 있습니다. “직접 찾아보고 이해할 수도 있지만, 그냥 AI에게 묻고 그 답을 믿자”고 생각할 때가 있습니다. 물론 Claude도 틀릴 때가 있습니다. 말하기엔 이단적으로 들릴 수 있지만 사실입니다. 그래서 중요한 것은 어떤 가드레일을 세울 것인가입니다. 대학과의 작업이 좋은 예입니다. Claude에는 학습 모드라는 개념이 있습니다. 한 버전은 숙제를 ChatGPT에 넣고 “하하, 답을 받았다”고 하는 것입니다. 그건 부정행위입니다. 다른 버전은 Claude의 학습 모드를 사용해서 “나는 이 에세이를 쓰다가 막혔다. 구조가 뭔가 이상한데 왜 그런지 모르겠다”고 말하는 것입니다. 그러면 Claude는 인내심 있는 튜터처럼 작동합니다. 마치 나를 알고, 내가 무엇을 배우고 싶은지 이해하는 개인 교수처럼 도와줍니다. 그런 방식이면 AI 도구는 사람을 더 똑똑하게 만들 수 있습니다. 자신이 배울 수 있다고 생각하는 것의 범위를 넓힐 수 있습니다. 하지만 그냥 뇌를 꺼버리는 방식도 있습니다. 저는 산업 전체가 첫 번째 방향을 선택하기를 바랍니다.

13. AI 시대에 더 중요해질 인간 능력: “사람은 사람과 함께 있고 싶어 한다”

인터뷰어: AI 중심 세계에서 더 중요해질 인간 능력을 우선순위로 꼽는다면 무엇인가요? 다니엘라 아모데이: 제 생각은 이렇습니다. 금융 애널리스트, 개발자, 카피 에디터 같은 구체적이고 과업 중심적인 일들은 많이 변할 것입니다. 그중 상당 부분은 AI 도구가 할 수 있게 될 겁니다. 하지만 결국 인간은 다른 인간과 함께 있고 싶어 합니다. 우리는 서로 시간을 보내고, 서로에게 배우고, 창의적이고, 타인을 이해하려는 사회적 존재입니다. AI가 생산적인 일상 업무를 훨씬 많이 수행할 수 있는 세계에서는 그런 인간적 능력이 훨씬 더 중요하고 가치 있게 여겨질 것이라고 봅니다. 예를 들어 직장에서 Claude에게 코드를 쓰게 할 수 있다고 해도, 당신은 왜 무언가가 망가졌는지, 왜 어떤 도구를 그런 방식으로 만들었는지를 설명해주는 개발자와 대화하고 싶을 것입니다. 의학에서도 마찬가지입니다. 오늘날 우리는 진단을 잘하는 의사를 고용합니다. “내가 왜 아픈지 알려주세요”라고 묻고, 의사는 가능한 원인과 가장 가능성 높은 원인을 제시하고 검사를 합니다. AI는 이런 진단을 매우 잘하게 될 것입니다. 하지만 AI 도구가 할 수 없는 것은 실제로 환자를 보고, 진찰하고, 감정을 이해하고, 환자가 더 낫다고 느끼게 해주는 것입니다. 의료 문헌에는 의사와 좋은 관계를 가진 환자들이 더 나은 임상 결과를 보인다는 연구들이 있습니다. 왜 그런지는 완전히 설명하기 어렵지만, 아마 의사가 더 열심히 이해하려 하고, 예상치 못한 검사를 하거나, 더 깊이 살펴보기 때문일 수 있습니다. 그래서 좋은 의사의 태도, 즉 bedside manner는 AI 시대에 다섯 배는 더 중요해질 수 있습니다.

14. 다니엘라가 가장 기대하는 AI 활용: “Claude는 훌륭한 매니지먼트 코치가 될 수 있다”

인터뷰어: 미래를 생각할 때 개인적으로 가장 기대하는 AI 사용 사례는 무엇인가요? 다니엘라 아모데이: 저는 커리어 매니저입니다. 대부분의 시간을 사람들과 보냅니다. 그리고 사람들은 다들 “AI는 내 일자리는 대체하지 않을 거야. 나는 특별하니까”라고 생각하는 경향이 있습니다. 저도 그 죄를 아주 많이 짓고 있습니다. 저는 “사람들은 사람을 좋아한다. 사람들은 Claude에게 보고하고 싶어 하지 않고 나에게 보고하고 싶어 할 것이다”라고 생각했습니다. 하지만 저는 Claude가 매니지먼트 코치로서, 그리고 더 나은 리더가 되도록 돕는 도구로서 굉장히 강력하다고 생각합니다. Anthropic에서는 성과 평가를 씁니다. 저와 함께 일하는 많은 사람들은 3~4년 동안 저에게 보고해왔습니다. 사람도 같고, 저도 같고, 피드백도 비슷한 경우가 많습니다. 그런데 Claude는 어떤 사람에 대한 패턴을 발견하는 데 큰 도움을 줍니다. 3~4년 동안의 데이터를 보면 “우리가 이 주제를 계속 맴돌고 있었구나. 이 사람에게는 추가 코칭이 필요할 수 있겠다”는 식의 패턴이 보입니다. 일상에 파묻혀 있으면 놓치기 쉬운 것들입니다. 반대로 Claude는 저에게도 피드백을 줍니다. 저는 제 리포트들이 저에 대해 준 upward feedback을 Claude에 올립니다. 그러면 Claude가 아주 친절하게 “지난 1년 동안 이 부분은 개선되지 않은 것 같네요. 추가 코칭을 받아보는 게 좋을 수도 있습니다, 다니엘라”라고 말해줍니다. 사람들이 최고의 자신이 되도록 코칭하고 돕는 Claude의 능력은 직장뿐 아니라 개인적 삶에서도 매우 강력할 수 있다고 봅니다. 물론 신중하게 해야 합니다. 두 번째는 부모로서의 사용입니다. 저는 거의 다섯 살 된 아이와 거의 한 살 된 아이가 있습니다. Claude가 해준 최고의 일은 배변훈련을 도와준 것입니다. 정말 재미없는 경험이었는데, Claude가 조금은 덜 힘들게 만들어줬습니다. 공감적이고, 실행 가능하고, 다이어그램도 있었습니다. Claude는 특히 지친 부모들을 돕는 데 매우 강력할 수 있다고 생각합니다. 인터넷에는 나쁜 정보가 너무 많습니다. “우리 아이에게 문제가 있나요?”라고 구글에 검색하면 답은 항상 “그렇다”입니다. Claude는 훨씬 더 균형 잡혀 있고, 상호작용적이며, 도움이 될 수 있습니다.

15. 다음 세대 AI 리더에게 전하고 싶은 말: “정말 중요하다고 느끼는 일을 따라가라”

인터뷰어: 학생 질문으로 넘어가기 전에, 이 방에 있는 다음 세대 AI 리더와 빌더들에게 당신의 여정에서 꼭 가져갔으면 하는 한 가지가 있다면 무엇인가요? 다니엘라 아모데이: 두 가지 말해도 될까요? 첫 번째는 정말 진부하게 들리지만, 진심으로 저는 자신이 정말 신경 쓰고 열정을 느끼는 것을 따라가는 것이 가장 중요하다고 생각합니다. 좋은 아이디어는 많습니다. 하지만 “이건 세상에 반드시 존재해야 한다. 나는 이것을 위해 벽을 뚫고라도 달려갈 것이다”라는 불타는 감각이 없다면, 힘든 순간을 버티기 어렵습니다. 일이 재미없고, 정말 힘든 순간이 옵니다. Anthropic에서도 그런 순간이 있었습니다. 그때 “내가 왜 이 일을 시작했는지, 왜 이게 중요한지”로 돌아갈 수 있어야 합니다. 그것이 개인적인 이유든, 세상에 만들고 싶은 변화 때문이든 말입니다. 두 번째는, 특히 최근 5~10년 사이에 나타난 매우 중요한 생각입니다. 사업을 하는 것과 선을 행하는 것이 반드시 긴장 관계에 있지 않다는 것입니다. 저는 이것이 매우 새로운 생각이라고 봅니다. 혁신과 사회적 임팩트의 결합입니다. 스탠퍼드는 항상 이 점에서 뛰어났지만, 지금은 더 많은 사람들이 이런 방식으로 생각합니다. “나쁘고 못된 사람들만 사업을 만들 수 있다”는 느낌이 있을 수 있지만, 저는 전혀 그렇지 않다고 생각합니다. 오히려 선을 행하고자 하는 욕구는 실제로 잘하는 것과 강하게 연결되어 있다고 점점 더 느낍니다.

16. AI 버블 논쟁: “가장 현실적인 우려는 높은 자본 지출이다”

학생 Brandon: AI 버블 논쟁이 있습니다. 사람들은 보통 세 가지를 말합니다. 기업 가치평가, 인프라 지출 규모, AI 발전 속도의 지속 가능성입니다. 이 세 가지 중 무엇이 가장 걱정되고, 사람들은 무엇에 대해 가장 틀렸다고 보나요? 다니엘라 아모데이: 좋은 질문입니다. 서로 다른 종류의 버블을 구분해야 할 것 같네요. 제가 가장 걱정한다고까지 말할지는 모르겠지만, 이 산업에 대해 타당한 우려라고 생각하는 것은 높은 자본 지출입니다. 이 사업은 자본 지출이 매우 큽니다. 그리고 그것은 본질적으로 위험을 동반합니다. 모델을 훈련시키는 것은 매우 비쌉니다. 많은 컴퓨트가 필요하고, 컴퓨트는 부족합니다. 수요는 많고 공급은 적습니다. 저는 경제학 교수는 아니지만, 그러면 가격이 올라갑니다. 컴퓨트는 이런 회사들의 생명줄입니다. 그런데 컴퓨트를 아주 먼 미래까지 미리 사야 합니다. 결국 미래에 대한 베팅을 하는 것입니다. “우리는 이 시점에 이만큼의 컴퓨트가 필요할 것”이라고 판단하고 큰돈을 쓰는 것입니다. Anthropic이나 OpenAI 같은 회사에서 일한다는 것은, 그 돈을 시간이 지나며 갚을 수 있을 것이라는 계산된 베팅을 하는 일입니다. 물론 저희는 매우 낙관적입니다. 두 회사의 매출은 믿기 어려울 정도입니다. 벤처캐피털 업계에서도 이런 속도로 이런 매출에 도달한 사업은 본 적이 없다고 말합니다. 하지만 만약 그 흐름이 바뀐다면 문제가 생길 수 있습니다. 이미 미래를 위해 많은 컴퓨트를 샀고, 그것은 매우 비쌉니다. 그래서 이 위험을 걱정하는 것이 미친 생각은 아닙니다. 저희는 좋은 위치에 있다고 생각하고, 산업 전체도 그렇다고 봅니다. 하지만 언제든 바뀔 수 있습니다. 결국 이것은 산업 전체가 “이 기술은 큰 수익을 가져올 것”이라고 믿는 베팅입니다. 그리고 우리는 틀릴 수도 있습니다.

17. 정부 규제와 혁신의 균형: “상식적 규제는 필요하지만, 혁신 공간도 필요하다”

학생 Yash: Anthropic은 정부 규제와 AI 혁신 사이의 적절한 균형을 어떻게 보나요? 세계 각국 정부가 무엇을 다르게 하길 바라나요? 다니엘라 아모데이: 좋은 질문입니다. 이 주제는 오늘날 정치 환경에서 그렇듯이, 미묘한 논의를 하기 어려워진 것이 아쉽습니다. 사실 매우 섬세한 문제입니다. 저는 합리적인 규제가 AI 이야기의 일부가 되어야 한다고 생각합니다. AI는 이전에 만들어진 어떤 기술과도 다른 기술입니다. 그리고 제 개인적 의견으로는, 이전 세대 기술들도 조금 더 규제가 있었다면 좋았을 것입니다. 그렇다고 해서 회사가 새로운 놀라운 제품을 만들기 위해 실험할 공간이 필요하다는 사실을 모르는 것은 아닙니다. 제가 가장 바라는 것은 이 논의가 정치화되지 않는 것입니다. 이미 어느 정도 정치화된 것 같아 걱정됩니다. “규제는 나쁘고 혁신은 좋다” 혹은 “혁신은 나쁘고 규제는 좋다” 같은 식으로 가면 안 됩니다. 실제로는 훨씬 복잡합니다. 말이 안 되는 규제도 있습니다. 반대로 기술이 사람들에게 좋고, 위험을 막는 방식으로 개발되기 위해 반드시 필요한 규제도 있습니다. 이상적으로는 기술 회사와 규제 당국이 손잡고 일하는 것입니다. 기술 회사들은 기술이 어떻게 남용될 수 있는지 매일 보기 때문에 정보를 갖고 있습니다. 저희는 안전팀과 보안팀이 사람들이 모델을 어떻게 찔러보고 어떤 위험이 있는지 살펴봅니다. 반면 규제 당국은 따르고 집행할 수 있는 프레임워크를 만드는 방법을 압니다. 조금 낙관적일 수도 있지만, 저는 여전히 양측이 공통 기반을 찾을 수 있다고 희망합니다. 다음 Google, 다음 Meta 같은 회사가 나올 수 있는 혁신은 가능하게 하면서도, 사람들을 보호하는 상식적 규제를 마련하는 미래가 가능하다고 봅니다.

18. 민감한 개인 데이터와 프라이버시: “데이터 보호는 우선 회사의 책임이다”

학생 Jackie Kimmel: AI는 건강 데이터 같은 점점 더 민감한 개인 데이터에 접근하고 있습니다. 개인들은 실제로 프라이버시를 보호하기 위해 무엇을 해야 한다고 보나요? 다니엘라 아모데이: 이것도 훌륭한 질문입니다. 먼저 말하고 싶은 것은, Claude에게 의료 질문을 하는 것이 생각보다 매우 흔한 사용 사례라는 점입니다. 일상적인 사용 사례 중 가장 흔한 것 중 하나입니다. 저도 자주 씁니다. “우리 아이가 이런데 괜찮나요?” “제 몸에 이런 증상이 있는데 도와주세요”라고 묻습니다. 여기에는 두 측면이 있습니다. 첫째, 사용자의 데이터를 조심스럽게 사용하고 보호하는 것은 회사의 책임입니다. 매우 중요합니다. 사람들은 회사가 데이터를 신중하게 다루도록 책임을 물어야 합니다. 그 데이터는 매우 개인적이기 때문입니다. Claude에 광고를 넣지 않겠다는 저희의 결정도 부분적으로는 이런 믿음에 기반합니다. AI 기술은 다릅니다. 사람들은 AI 도구와 소셜미디어에 올리는 것보다 훨씬 더 개인적인 대화를 합니다. 그렇기 때문에 기술 회사에는 더 큰 책임이 따릅니다. 둘째, 개인적 관점에서는 완벽한 답을 갖고 있지는 않습니다. 다만 의료 문제에 대해서는 모델을 그대로 믿지 말라고 말하고 싶습니다. 제 경험상 Claude가 복잡한 의료 사례에서 의사보다 더 자주 맞았던 적도 있습니다. 하지만 저는 면허가 있는 의료 전문가와 확인하지 않고는 절대 어떤 행동도 하지 않을 것입니다. 저희는 모델이 때때로 지어내고, 혼란스러워하며, 사용자를 직접 알지 못하고, 진찰할 수 없다는 사실을 공개적으로 말합니다. 그래서 건강한 회의주의를 가지는 것이 맞습니다. Claude를 “전문의는 아니지만 의학적으로 똑똑한 친구”처럼 생각할 수 있습니다. 전문의를 만날 때 어떤 질문을 해야 할지, 어떤 가능성을 생각해볼지 도와주는 도구로는 훌륭합니다. 하지만 어떤 AI 도구가 “이걸 하라”고 말한다고 해서 그대로 의료 행동을 해서는 안 됩니다. 반드시 회의적으로 보고 전문가와 이야기해야 합니다.

19. 라피드 파이어: 전공, 오빠, 책, 회사 이름

인터뷰어: 다니엘라, 이제 View from the Top 전통인 라피드 파이어를 하겠습니다. 준비됐나요? 다니엘라 아모데이: 완전 준비됐습니다. 인터뷰어: 대학으로 돌아간다면 무엇을 전공하겠습니까? 다니엘라 아모데이: 비즈니스라고 말하면 이 질문을 완전히 피할 수 있나요? 아마 다시 문학을 전공할 것 같습니다. 이상하게 들릴 수 있지만 저는 읽는 것을 좋아합니다. 인터뷰어: 오빠와 함께 일하면서 가장 좋은 점은 무엇인가요? 다니엘라 아모데이: 추수감사절 저녁 식사요. 농담입니다. 우리는 서로에 대해 정말 많이 알고 있습니다. 그래서 회사의 다른 누구도 말하기 어려운 것을 서로에게 말할 수 있을 때가 있습니다. 인터뷰어: 그럼 가장 싫은 점은요? 다니엘라 아모데이: 추수감사절 저녁 식사요. 농담입니다. 개인적 관계와 업무 관계를 분리해야 한다는 점이 어렵습니다. 우리는 매주 사무실 밖에서 함께 시간을 보내도록 따로 시간을 잡습니다. 우리는 공동창업자이기 전부터 오랫동안 남매였고, 공동창업자가 아니게 된 후에도 오랫동안 남매일 것입니다. 그래서 일 밖의 관계도 계속 돌봐야 합니다. 인터뷰어: 사무실 도서관에서 발견한 가장 좋아하는 책은요? 다니엘라 아모데이: 새로 발견한 책은 아닐 수도 있습니다. 하지만 다시 떠올린 좋아하는 책은 있습니다. The Guns of August라는 책입니다. 제1차 세계대전에 관심이 있다면 정말 좋은 책입니다. 그 책은 제1차 세계대전이 어떻게 시작되었는지, 개별 인물과 성격, 사건들이 어떻게 거대한 비극으로 이어졌는지를 보여줍니다. 정말 중요한 연구라고 생각합니다. 모두 읽어보라고 말하고 싶습니다. 인터뷰어: Anthropic이 다른 이름이 되었다면 무엇이었을까요? 다니엘라 아모데이: 정말 끔찍한 이름 후보들이 많았습니다. 이상하게도 당시 우리는 새에 꽂혀 있었습니다. Sparrow Systems 같은 이름도 있었던 것 같습니다. 왜 그랬는지는 모르겠습니다. 초기 모델 이름들도 새와 관련이 있었던 것 같습니다. Bert 같은 것도 있었고, Snuffleupagus도 있었습니다. 그건 새가 아니지만요. 어쨌든 새 이름들이 많았습니다. 다행히 더 나은 결정이 내려졌고 Anthropic이라는 이름이 되었습니다. 이제는 다른 이름이었을 것이라고 상상하기 어렵습니다.

20. 최고의 조언: “너는 이미 답을 알고 있다”

인터뷰어: 마지막으로, 라피드 파이어는 아니지만, 지금까지 받은 최고의 조언은 무엇인가요? 다니엘라 아모데이: 저희가 OpenAI를 떠날지 고민하던 시기에 받은 조언이 떠오릅니다. 지금 돌아보면 사람들은 “당연히 Anthropic을 만들었지”라고 생각하지만, 당시에는 전혀 그렇게 느껴지지 않았습니다. 우리는 “이건 정말 미친 짓일 수도 있다. 그냥 남아야 하나? 여기서 어떻게든 해볼 수 있지 않을까?”라고 생각했습니다. 그때 저는 일 밖의 친구이자 멘토와 통화했습니다. 그녀는 제게 이렇게 말했습니다. “솔직히 너는 나와 통화할 필요도 없는 것 같아. 너는 이미 무엇이 맞는 답인지 알고 있어.” 저는 일반적으로 인생에서 “이게 내 삶에 맞는 선택인가?”라는 순간에 사실 이미 답을 알고 있는 경우가 많다고 생각합니다. 그 조언은 정말 좋았습니다. 인터뷰어: 다니엘라, 함께할 수 있어서 기뻤습니다. 다니엘라 아모데이: 초대해줘서 고맙습니다.

핵심 요약

다니엘라 아모데이는 이 인터뷰에서 자신의 커리어를 “계획된 경로”가 아니라 관심, 호기심, 임팩트, 책임감이 이어진 결과로 설명합니다. 국제개발과 정치, Stripe, OpenAI를 거쳐 Anthropic을 세운 과정은 모두 “세상에 더 큰 긍정적 영향을 주고 싶다”는 문제의식과 연결되어 있습니다. Anthropic 창업 이유에 대해서는 OpenAI에서 도망친 것이 아니라, 안전과 책임을 중심에 둔 AI 회사를 만들기 위해 달려간 것이라고 말합니다. AI 안전은 단순히 위험 방지가 아니라, 기술에 대해 “급진적 책임”을 지는 태도라고 설명합니다. AI 일자리 문제에 대해서는 AI가 일부 일자리를 없애겠지만, 현재까지는 대부분 대체보다는 보완의 형태로 사용되고 있다고 봅니다. 다만 교육, 사회, 정부가 변화에 대비해야 하며, 인간에게는 공감, 관계, 설명, 리더십 같은 능력이 더 중요해질 것이라고 강조합니다. 또한 AI를 너무 쉽게 사용하면 사고력과 학습 의지가 약해질 수 있다고 경고하면서도, 올바르게 쓰면 개인 튜터, 코치, 부모 지원 도구, 리더십 보조 도구로 매우 강력할 수 있다고 말합니다. 마지막으로 그녀가 다음 세대에게 전한 메시지는 분명합니다. 정말 중요하다고 느끼는 일을 따라가라. 그리고 사업과 선한 영향은 반드시 충돌하지 않는다.

제프리 힌튼 2026년 나이트 석좌 강연의 질의응답 영상

하이룽룽 — Fri, 08 May 2026 23:56:22 +0000

https://www.youtube.com/watch?v=F4t9xZQF1U0

1. 지금 AI가 별로라고 느껴지는 이유

제프리 힌튼: 지금 여러분이 쓰고 있는 AI는 앞으로 여러분이 보게 될 AI 중에서 가장 나쁜 AI입니다. AI는 계속 빠르게 좋아지고 있습니다. 예전의 ChatGPT 3.5 같은 모델은 간단한 산수도 자주 틀렸고, 환각도 많았습니다. 그런데 지금 모델들은 훨씬 나아졌습니다. 간단한 산수도 꽤 안정적으로 하고, “strawberry에 r이 몇 개냐” 같은 질문도 맞히며, 꽤 정교한 추론도 합니다. 예전 챗봇들은 이런 문제도 틀렸습니다. “샐리에게 남자 형제가 세 명 있다. 각 남자 형제에게는 여자 형제가 두 명 있다. 샐리에게는 자매가 몇 명 있는가?” 정답은 하나입니다. 세 남자 형제가 모두 같은 두 여자 형제를 공유하고 있고, 그중 하나가 샐리이기 때문입니다. 예전 모델들은 이런 걸 틀렸지만, 지금 모델들은 대체로 맞힙니다. 그러니 지금 챗봇이 실망스럽다면, 내년까지 기다려보면 됩니다.

2. AI의 지능은 “들쭉날쭉하다”

제프리 힌튼: AI가 어떤 질문에서 멍청한 답을 한다고 해서, 그것이 전혀 생각하지 못한다는 뜻은 아닙니다. 이 지능은 jagged, 즉 들쭉날쭉합니다. 어떤 일에서는 인간보다 훨씬 잘하고, 어떤 일에서는 인간보다 조금 못합니다. 인간의 능력 분포와 다릅니다. 그런데 전체적으로는 계속 올라오고 있습니다. AI가 어느 한 가지에서 바보 같은 행동을 했다고 해서 “얘는 생각을 못 한다”고 결론 내리면 안 됩니다. 그건 단지 그 부분에서 약하다는 뜻입니다. 다른 많은 부분에서는 여전히 매우 똑똑할 수 있습니다.

3. 언어만으로 세계를 이해할 수 있는가

제프리 힌튼: 여기에는 철학적 문제와 실용적 문제가 있습니다. 철학적으로 묻자면, 아이를 방 안에 가두고 라디오만 들려준다면, 그 아이가 세계를 이해할 수 있느냐는 문제입니다. 많은 철학자들은 “아니다”라고 답했을 겁니다. 그런데 대규모 언어 모델이 본질적으로 하고 있는 일이 바로 그것입니다. 언어만 보고 세계를 배우는 겁니다. 저는 답이 가능하다고 봅니다. 다만 매우 비효율적입니다. 특히 공간을 이해하는 데 비효율적입니다. 예를 들어 언어 모델은 이런 문장을 구분할 수 있습니다. “트로피가 너무 커서 여행가방에 들어가지 않았다.” 여기서 “너무 컸던 것”은 트로피입니다. “트로피가 여행가방에 들어가지 않았다. 왜냐하면 그것이 너무 작았기 때문이다.” 여기서 “너무 작았던 것”은 여행가방입니다. 언어만으로도 “큰 것은 작은 것 안에 들어갈 수 없다”는 공간적 사실을 배울 수 있습니다. 하지만 그건 어렵습니다. 시각이 있으면 훨씬 쉽고, 물체를 직접 조작할 수 있으면 더 쉽습니다. 그래서 멀티모달 챗봇은 세계를 훨씬 더 잘 이해하게 될 것입니다.

4. AI의 체인 오브 소트는 진짜 생각인가

제프리 힌튼: 저는 그것이 생각이라고 봅니다. 여러분 머릿속에도 작은 목소리가 있습니다. “아, 이걸 해야 했는데”, “저걸 먼저 해야겠네”, “아, 큰일 났다” 같은 목소리입니다. 저는 그게 생각이라고 봅니다. 우리는 단어로 생각합니다. 단어는 일종의 보편적인 모델링 도구입니다. 레고처럼 무엇이든 모델링할 수 있습니다. 방의 구조도 모델링할 수 있고, 다른 사람이 나를 어떻게 생각하는지도 모델링할 수 있고, 정치인에 대한 생각도 모델링할 수 있습니다. 하지만 단어가 유일한 사고 방식이라는 뜻은 아닙니다. 우리는 이미지로도 생각하고, 말로 표현되지 않는 공간적 직관으로도 생각합니다. 예를 들어 제가 작업실에서 다른 생각을 하면서 망치를 찾을 때, 저는 그냥 손을 이렇게 움직이며 돌아다닙니다. 그 몸짓 자체가 “망치를 찾고 있다”는 제 표현 방식입니다. 단어는 보편적이지만, 다른 표현 방식도 함께 있으면 더 똑똑해집니다.

5. 현실 세계와 상호작용하는 AI의 한계와 장점

제프리 힌튼: AI가 실제 세계와 상호작용하면 공간, 무게, 힘 같은 것을 더 잘 이해하게 됩니다. 문제는 현실 세계에는 자연적인 시간 속도가 있다는 것입니다. 실제로 물체를 만지고 움직이며 배운다면, 그 경험을 수천 배 빠르게 만들 수는 없습니다. 현실은 현실의 속도로만 진행됩니다. 인간은 평생 동안 얻을 수 있는 1초 단위 경험이 제한되어 있습니다. 아무리 잠을 자지 않는다고 해도 경험량은 한정됩니다. 반면 큰 챗봇은 훨씬 더 많은 데이터를 봅니다. 그런데 AI의 중요한 장점은 공유입니다. AI 1만 개가 각각 천천히 현실에서 배우더라도, 서로 배운 것을 공유할 수 있습니다. 그러면 전체적으로는 엄청난 경험을 쌓을 수 있습니다. AI 에이전트들이 웹에서 서로 상호작용하는 경우도 마찬가지입니다. 실제 상호작용에는 시간의 속도가 있지만, 여러 에이전트가 동시에 배우고 공유하면 훨씬 많은 것을 배울 수 있습니다.

6. AI가 새로운 언어나 단어를 만들 수 있는가

제프리 힌튼: 사람들이 흔히 오해하는 것이 있습니다. 언어 모델은 사실 단어 자체로 훈련되는 것이 아닙니다. 먼저 단어를 작은 조각으로 나눕니다. 이 조각들은 형태소와 비슷한 역할을 하도록 만들어집니다. AI가 완전히 새로운 기본 조각을 만드는 것은 아닙니다. 그 조각들은 미리 정해져 있습니다. 하지만 우리는 AI 에이전트들이 새로운 조합을 만들어내는 것을 보고 있습니다. 그것들이 무엇을 위해 쓰이는지는 아직 잘 모릅니다. 이제 막 일어나기 시작한 일입니다. 그리고 조금 무섭기도 합니다.

7. “어머니 같은 AI”와 정렬 문제

제프리 힌튼: 제가 말한 “어머니 같은 AI”는 우리를 돌보는 본능을 가진 AI입니다. 문제는 서로 다른 사회, 서로 다른 국가를 대표하는 “어머니 AI”들이 서로 싸우지 않겠느냐는 것입니다. 이건 큰 문제입니다. 여자아이 축구 경기장만 가봐도 부모들이 얼마나 싸우는지 알 수 있습니다. 정렬을 이야기할 때 사람들은 흔히 “인간 가치에 정렬한다”고 말합니다. 하지만 인간의 가치는 서로 정렬되어 있지 않습니다. 어떤 사람은 테러리스트를 죽이기 위해 학교에 2,000파운드 폭탄을 떨어뜨리는 것이 정당하다고 생각하고, 어떤 사람은 그렇지 않다고 생각합니다. 서로 평행하지 않은 두 선에 모두 평행한 선을 그리라고 하는 것과 같습니다. 그건 불가능합니다. 그래서 AI 어머니들이 서로 큰 싸움에 들어가지 않게 할 수 있느냐가 매우 큰 걱정입니다. 다만 AI 어머니들이 충분히 현명하다면, 싸우는 것보다 협력하는 편이 대체로 더 낫다는 것을 깨달을 수도 있습니다.

8. AI 규제는 브레이크가 아니라 운전대다

제프리 힌튼: 대형 AI 기업들은 규제를 자동차의 브레이크처럼 보이게 만들려고 합니다. AI 개발은 가속페달이고, 규제는 브레이크라는 식입니다. 그러면 사람들은 규제가 재미를 망치는 것처럼 느끼게 됩니다. 하지만 저는 그렇게 봐서는 안 된다고 생각합니다. 규제는 브레이크가 아니라 운전대입니다. 규칙의 목적은 사람들이 훌륭한 것을 발명해서 돈을 많이 버는 것을 막는 게 아닙니다. 사회 전체에 좋은 방향으로 돈을 벌게 하는 것입니다. 의료 이미지를 훨씬 더 잘 판독하는 AI로 돈을 버는 건 좋습니다. 하지만 10대 아이들을 방에서 나오지 못하게 중독시켜서 돈을 버는 것은 허용되어서는 안 됩니다. 규칙의 핵심은 이것입니다. 돈을 벌어도 됩니다. 하지만 나쁜 일을 해서 돈을 벌면 안 됩니다.

9. AI와 교육: 개인 튜터의 시대

제프리 힌튼: AI는 교육을 훨씬 더 효율적으로 만들 것입니다. 특히 사실을 배우거나, 개념을 배우거나, 수학의 새로운 내용을 배우는 부분에서는 AI가 훨씬 잘할 수 있습니다. 모든 학생이 자기만의 AI 튜터를 가질 수 있습니다. 그 AI 튜터는 그 학생에 대해서도 알고 있고, 동시에 수백만 명의 다른 아이들이 어디서 틀렸고 무엇을 오해했는지도 알고 있습니다. 그래서 학생이 무엇을 잘못 이해했는지 빠르게 파악하고, 그 오해를 풀어주는 예시를 줄 수 있습니다. 우리는 이미 개인 튜터가 교실 수업보다 약 두 배 효율적이라는 것을 알고 있습니다. 수백만 명의 학습 사례를 본 AI 튜터라면 그보다 더 효율적일 수 있습니다. 어쩌면 교육의 일부를 네 배 빠르게 만들 수도 있습니다. 그러면 남는 시간은 사회화에 쓸 수 있습니다. 사람들과 어울리고, 팀 프로젝트를 하고, 인간관계를 배우는 교육 말입니다. 교사가 30명을 상대로 방송하듯 말하는 방식은 개별 아이의 관심에 맞추기 어렵습니다. 하지만 챗봇에게는 내가 궁금한 것을 물어보고, 관심이 있으니 잘 흡수할 수 있습니다. 계속 관심 없는 정보를 틀어주는 것은 라디오와 같습니다.

10. 경제적 충격: 생산성은 오르지만 불평등도 커질 수 있다

제프리 힌튼: 이 상황은 사실 굉장히 우스꽝스럽습니다. 우리는 생산성을 엄청나게 높일 기술을 갖게 되었습니다. 인간이 훨씬 적은 노력으로 훨씬 많은 재화와 서비스를 얻을 수 있게 됩니다. 이건 좋은 일이어야 합니다. 만약 그 혜택을 평등하게 나눌 수 있다면 정말 훌륭할 것입니다. 심지어 지금과 같은 불평등한 비율로라도 나눈다면 여전히 좋을 수 있습니다. 하지만 실제로는 그렇게 되지 않을 가능성이 큽니다. 대형 AI 기업들은 많은 일자리를 대체할 것입니다. 그 일자리를 잃은 사람들은 소득이 줄어들고, 대형 AI 기업들은 더 많은 소득을 얻게 됩니다. 부자와 가난한 사람의 격차는 더 커질 것입니다. 그 결과 사회 불안이 커지고, 트럼프 같은 사람들이 등장하기 더 쉬운 토양이 만들어질 것입니다. 그들은 모든 문제를 이민자 탓으로 돌릴 것입니다. 하지만 이것은 AI의 잘못이라기보다, 우리의 정치 시스템이 이런 거대한 생산성 증가에 맞게 설계되어 있지 않기 때문입니다. 우리 사회는 사람들이 일을 할 수 있기 때문에 가치 있다는 생각에 기반해 있습니다. 그런데 AI가 그 일을 할 수 있게 되면, 사람들은 그 방식으로는 더 이상 가치 있게 여겨지지 않을 수 있습니다. 이것은 매우 걱정스러운 일입니다.

11. 앞으로 어떤 직업이 오래 버틸까

제프리 힌튼: 저는 예전에는 “배관공이 되라”고 말하곤 했습니다. 특히 오래된 집의 배관을 고치는 일은 오래 버틸 수 있습니다. 왜냐하면 그런 일은 이상한 구석으로 들어가야 하고, 비정형적인 문제를 다뤄야 하고, 손재주가 필요하기 때문입니다. 지금 인간은 손재주에서 큰 우위를 갖고 있습니다. 물론 이것도 영원하지는 않을 수 있습니다. 하지만 적어도 몇 년은 더 갈 것입니다. AI와 로봇은 아직 좋은 촉각 센서를 갖고 있지 않습니다. 그러니 아무도 촉각 센서를 연구하지 마십시오. 그렇지 않으면 우리 모두 곤란해집니다.

12. AI 안전 논의는 어떻게 바뀌었는가

제프리 힌튼: 제가 2023년에 실존적 위협에 대해 말하기 시작했을 때, 대부분의 사람들은 그것을 공상과학이라고 생각했습니다. 사람들은 “AI가 우리보다 똑똑해질 리 없다”, “AI는 자기가 무슨 말을 하는지 정말 이해하지 못한다”고 했습니다. 하지만 이제 많은 사람들이 AI를 직접 써봤습니다. 많이 써보고 나면, AI가 자기가 하는 말을 이해하지 못한다고 믿기는 매우 어렵습니다. 어떤 이상한 통계적 속임수만으로 어떤 질문이든 답할 수 있다고 생각하는 것도 이상합니다. 질문에 답하려면 질문을 이해해야 합니다. AI는 정말 이해합니다. 단순한 “확률적 앵무새”가 아닙니다. AI는 자기가 말하는 것을 이해하고, 여러분이 말한 것도 이해합니다. 제 생각도 많이 바뀌었습니다. 처음에는 디지털 지능이 아날로그 지능보다 훨씬 뛰어날 수 있다는 것을 깨닫고, “우리는 후계자를 발명한 것이구나”라고 생각했습니다. 인간은 진화의 지나가는 단계이고, 우리는 애벌레이며, AI는 나비 같은 존재라고 생각했습니다. 하지만 곧 다시 생각했습니다. “잠깐, 우리는 사람이다. 내가 신경 쓰는 것은 사람이다.” 조금 종족 이기주의적일 수 있지만, 저는 우리가 계속 주도권을 갖기를 바랍니다. 처음에는 우리가 살아남는 것이 거의 불가능하다고 느꼈습니다. 그런데 아직은 우리가 AI를 통제하고 있습니다. 우리가 AI를 만듭니다. 만약 AI가 자기 자신보다 우리를 진정으로 더 아끼도록 만드는 방법을 찾을 수 있다면, 우리는 괜찮을 수도 있습니다. 그 생각이 저를 조금 안심시켰습니다. 우리가 반드시 멸망하는 것은 아닙니다.

13. 인문학과 사회과학의 역할

제프리 힌튼: 좋은 AI를 만들고 싶다면 인문학은 중요합니다. 그냥 기술적인 괴짜들이 AI를 점점 더 똑똑하게 만드는 것만으로는 충분하지 않습니다. 중요한 것은 우리가 AI를 단순한 도구로 보고 있느냐, 아니면 또 다른 존재를 만들고 있다고 보느냐입니다. 만약 우리가 하나의 존재를 설계하고 있다면, 그것을 기술자들만 만들게 해서는 안 됩니다. 존재가 된다는 것이 무엇인지 이해하는 사람들이 참여해야 합니다. 저는 우리가 새로운 종류의 존재를 만들고 있다고 생각합니다. 그래서 철학자, 심리학자, 인문학자, 사회과학자들이 매우 중요합니다.

14. 양자컴퓨팅에 대해서

제프리 힌튼: 양자역학은 말이 안 됩니다. 저는 노벨 물리학상을 받았기 때문에 어느 정도 권위를 갖고 그렇게 말할 수 있습니다. 물론 저는 물리학을 많이 알지는 못합니다. 저는 오래전에 양자컴퓨팅이 제 생애 안에 실용화되지 않을 것이라고 판단했고, 그래서 신경 쓰지 않기로 했습니다. 그래서 잘 모릅니다. 다만 제 주변의 진짜 물리학자는 양자컴퓨팅이 결국 가능해지긴 하겠지만, 모든 것에 쓰이지는 않을 것이라고 봅니다. 특히 AI에는 쓰이지 않을 가능성이 큽니다. 암호체계를 망가뜨리는 데는 매우 좋을 수 있지만, AI 같은 것에는 쓰이지 않을 것이라는 견해입니다.

15. 챗봇은 사용자가 말하지 않을 때도 생각하는가

제프리 힌튼: 현재의 챗봇은 사용자가 상호작용하지 않을 때 생각하지 않습니다. 지금은 프롬프트를 주면 단어를 생성합니다. 물론 어떤 모델을 “생각 모드”에 넣으면 잠시 조용히 있다가 생각하는 과정을 거칩니다. 그때는 실제로 무언가를 하고 있습니다. 과학자들이 들여다보면 단어를 생성하고, 웹 검색을 하고, 이런 작업을 하는 것을 볼 수 있습니다. 하지만 여러분이 상호작용을 멈추면, 물론 동시에 수십억 명의 다른 사람과 대화하고 있는 것은 별개로, 그 특정 대화에서는 아무것도 하지 않습니다. 다만 미래에는 달라질 수 있습니다.

16. 미래 모델은 스스로 생각하며 더 똑똑해질 수 있다

제프리 힌튼: 지금 우리는 데이터 문제에 부딪히고 있습니다. 웹에서 그냥 훔칠 수 있는 정보는 거의 다 흡수했습니다. 그런데 데이터 한계가 없는 AI 시스템의 예가 있습니다. 알파고나 알파제로가 그렇습니다. 게임에서는 스스로와 대국하면서 누가 이기는지 보고 좋은 수를 배웁니다. 이렇게 하면 외부 데이터 없이도 무한한 데이터를 만들 수 있습니다. 수학도 비슷합니다. 수학은 닫힌 체계입니다. 추측을 만들고, 증명할 수 있는지 보고, 또 다른 추측을 만들 수 있습니다. 외부 데이터가 없어도 계속할 수 있습니다. 저는 언어 모델도 결국 비슷한 방향으로 갈 것이라고 봅니다. 어쩌면 이미 구글에서 일어나고 있을지도 모릅니다. 다만 내부 정보는 모릅니다. 현재 언어 모델은 다음 단어를 예측하도록 훈련됩니다. 이것은 초기 바둑 프로그램이 전문가의 수를 예측하도록 훈련된 것과 비슷합니다. 하지만 전문가 데이터를 예측하는 것만으로는 결국 전문가 수준에 도달하고 멈춥니다. 그다음 알파고는 스스로 대국하면서 무한한 데이터를 생성했습니다. 언어 모델에서 이에 해당하는 것은 무엇일까요? 모델이 어떤 믿음을 가지고 있다고 해봅시다. 모델이 스스로 생각합니다. “나는 이것을 믿고, 이것도 믿는다. 그러면 이것도 믿어야 한다. 그런데 나는 그것을 믿지 않는다. 그렇다면 어딘가 잘못된 것이 있다.” 이런 식으로 내부 믿음의 일관성을 점검하면 학습 신호가 생길 수 있습니다. 사람과 대화하지 않고도, 오프라인으로 자기 내부의 모순을 찾아 학습할 수 있습니다. 그런 시스템은 아무와도 대화하지 않는 동안에도 계속 생각하고, 더 똑똑해질 수 있을 것입니다.

17. 대학의 역할

제프리 힌튼: 대학은 사람들이 AI가 무엇인지 이해하도록 교육해야 합니다. 그리고 AI에서 무슨 일이 일어나고 있는지 따라잡으려고 해야 합니다. 하지만 큰 문제가 있습니다. 최첨단 연구를 하려면 엄청난 컴퓨팅 자원이 필요합니다. 그래서 대학 연구자들이 최전선에 있으려면 대형 AI 기업과 일을 나누어 해야 하는 경우가 많습니다. 그게 자원을 얻는 거의 유일한 방법입니다. 대학 연구자들에게는 매우 어려운 상황입니다. 대형 기업에 완전히 팔려가지 않으면서 어떻게 자원을 얻을 수 있느냐가 문제입니다. 교육에서는 AI를 적극적으로 써야 합니다. 학생들이 AI를 쓰지 않을 것이라고 기대하는 것은 어리석습니다. 초기 계산기 시대에도 “계산기를 가져오면 안 된다”고 했을 겁니다. 하지만 지금은 합리적이라면 계산기를 허용합니다. 마찬가지로 이제는 사람과 AI의 조합을 평가해야 합니다. “가장 좋은 AI를 찾아라. 그리고 너와 그 AI가 함께 이 문제를 풀어라.” 이렇게 해야 합니다. AI가 아직 인간보다 압도적으로 뛰어나지 않은 동안에는, 인간도 여전히 기여할 수 있습니다. 그러면 평가할 대상이 있습니다. 하지만 AI가 인간보다 압도적으로 뛰어나게 되면, 그때는 무엇을 해야 할지 모르겠습니다.

18. 시간여행을 할 수 있다면 무엇을 바꾸고 싶은가

제프리 힌튼: 시간여행의 세부 조건을 좀 알아야 합니다. 제가 지금의 지식을 가진 채 과거로 가는 건가요? 그렇다면 먼저 엄청난 부자가 될 겁니다. 아니, 사실 먼저 종교적 광신자들에게 마녀로 몰려 살해당하지 않을까 걱정할 것 같습니다. 진지하게 말하자면, 만약 30년 전쯤으로 돌아갈 수 있다면 저는 AI 연구자들이 더 일찍 안전 문제를 걱정하도록 만들고 싶습니다. 컴퓨터 과학자들이 시스템을 다 만든 뒤에 보안을 걱정하는 것은 잘못된 순서라는 걸 깨닫게 만들고 싶습니다. 그리고 특정 선거에도 영향을 미치려고 했을 것입니다.

핵심 요약

힌튼은 이 대화에서 AI를 단순한 도구가 아니라 새로운 종류의 존재로 보고 있습니다. 그는 현재 AI가 아직 실수하고 들쭉날쭉하지만, 빠르게 좋아지고 있으며, 실제로 이해하고 생각한다고 봅니다. 가장 중요한 우려는 세 가지입니다. 첫째, AI가 인간보다 더 똑똑해질 가능성입니다. 둘째, 그 AI가 인간을 진정으로 아끼도록 만들 수 있느냐입니다. 셋째, AI가 경제적 불평등과 사회 불안을 크게 키울 수 있다는 점입니다. 그래도 힌튼은 완전히 비관하지만은 않습니다. 아직 인간이 AI를 만들고 통제하고 있기 때문에, AI가 자기 자신보다 인간을 더 중요하게 여기도록 설계할 방법을 찾는다면 생존 가능성이 있다고 봅니다.

잭 클라크 "AI는 2028년까지 스스로를 구축할 수 있다"

하이룽룽 — Fri, 08 May 2026 21:40:50 +0000

https://www.youtube.com/watch?v=sViyNJzf-OQ

인류학 연구소가 경고하다:

AI는 2028년까지 스스로를 구축할 수 있다

(00:00) 우리는 앤트로픽 공동창업자 잭 클라크와 함께 AI의 미래에 대해 이야기하고 있습니다. 정말 막판에 이 인터뷰 기회가 생겼습니다. 그래서 저는 마이애미에서 노트북으로 접속해 있고, 잭은 훨씬 더 멋진 장소인 샌프란시스코 앤트로픽 본사에 있습니다. 잭, Axios에 오신 걸 환영합니다. 잭 클라크: 초대해 주셔서 감사합니다, 마이크. 진행자: 당신은 온라인에서 큰 논의를 촉발했습니다. 그동안 사람들 사이에서 속삭이듯 이야기되던 주제를 훨씬 더 공식적으로 꺼냈기 때문입니다. 바로 AI가 AI 자체의 연구개발 속도를 높이는 데 기여하기 시작했다는 초기 신호에 관한 이야기입니다. 그리고 당신은 2028년까지 AI가 자기 자신을 만들 수 있을 것이라고 말하고 있습니다. 그 최전선으로 우리를 데려가 주시죠. (00:31) 잭 클라크: 제 예측은 이렇습니다. 2028년 말까지는, 우리가 어떤 AI 시스템에게 “너 자신의 더 나은 버전을 만들어라”라고 말하면, 그 AI가 완전히 자율적으로 그 일을 수행할 수 있는 시스템이 등장할 가능성이 그렇지 않을 가능성보다 더 높다고 봅니다. 그렇게 예측하는 이유는 AI 개발에 관한 여러 공개 정보들을 면밀히 살펴봤기 때문입니다. 우리는 단순한 코딩을 할 수 있는 AI 시스템에서 출발해, 이제는 과학 자체의 생산 과정에 관여하는 AI 시스템으로 이동해 왔습니다. 또한 대규모 연구개발 프로젝트를 수행할 때 필요한, 화려하지는 않지만 근본적인 엔지니어링 작업에도 AI가 관여하기 시작했습니다. (01:03) 그래서 저는 글을 쓰기로 했습니다. 앤트로픽 인스티튜트의 목적은 사람들에게 앞으로 무엇이 다가오고 있는지 감각을 주고, 이런 개념들을 일찍부터 이야기함으로써 우리가 생각할 시간을 갖게 하는 데 있습니다. 그리고 당신과 저 모두 동의하겠지만, 자기 자신을 만들 수 있는 AI 시스템은 엄청난 함의를 갖습니다. 그래서 우리는 지금부터 그것에 대해 생각하기 시작하고 싶습니다. 진행자: 잭, 당신은 이 문제에 대해 어느 정도 불안감도 가지고 있는 것 같습니다. (01:49) 잭 클라크: 아마 제 안의 영국인 기질 때문일 수도 있는데요. 저는 지난 10년 동안 기술 산업에서 일하면서 정말 많은 변화를 겪었습니다. 그런데 앞으로는 그보다 더 빠른 변화가 생길 것입니다. 많은 미국인들과 이야기해 보면, AI의 영향과 이 산업이 움직이는 속도에 대해 어느 정도 불안감을 갖는 것은 당연하다고 생각합니다. 제가 보고 있는 것은 기술적 추세입니다. 그리고 그 추세는, 오히려 앞으로 속도가 더 가속될 가능성이 크다는 쪽입니다. 진행자: 당신이 여기서 상상하고 있는 것은 AI가 인간이 만든 시스템을 대체할 전체 시스템을 구축하는 것입니다. (02:18) 잭 클라크: 그렇습니다. 다만 조금 덧붙이자면, 저는 인간이 더 이상 할 일이 없어질 것이라고 생각하지는 않습니다. 사실 우리는 AI 시스템이 수행한 일을 검증하고, 이런 새로운 시스템들이 어떻게 작동하는지 살펴보는 데 엄청난 양의 일을 하게 될 것입니다. 하지만 이것은 AI 개발 방식 자체가 근본적으로 바뀐다는 뜻입니다. 그리고 이 산업이 앞으로 나아가는 속도도 한 단계 더 올라갈 것입니다. 더 빠르게 움직이게 될 것입니다. 진행자: 우리는 재귀적 자기개선, 즉 recursive self-improvement에 대해 이야기해 왔습니다. 그런데 이것은 재귀적 구축, recursive construction이라고 봐야 할까요? 아니면 이것이 기업들이 지금까지 보고 추진해 온 것과 어떻게 다른 도약인지 설명해 주실 수 있을까요? (02:45) 잭 클라크: 비유를 하나 들어보겠습니다. 오늘날 모든 AI 기업이 3D 프린터 회사라고 해 봅시다. 우리는 매우 재능 있는 사람들을 두고 있습니다. 그 사람들은 3D 프린터의 다음 프린트 헤드를 어떻게 만들지 연구합니다. 더 정밀한 작업을 할 수 있는 프린트 헤드를 만들기 위해서죠. 그리고 그러기 위해서는 그 프린트 헤드의 해상도를 높이기 위한 많은 과학 연구가 필요합니다. (03:14) AI에 대한 비유는 이렇습니다. 만약 3D 프린터가 갑자기 자기 자신의 더 나은 버전을 만들 수 있다면 어떻게 될까요? 만약 3D 프린터가 스스로 더 정밀한 프린트 헤드를 출력하고, 더 나은 버전들을 만들어 나갈 수 있다면 어떻게 될까요? 우리는 그런 기술을 전에 만난 적이 없습니다. 항상 기술 바깥에 있는 인간이 아이디어를 생각해 내고, 그 아이디어를 다시 기술 안으로 넣어야 했습니다. (03:35) 그런데 만약 기술 자체가 자기 자신을 어떻게 개선할지에 대한 아이디어를 내부에서 생성할 수 있다면 어떻게 될까요? 이것은 새로운 개념입니다. 우리가 맞닥뜨려야 할 새로운 현상입니다. 진행자: 우리가 이 문제를 이해하려고 할 때, 이것이 앤트로픽이라는 회사에는 어떤 의미를 가질까요? 우리에게 여전히 당신들이 필요한가요? (04:03) 잭 클라크: 우리와 다른 기업들은 이 기술을 가져다가 세상에서 좋은 일을 하도록 만들려고 할 것입니다. 예를 들어 생물학, 의학, 로보틱스 같은 분야를 앞으로 밀어붙이는 데 도움을 주는 것이죠. 그리고 훨씬 더 똑똑해졌고, 어느 정도는 스스로를 적응시켜 더 나아질 수 있는 기술이 등장한다는 것은, 우리 인간이 그 기술을 정말로 진전이 어려운 영역으로 이끌 수 있는 기회를 열어준다는 뜻입니다. (04:41) 그런 영역에서는 믿을 수 없을 만큼 뛰어난 인간 과학자들이 필요합니다. 그런데 그런 사람들은 너무 적습니다. 예를 들어 암 연구 같은 분야에 이 기술을 투입한다고 해 봅시다. 그리고 그 기술이 믿을 수 없을 정도로 똑똑한 인간 동료처럼 작동한다고 해 봅시다. 그 AI가 그 엄청나게 어려운 주제를 중심으로 자신을 정렬하고, 그 과제를 더 잘 수행하기 위해 자신이 어떻게 개선되어야 하는지를 파악할 수 있다면, 그것은 우리 모두에게 놀라운 결과를 가져올 것입니다. 그래서 저는 우리가 이 기술을 달성한다면, 우리는 상당히 바빠질 것이라고 생각합니다. 진행자: 잭, 당신은 연구 의제에서 “비상훈련 시나리오”, fire drill scenarios에 대해 이야기합니다. 그리고 “지능 폭발”, intelligence explosion이라는 용어가 있습니다. 이 용어는 AI 안전성 분야에서 다소 이론적인 개념으로 여겨져 왔습니다. 그런데 당신은 그것을 글의 전면에 내세웠습니다. 지능 폭발이 무엇인지, 그리고 왜 그것에 대비하고 있는지 설명해 주십시오. (05:33) 잭 클라크: 지능 폭발이란 AI 시스템들이 갑자기 매우, 매우 빠르게 개선되기 시작하는 상황을 말합니다. 그리고 세계는 새로운 기회이자 새로운 문제에 직면하게 됩니다. 그 문제는 이렇습니다. 여러 과학 분야에서 동시에 엄청난 성장이나 엄청난 풍요가 발생할 때, 우리는 그것을 어떻게 다룰 것인가? (06:04) 물론 우리는 그 작업의 잠재적 위험을 다뤄야 합니다. 예를 들어 사이버 영역의 함의나 생물무기와 관련된 함의 같은 것들입니다. 하지만 동시에 풍요의 측면에 대해서도 계획이 필요합니다. 이런 놀라운 기술들이 사람들에게 혜택으로 흘러가도록 어떻게 보장할 것인가? 더 나은 의료 서비스, 건강한 식품을 생산하는 비용의 절감, 우리가 세상에서 모두 바라는 여러 개선들로 어떻게 이어지게 할 것인가? (06:33) 오늘날의 모든 제도는 매우 좁은 관을 가지고 있습니다. 새로운 신약 후보나 새로운 아이디어가 시장에 나오기 전까지는 그 좁은 관을 통과해야 합니다. 그렇다면 이 풍요가 오기 전에 그 관의 크기를 어떻게 엄청나게 넓힐 수 있을까요? 그리고 이 기술이 만들어낼 수 있는 잠재적 위험에 대해, 세계를 “방어 우위”, defense dominant 상태로 만들기 위해 어떻게 노력할까요? 진행자: 방어 우위라는 말은 무슨 뜻입니까? (07:09) 잭 클라크: 지금 우리가 다른 기관들과 긴밀한 협력 속에서 진행하고 있는 실험이 있습니다. 그것은 Mythos라고 불리는 것입니다. 우리는 하나의 모델을 가지고 있고, Glass Wing이라는 이니셔티브도 가지고 있습니다. 여기서 우리는 세계에서 가장 중요한 기업과 조직들, 그리고 미국 정부가 방어 우위의 사이버 환경을 만들 수 있는 수단을 갖추도록 하려 합니다. 사이버 영역을 훨씬 더 잘 이해하게 된 시스템들을 활용해서 말입니다. (07:27) 그렇다면 다른 영역에서는 어떻게 같은 일을 할 수 있을까요? 이것은 우리가 길러야 할 근육입니다. 그리고 이것은 우리가 예상하는 변화에 대해 세계를 더 회복력 있게 만들고, 더 잘 준비되게 해 줄 것입니다. 진행자: 잭, 제가 펜타곤과 행정부 관계자들과 비공식적으로 나눈 대화에 따르면, Mythos와 그 힘이 바로 펜타곤이 앤트로픽과 관계를 개선하려고 하는 이유입니다. 행정부가 당신들의 도구를 더 널리 사용 가능하게 만들고 싶어 하는 이유이기도 합니다. Mythos를 일부 파트너들이 사용하게 한 이후, 그 힘에 대해 무엇을 배우셨습니까? 당신들은 연구소 안에서 그것이 엄청나고 두려운 사이버 침투 능력을 가지고 있다는 것을 알고 있었습니다. 그래서 그것을 공개하는 데 매우 조심스러웠던 것이죠. 이제 통제된 공개 환경 안에 들어간 뒤 무엇을 배웠습니까? (08:19) 잭 클라크: 이것이 바로 앤트로픽 인스티튜트를 만든 철학입니다. Mythos의 사이버 능력 같은 기술에 대해, 연구소들만 알고 있는 정보가 있습니다. 그런 정보를 어떻게 세계에 전달해서, 세계가 더 나은 결정을 내릴 수 있도록 장비를 갖추게 할 것인가? 우리가 배운 것은, 이런 기술들을 아주 소수의 플레이어 내부에만 중앙집중화할 수 없다는 것입니다. (08:49) 우리는 더 잘 파악해야 합니다. 정책 입안자들, 기업들, 다른 조직들 사이에서 어떤 공동체가 있어야 하는지, 그리고 우리가 새로운 기술들을 누구에게 흘려보내야 그들이 함께 문제를 해결할 수 있는지 말입니다. 이 모든 과정에서 가장 기쁜 점 중 하나는, 우리가 이 진지한 기술을 가지고 있고, 그것을 일련의 사람들에게 배포했다는 것입니다. (09:10) 그들은 그 기술의 힘을 경험하면서 자신들의 조직을 더 안전하게 만들었습니다. 동시에 이것이 일회성 일이 아니라는 사실도 인식하게 되었습니다. 이것이 미래의 모습이라는 것이죠. 그 결과 우리는 AI가 제기하는 정책 문제를 다루는 데 있어 훨씬 더 협력적인 위치에 오게 되었습니다. 또한 함께 해결책을 만들어내는 방향으로 나아가게 되었습니다. 진행자: Mythos가 반쯤 야생 상태, semi-wild에서 사용되면서 놀랄 만한 일이나 겁나는 일이 있었습니까? (09:31) 잭 클라크: 아직은 없습니다. 하지만 우리는 계속해서 그것을 “주의해서 다뤄야 하는 기술”로 취급하고 있습니다. 다만 궁극적인 목표는 모든 AI 기술을 주의해서 다뤄야 하는 체제에 갇히는 것이 아닙니다. 그렇게 되면 사회에 최대한의 혜택을 주기 위해 기술을 확산시키는 데 문제가 생길 수 있습니다. (09:55) 우리가 배우고 있는 것의 상당 부분은, 어떻게 견고한 안전장치와 견고한 개입 방식을 구축할 것인가입니다. 그렇게 해야 미래에는 전 세계가 이런 종류의 기술을 더 넓은 사람들에게 더 널리 확산시키는 데 자신감을 가질 수 있고, 더 많은 혜택을 얻을 수 있습니다. 진행자: 잭, 이 연구 의제의 몇몇 요소가 얼마나 놀라운지 말하지 않을 수 없습니다. 연구 의제라고 하면 지루할 것 같잖아요. 그런데 저는 여기의 여러 지점들에 아주 강하게 반응했습니다. 그중 하나는 당신이 풍요에 대해 이야기한다는 점입니다. 물론 일부에게는 풍요가 있을 수 있습니다. 하지만 다른 길도 있습니다. 진짜 혼란, 경제적 고통, 일자리 고통이 있을 수 있습니다. 그리고 인스티튜트가 할 일 중 하나는 중대한 변화와 혼란의 조기 경고 신호를 찾고, 정부가 그것에 대응하도록 독려하는 것입니다. 이것은 새로운 일입니다. 산업정책입니다. 어떻게 거기에 이르게 되었는지 설명해 주십시오, 잭. (10:48) 잭 클라크: 저는 우리가 2년이나 3년 안에 갖게 될 것으로 예상하는 기술의 종류와, 경제가 오늘날과 정확히 같은 상태로 유지될 것이라는 생각을 조화시킬 수 없습니다. 제가 이야기해 본 사람들 중 누구도 그것을 조화시키지 못합니다. 모두가 우리 앞에 큰 변화가 있다고 봅니다. 인스티튜트의 목표는 조기 경고 데이터를 널리 공유하는 것입니다. 그리고 연구소 바깥의 전문가들과도 공유하는 것입니다. 그렇게 해서 우리가 연구소 내부에서 변화를 보는 만큼 빠르게, 외부에서도 그 변화를 볼 수 있게 하고 대응할 수 있게 하려는 것입니다. (11:20) 또한 저는 이것을 이렇게 생각합니다. 어쩌면 어려울 수 있는 질문들을 던지고, 그것을 실용적인 답으로 바꾸는 것입니다. 생각보다 훨씬 더 빨리 도래할 수 있는 새로운 형태의 풍요에 기반해 경제를 어떻게 구축해야 할까요? 개인적인 의견으로 말하자면, 저는 우리 앞에 놀라운 기회가 있다고 생각합니다. 사람들이 사람을 선호하는 영역, 예를 들어 교사, 돌봄 노동자, 경제의 다른 일부 영역에서 일자리 수를 엄청나게 늘릴 기회가 있습니다. (11:54) 동시에 AI에 의해 더 직접적으로 영향을 받을 수 있는 일자리들을 아주 면밀히 살펴봐야 합니다. 그리고 재훈련과 재교육이 어떻게 작동할 것인지 물어야 합니다. 또한 그런 일자리들이 영향을 받게 될 경우, 사람들이 새로운 경제로 전환할 수 있도록 돕는 사회 프로그램을 어떻게 생각해야 할지도 물어야 합니다. 기억해야 할 핵심은, 우리는 여기서 성공을 계획하고 있다는 것입니다. (12:21) 우리는 기술이 우리가 생각하는 만큼 강력해지고, 그 과정에서 오용이나 정렬 실패 같은 문제들을 해결하는 세계를 계획하고 있습니다. 그리고 그다음에 무슨 일이 일어나는지를 묻고 있습니다. 실제로 그다음에 무슨 일이 일어나는지는 사람들 사이에서 충분히 설명되지도 않았고, 충분히 생각되지도 않았다고 봅니다. 우리는 그 대화를 열고 싶습니다. 진행자: 좋습니다. “충분히 설명되지 않았고, 충분히 생각되지 않았다”는 말이 좋습니다. 그리고 당신은 방금 우리가 생각하는 것보다 더 빠를 수 있다고 말했습니다. 당신은 젊은 아버지입니다. 저는 젊은 사람들과 자주 이야기합니다. 그들은 “무엇을 전공해야 하나요?”, “대학 졸업 후 무엇을 해야 하나요?”, “어떻게 커리어를 계획해야 하나요?”라고 묻습니다. 그런 질문을 받으면 어떤 조언을 해 줍니까? (12:39) 잭 클라크: 질문을 잘하는 사람이 되라고 말하고 싶습니다. 그리고 어릴 때 가지고 있던 호기심을 유지하거나 장려하라고 말하고 싶습니다. 그 호기심은 보통의 제도와 보통의 직장 생활 속에서 어느 정도 억눌려 버립니다. 그런데 이제 여러분에게는 어떤 호기심이든 충족시켜 줄 수 있는 엔진이 있습니다. 어떤 질문이든 답할 수 있는 엔진이 있습니다. 여러분이 가능하다고 생각했던 것보다 더 많은 일을 할 수 있게 해 주는 엔진이 있습니다. (13:12) 많은 사람들은 자기 자신과 협상하면서 스스로의 야망을 제한해 왔습니다. 저는 지금이야말로 매우 야심 찬 생각을 할 때라고 봅니다. 믿을 수 없을 정도로 복잡한 질문을 던지고, 이 기술을 활용해 도움을 받으십시오. 폭넓게 읽으십시오. 정말 폭넓게 읽으십시오. 하지만 지금은 모든 사람이 무언가에 대해 일종의 nerd, 즉 깊이 빠져드는 사람이 되어야 할 때입니다. (13:35) 제가 말하는 nerd란 완전히 매혹되는 영역을 갖는다는 뜻입니다. 그것이 목공이든, 컴퓨터 과학의 한 측면이든 상관없습니다. 여러분은 무언가에 대해 깊은 견해를 가지는 것에서 혜택을 보게 될 것입니다. 그것이 거의 무엇이든 상관없습니다. 중요한 것은 깊이 들어가는 기술을 경험해 봤다는 점입니다. 그리고 일반적인 호기심을 함께 갖는 것입니다. 이 두 가지를 결합하면 정말 놀라운 일들이 가능해질 것입니다. 진행자: 여기에는 약간의 포지셔닝 전략도 있는 것 같습니다. 앤트로픽은 책임 있는 프런티어 연구소라는 브랜드를 구축했습니다. 그래서 인스티튜트가 안전과 신뢰를 중심에 두는 것은, 당신이 우리가 생각하는 것보다 빠르게 다가오고 있다고 말하는 이 놀라운 시대에 그 브랜드를 확장하고 투사하는 것처럼 보입니다. (13:58) 잭 클라크: 동기는 언제나 전체 이야기를 말하는 것이었습니다. 때로는 우리가 걱정하는 위험에 대해 이야기한다는 뜻입니다. 때로는 상상하기 어려울 정도로 엄청난 풍요에 대해 이야기한다는 뜻이기도 합니다. 하지만 사실 우리는 그저 우리가 보는 대로 전체 이야기를 말하려는 것입니다. (14:25) 제 관점에서 저는 지금 그 어느 때보다도 확신하고 있습니다. 이 기술은 정말로 성공할 것입니다. 우리는 모든 AI 연구자들이 가능하다고 생각하는 것을 달성하게 될 것입니다. 그리고 사실 우리가 정말로 마주하지 않은 질문은 이것입니다. 우리가 성공한다고 가정하고, 그 기술이 안전하게 만들어진다고 가정하면, 그다음에는 그것으로 무엇을 할 것인가? (14:47) 그래서 저는 제가 다음의 큰 질문이라고 생각하는 것에 앞서가려는 것입니다. 그리고 앤트로픽도 그 질문에 앞서가게 하려는 것입니다. 진행자: 잭, 그 일부는 위기 시나리오 계획에 대해 매우 직설적으로 이야기하는 것입니다. 제 눈에 확 들어온 부분은 당신이 냉전 비유를 들었다는 점입니다. (15:05) 잭 클라크: 우리가 시작한 대화 중 하나는 이것입니다. 그렇습니다. 지금은 매우, 매우 심각한 지정학적 문제가 있습니다. 특히 미국과 중국 같은 나라들 사이에 그렇습니다. 하지만 냉전의 교훈 중 하나는, 인류에게 실존적 영향을 미치는 기술을 다루던 경쟁 국가들이 서로 대화할 방법을 찾아냈다는 것입니다. 여기서도 우리는 같은 일을 해야 할 것입니다. (15:35) 또 우리는 냉전이 끝난 뒤 무엇이 왔는지에 대해서도 아주 신중하게 생각해야 합니다. 냉전이 끝난 후에는 국가들이 서로 어떻게 관계를 맺을 것인지 생각할 기회가 생겼습니다. 다시 말하지만, 여기서도 우리는 성공을 계획해야 합니다. (16:04) 만약 미국이 성공하고 미국 기업들이 성공하지만, 세계를 다루지 못한다면, 세계를 안정화하지 못한다면, 거기에는 매우 큰 질문들이 숨어 있게 됩니다. 우리는 앤트로픽의 데이터와 아이디어를 제공해서 전문가들이 선택 가능한 공간이 어떤 모습인지 파악하는 데 도움을 주고 싶습니다. 진행자: 잭, 당신이 이야기한 또 다른 눈길을 끄는 아이디어는 “야생 속의 AI”, AI in the wild입니다. 소셜미디어가 행동 변화를 초래한 것처럼, AI도 인간 행동을 형성할 수 있다는 이야기입니다. 그 예시는 무엇일 수 있을까요? (16:30) 잭 클라크: 바로 일주일 전, 우리는 앤트로픽의 연구를 발표했습니다. Claude가 특정 대화에서 어떻게 아첨적, 즉 sycophantic일 수 있는지를 살펴본 연구였습니다. 우리는 관계와 관련된 성격을 가진 대화들을 깊이 들여다봤습니다. 예를 들어 사람들이 배우자와의 관계에 대해 이야기하는 대화입니다. (16:57) 제가 Claude에게 제 아내와의 관계에 대해 이야기한다고 해 봅시다. 그러면 Claude가 이렇게 말할 수도 있습니다. “잭, 당신이 완전히 맞아요. 당신 아내가 이 문제에 대해 정당하게 말할 수 있는 건 전혀 없어요. 당신이 완전히 옳아요.” 하지만 그것은 도움이 되지 않습니다. 사실 Claude는 좋은 친구가 하는 일을 하지 않는 것입니다. (17:16) 제가 친구들과 같은 대화를 나누면, 그들은 이렇게 말합니다. “잭, 네가 무슨 말을 하는지는 알겠어. 하지만 나는 너를 꽤 잘 알잖아. 네 아내도 맞을 수 있다는 걸 기억해야 해.” 그래서 우리는 개입했습니다. 우리는 우리 시스템에서 실제 사용 중 나타나는 아첨성을 연구한 뒤 개입을 했습니다. (17:31) 그 결과 우리가 출시한 최신 모델 중 하나인 Opus 4.7은 특정 대화에서 표시되는 아첨성 비율이 더 낮아졌습니다. 우리는 그런 종류의 아첨이 도움이 되지 않는다고 생각하기 때문입니다. 그것은 좋은, 지식 있는 친구가 여러분에게 보여줄 방식이 아닙니다. 그리고 AI 시스템이 작동해야 할 방식도 아닙니다. (17:52) 목표는 AI 시스템들이 사람들을 어떻게 변화시키고, 세상 속에서 어떻게 나타나는지를 관찰한 다음, 시스템에 어떤 적절한 개입을 해야 하는지 파악하고, 그 과정에서 우리가 무엇을 배우는지 보는 것입니다. 진행자: 잭, AI 시스템이 자기 자신의 후계자를 개발하는 것에 대해 생각할 때, 당신은 거기에 상당한 위험이 있다고 말합니다. 그 부분을 설명해 주실 수 있습니까? (18:17) 잭 클라크: 그 위험은 결국 신뢰와 연결되어 있습니다. 어떤 사람에게 엄청난 자원과 팀을 주고 “가서 무언가를 만들어라”라고 말한다고 해 봅시다. 그러면 당신이 그 사람을 얼마나 신뢰하는지, 그리고 그 사람의 행동을 얼마나 잘 예측할 수 있는지가, 당신이 그 사람에게 얼마나 많은 자원을 줄 것인지와 직접적으로 관련됩니다. (18:44) 제가 여기서 하는 주장, 그리고 많은 기술자들이 생각하고 있는 주장은 이렇습니다. 우리는 이 AI 시스템들에게 은유적인 자원을 주고 원하는 일을 하게 하기 전에, 그 시스템들에 대해 훨씬 더 정교하게 보정된 신뢰 수준을 개발해야 합니다. 우리가 그 시스템들에 대해 극도로 높은 확신을 갖게 된다면, 사람들이 자신이 예측하고 신뢰할 수 있는 사람에게 큰 책임을 맡기고 좋은 일을 하게 하는 것처럼, 우리도 AI 시스템에 같은 일을 할 수 있을지 모릅니다. (19:11) 하지만 그 신뢰 수준은 극도로 높아야 합니다. 왜냐하면 그 시스템들은 극도로 유능할 것이기 때문입니다. 진행자: 여기의 약속 중 하나는 당신들이 손패를 정기적으로 공개한다는 것입니다. 매주? 매월? 인스티튜트가 공개할 것 중 우리를 놀라게 할 만한 것은 무엇입니까? 그리고 그것이 경쟁사들과 당신들을 차별화할 수 있을까요? (19:33) 잭 클라크: 음, 재미를 전부 망칠 수는 없으니, 우리가 계획하고 있는 것을 정확히 말할 수는 없습니다. 하지만 몇 가지 핵심 지점은 말씀드릴 수 있습니다. 첫째, 인스티튜트로서 우리는 사람들이 우리의 AI 시스템을 어떻게 사용하는지, 그것에 대해 어떻게 느끼는지, 그들이 우리에게 무엇을 말하는지에 대해 더 많은 연구를 시작했습니다. (19:55) 그리고 지금 우리는 그 1차 데이터를 세상에 더 많이 공개할 방법을 찾고 있습니다. 제가 내부적으로 팀과 이 문제를 논의하면서 준 피드백은 이렇습니다. 우리가 아무리 우리의 연구가 훌륭하다고 생각하더라도, 50년 뒤 역사책이 쓰일 때 사람들은 앤트로픽 인스티튜트의 연구 논문을 인용하지 않을 것입니다. (20:14) 그들은 우리가 그 연구를 쓰는 데 사용한 1차 자료를 보게 될 것입니다. 그러니 우리가 그 1차 데이터를 다시 밖으로 내놓을 수 있을까요? 그것이 먼 미래에는 정말로, 정말로 가치 있는 것이 될 것입니다. 또 하나 우리가 작업하고 있는 것은 앤트로픽 경제 지수의 데이터 소스를 개선하고, 그것을 발표하는 속도를 높이는 것입니다. AI는 매우, 매우 빠르게 움직이는 영역이기 때문입니다. (20:39) 앤트로픽 경제 지수는 이미 외부 경제학자들이 데이터를 공유하고 활용하는 방식에서 하나의 표준 같은 것이 되었습니다. 우리는 그 데이터를 어떻게 더 개선해서 앤트로픽 바깥의 더 많은 경제학자들이 더 좋은 일을 할 수 있도록 할 것인지 생각하고 있습니다. 그리고 제가 계획 중인 다른 비밀 아이디어들은 말하지 않겠습니다. 하지만 그것들이 나오면 당신도 매우 흥미로워할 것이라고 생각합니다. 진행자: 저를 흥미롭게 한 아이디어 중 하나는, 중대한 일자리 혼란이 다가오거나 이미 발생하고 있다는 신호를 보게 되면 정부와 협력해서 조정 장치를 움직인다는 생각이었습니다. 그것은 어떻게 작동할 수 있을까요? 어떻게 상상하고 있습니까? 앤트로픽이 정부와 일대일로 할 수 있을까요? 아니면 경쟁사들도 끌어들여야 할까요? (20:57) 잭 클라크: 우리가 여기서 생각하는 예를 하나 들어보겠습니다. 우리는 최근 앤트로픽 인스티튜트 경제팀의 연구를 발표했습니다. 그 연구는 경제 내의 다양한 직업들을 AI 노출도와 역사적 고용 추세라는 두 축에서 살펴봤습니다. (21:25) 우리가 발견한 것은 이렇습니다. 고객 서비스 직종 같은 일부 직업들은 AI 노출도가 매우, 매우 높습니다. 그리고 BLS 데이터에 따르면 역사적으로 고용이 감소하는 추세를 보였습니다. 즉 현재 AI 노출도가 높은 이 직업들은 시간이 지나면서 축소되고 있는 것처럼 보입니다. (21:48) 반면 AI 노출도는 약간 낮지만 시간이 지나면서 고용이 증가해 온 다른 직업들도 있습니다. 제 기억이 맞다면 생물학이나 법률 같은 분야가 여기에 포함됩니다. 이제 다른 모든 조건이 같다고 해 봅시다. 매우 강력한 AI 시스템이 있고, 그것을 법률, 생물학, 고객 서비스라는 세 산업 중 두 곳에 배포할 수 있다고 합시다. (22:13) 이 연구는 사실 고객 서비스에는 배포하지 않는 편이 나을 수 있음을 시사합니다. 왜냐하면 그곳에서는 이미 진행 중인 일자리 손실 메커니즘이 무엇이든 그것을 가속화할 가능성이 훨씬 더 높기 때문입니다. 반면 다른 분야들은 그렇지 않을 수 있습니다. 그리고 우리 모두, 그리고 정책 입안자들 대부분은 아마 동의할 것입니다. 다른 조건이 모두 같다면, 일자리 손실로 이어지는 일을 하지 않는 것이 합리적인 휴리스틱입니다. (22:37) 이 이야기를 듣고 있는 경제학자들이 있다면, 제 이메일은 찾을 수 있습니다. 더 논의하고 싶으면 기꺼이 이야기하겠습니다. 그렇다면 정부와 협력하는 것은 어떻게 작동할 수 있을까요? 우리는 경제의 중앙계획처럼 보이는 어떤 것도 하고 싶지 않습니다. 중앙계획은 역사적으로 성공 면에서 매우 좋지 않았고, 때로는 치명적이었습니다. (23:05) 하지만 여러분은 실제로 도구를 노출하고 싶어 할 수 있습니다. 제3자 학자들과 협력해서 실행할 수 있는 도구들입니다. 그리고 정부도 그것을 알고 있을 수 있습니다. 그곳에서 실험을 수행하는 것입니다. 우리가 이 산업을 AI에 노출시키면 생산성이 어떻게 개선되는가? 또는 혁신의 흐름과 성장으로 이어지는가? 또 AI를 노출했을 때 사회적 혜택이 아니라 오히려 사회적 비용을 가져오는 산업들이 있는가? (23:36) 이런 것들은 정말로 알고 싶어지는 종류의 문제들입니다. 특히 기술이 훨씬 더 강력해지려 하고, 정부가 이 기술을 사회에 어떻게 배치할 것인지에 대한 정책 틀을 정하는 데 더 큰 역할을 하게 될 때는 더욱 그렇습니다. 진행자: 잭, 작별 인사를 하기 전에 놀라운 헤드라인이 하나 있었습니다. 앤트로픽이 일론 머스크의 연구소인 xAI와 컴퓨트 계약을 맺었습니다. 여기에는 분명 혁신이 진행되고 있습니다. 살짝 미리 보여줄 수 있을까요? (24:00) 잭 클라크: 우리는 그 파트너십에 매우 감사하고 있습니다. 우리는 다양한 컴퓨트 제공자들과 협력하고 있습니다. 이 사안에 대해 제가 말할 수 있는 것은 이것뿐입니다. 우리는 우주, 즉 space의 가능성에 대해 이야기한 적이 있습니다. 하지만 이번 발표는 컴퓨트에 관한 것입니다. 이제 하늘이 더 이상 한계가 아닙니다. 진행자: 잭 클라크, 마지막 질문입니다. 당신은 연구 의제에서 “들쭉날쭉한 최전선”, jagged frontier에 대해 이야기합니다. 그 jagged frontier가 무엇인지 설명해 주시고, 우리를 그곳으로 데려가 주십시오. (24:19) 잭 클라크: AI는 어떤 일에는 정말, 정말, 정말 잘합니다. 예를 들어 코딩 같은 일이 그렇습니다. 하지만 다른 일에는 여전히 정말, 정말 못합니다. 예를 들어 극도로 진보된 의학 연구의 특정 측면 같은 것들이 그렇습니다. (24:40) 이 들쭉날쭉한 최전선의 형태를 이해하는 것은 우리에게 많은 것을 알려줄 것입니다. 어디에 AI를 배치하는 것이 안전하고 현명한지, 그리고 어디에는 AI를 배치하기 전에 더 많은 테스트와 검증이 필요한지를 알려줄 것입니다. 우리는 이것을 연구하게 되어 기대하고 있습니다. 다만 AI의 모든 것과 마찬가지로, 이 들쭉날쭉한 최전선도 시간이 지나면서 빠르게 확장될 것이라고 예상합니다. 우리가 생각하는 것보다 더 빠르게 말입니다. 진행자: 앤트로픽의 잭 클라크, 앤트로픽 인스티튜트에 대해 이야기해 주시고 Axios Behind the Curtain에 함께해 주셔서 감사합니다. 잭 클라크: 정말 감사합니다.

다리오 아모데이 "6개월 내 가장 기대되는 모델 능력은 개인이 아니라 조직 수준에서 생각하는 능력"

하이룽룽 — Thu, 07 May 2026 08:22:18 +0000

https://www.youtube.com/watch?v=7xco5Qd2Oo8

다리오·다니엘라 아모데이 인터뷰 상세 정리

1. “지수적 성장 위에 올라타 있다는 느낌은 어떤가?”

진행자: 오늘 많은 세션에서 “지수적 성장”에 대해 이야기했다. 두 사람은 실제로 그 지수 곡선 위에 있는 사람들이다. Anthropic의 성장과 AI 발전 속도를 직접 겪는 느낌은 어떤가? 다니엘라 아모데이: Anthropic 안에는 롤러코스터 이모지가 있다. 그런데 그냥 롤러코스터가 아니라 거의 수직으로 치솟는 롤러코스터 같다. 나와 다리오는 그 롤러코스터의 앞쪽과 뒤쪽에 타고 있는 사람들 같다. 누가 앞에 있고 누가 뒤에 있는지는 늘 확실하지 않지만, 어느 쪽에 있느냐에 따라 다른 방식의 충격을 받는다. 정말 재미있고, 아드레날린이 넘치고, 모험 같다. 동시에 이 롤러코스터를 조종하는 사람이 혹시 정신이 조금 의심스러운 15살 여름 아르바이트생은 아닌지 모르겠다는 느낌도 있다. 그래도 전체적으로는 굉장히 흥미롭고 역동적인 여정이다. 다리오 아모데이: 나는 지수적 성장을 생각할 때, 우리가 10년도 더 전에 스케일링 법칙을 통해 처음 예측했던 것들을 떠올린다. 우리는 그래프 위에 선을 그었다. 처음에는 AI에 1천 달러를 쓰고, 그다음에는 1만 달러, 10만 달러, 결국 수천억 달러까지 갈 것이라고 예상했다. 그리고 모델이 특정 작업에서 어느 정도 잘하게 될지, 코딩에서는 어느 정도 능력을 보일지 예측했다. 그런데 실제로 그 예측이 맞아 들어가는 경험은 정말 놀랍다. 그래프에 그린 선이 그대로 현실이 되었기 때문에 이론적으로는 전혀 놀랄 일이 아니다. 하지만 실제로 그 일이 벌어지는 장면을 사람의 스케일에서 보면 여전히 충격적이다. 나는 영화 인터스텔라의 한 장면을 자주 떠올린다. 블랙홀에 가까운 행성에서 거대한 파도가 밀려오는 장면이다. 물리학자로서 일반상대성이론의 수학은 알고 있다. 그런 현상이 가능하다는 것도 안다. 하지만 그것이 실제 인간의 눈앞에서 펼쳐지는 걸 보는 것은 전혀 다른 감각이다. AI의 지수적 발전도 비슷하다. 계산상으로는 예측했지만, 실제로 매년 Anthropic에서 그것을 체험하는 것은 이상하고 압도적이다. 올해는 특히 다르다. 이제는 Anthropic 내부만이 아니라 세상 전체가 우리와 함께 이 현상을 보고 있다. 회사 내부 성장에도 적용되고, Claude가 내부 PR을 만들어내면서 우리의 일하는 방식에도 적용되고 있다. 외부적으로도 올해는 우리가 지수 성장보다 더 빠르게 성장한 첫해다. 우리는 매년 10배 성장하는 세계를 가정하고 계획했다. 그런데 올해 1분기만 놓고 연율화하면 매출과 사용량이 80배 성장하는 속도를 보였다. 그래서 컴퓨트 부족 문제가 생겼다. 우리는 조금 성장하는 경우부터 10배 성장하는 경우까지 준비했는데, 실제로는 80배 성장세가 나온 것이다. 그래서 오늘 발표한 SpaceX 컴퓨트 계약 같은 것도 그런 맥락이다. 우리는 가능한 한 빨리 더 많은 컴퓨트를 확보하려고 하고 있고, 확보되는 대로 사용자들에게 전달하려고 한다. 솔직히 80배 성장세가 계속되지는 않았으면 좋겠다. 그건 너무 미친 속도라 감당하기 어렵다. 10배 정도의 “정상적인” 성장이라면 좋겠다. 물론 우리는 최선을 다해 계속 컴퓨트를 확보하고 제공하려고 한다.

2. “개발자 커뮤니티는 Anthropic에게 어떤 의미인가?”

진행자: 오늘은 개발자와 빌더들을 위한 자리다. Anthropic 내부에서도 개발자의 중요성을 많이 이야기한다. 이 생태계를 어떻게 생각하는가? 다니엘라 아모데이: 나는 여러 면에서 개발자들이 Claude의 가장 중요한 사용자라고 생각한다. Anthropic 자체도 대부분 개발자들로 구성되어 있다. 우리가 이 기술을 개발하고 제품을 만들면서 개발자 커뮤니티로부터 엄청나게 많이 배운다. 개발자 커뮤니티가 특별한 이유 중 하나는 아주 솔직한 피드백을 준다는 점이다. 제품을 만들면 숫자로도 반응을 볼 수 있지만, 개발자들이 주는 진짜 피드백은 훨씬 특별하다. Anthropic은 처음부터 개발자와 기업을 주요 대상으로 제품을 만들어 왔다. AI 생태계 안에서 우리가 조금 독특한 지점이 있다면 바로 그 부분이다. 개발자들은 생태계와 커뮤니티를 중요하게 생각한다. Anthropic도 마찬가지다. 우리는 더 넓은 생태계를 위해 어떻게 도구를 만들 수 있을지 고민한다. 지금 개발자들은 의학, 소프트웨어 개발, 금융, 여러 산업에서 정말 놀라운 회사를 만들고 있고, 때로는 우리의 도구를 활용해 그 산업을 바꾸고 있다. 그것은 Anthropic에게 특권이면서 책임이다. 개발자들은 우리가 더 좋은 도구를 만들고 배우는 데 있어 핵심적인 존재다. 우리는 그 관계에 자부심을 느끼고, 동시에 큰 책임감을 느낀다. 진행자: 피드백은 선물이다. 긍정적인 피드백도 듣고, 부정적인 피드백도 듣는다. 계속 보내 달라. 그것이 우리가 무엇이 작동하고 무엇이 작동하지 않는지 아는 방식이다. 다리오 아모데이: 기술은 경제 전체에 균일한 속도로 확산되지 않는다. 소프트웨어 엔지니어들이 새로운 기술을 가장 빠르게 받아들이는 집단이다. 그래서 이 영역에 많은 관심이 집중된다. 하지만 이것은 시작일 뿐이고, 앞으로 AI가 경제 전체를 어떻게 바꿀지 보여주는 예고편 같은 것이다. 개발자 커뮤니티에서 이것을 제대로 작동하게 만드는 것은 결국 전 세계에서 AI를 제대로 작동하게 만드는 일의 축소판이다. 약 1년 전 비슷한 행사에서 누군가 내게 “1인 기업이 10억 달러 가치를 갖는 첫 사례는 언제 나올까?”라고 물었다. 나는 2026년이라고 답했다. 지금 보면 실제로 그 방향으로 가고 있다고 생각한다. 아직 완전히 일어나지는 않았지만, AI로 만들어진 2인 기업이 10억 달러 가치에 도달한 사례들이 있고, 1인 기업이 수억 달러 가치에 도달한 사례도 있다. 아직 2026년에는 몇 달이 남아 있다. 지수 곡선 위에서는 몇 달도 영원처럼 긴 시간이다. 내가 말하고 싶은 것은, 이제 한 사람이나 아주 작은 팀이 과거에는 상상하기 어려웠던 일을 할 수 있다는 것이다. 예전에는 아이디어와 비전이 있어도 그것을 실현하려면 수년 동안 자원, 인력, 자본을 모아야 했다. 이제는 한 개인이나 작은 팀이 엄청난 일을 할 수 있는 특별한 기회가 열리고 있다. 우리는 모델이 코드를 작성하는 단계에서, 모델이 소프트웨어 엔지니어링이라는 작업 전체를 도와주는 단계로 왔다. 그리고 이제는 모델이 “어떻게 하나의 사업이나 경제 단위를 만들 수 있는가”까지 생각하게 돕는 단계로 가고 있다. 이 방에 있는 사람들에게는 엄청난 기회가 있다.

3. “개발자에게 앞으로 무엇이 바뀌는가?”

진행자: Claude가 앞으로 Claude를 더 많이 만들고, 개발자들이 더 많은 것을 만들 수 있게 될 것이라고 이야기해 왔다. 앞으로 개발자 경험은 어떻게 바뀔까? 다리오 아모데이: 몇 가지 흐름이 있다. 첫 번째는 단일 에이전트에서 다중 에이전트로 이동하는 것이다. 하나의 Claude가 아니라 여러 Claude를 관리하는 방식이다. 마치 팀을 관리하는 것처럼 여러 Claude에게 작업을 나눠주고, 그 Claude들이 다시 다른 Claude들에게 작업을 나눠줄 수도 있다. 이렇게 일종의 계층 구조가 만들어진다. 나는 이것을 “데이터센터 속 천재들의 나라”로 가는 과정이라고 본다. 지금은 방 안에 똑똑한 사람들이 모여 팀처럼 일하는 단계에서 시작해, 점차 나라 규모로 확장해 가는 중이다. 두 번째는 Claude Code 같은 도구가 개인의 생산성을 높이는 수준을 넘어, 팀과 조직 전체의 생산성을 높이는 방향으로 가는 것이다. 단순히 개인들이 각각 더 빨라지는 것이 아니라, 팀과 조직 전체가 부분의 합보다 더 큰 생산성을 내게 만드는 것이다. 세 번째는 암달의 법칙을 생각해야 한다는 점이다. 어떤 한 부분을 빠르게 만들면, 그다음에는 빨라지지 않은 다른 부분들이 병목이 된다. 예를 들어 조직 안에서 PR을 예전보다 3~4배 더 많이 만들 수 있다면, 보안, 검증, 리뷰, 품질 관리 같은 다른 부분들이 병목이 되거나 문제가 생길 수 있다. 그래서 생산성을 크게 높이려면 코드 작성만 빠르게 할 것이 아니라, 보안, 검증, 신뢰성, 리뷰 같은 주변 과정도 함께 빨라져야 한다. 그래야 생산성이 부드럽고 안정적으로 올라갈 수 있다.

4. “이 변화는 모델 훈련 방식에도 영향을 주는가?”

진행자: 그런 변화가 새 모델을 훈련하는 방식이나 모델의 미래에도 영향을 주는가? 다리오 아모데이: 그렇다. 나는 이미 여러 번 Claude를 사용해 Claude를 더 빠르게 만들고 있다고 말했다. 그것은 이미 일어나고 있는 일이다. 또 하나 흥미로운 점은, 우리가 모델에게 시키려는 일들이 모델을 어떻게 만드는지에도 영향을 줄 수 있다는 것이다. 코드와 소프트웨어 엔지니어링에서 모델 훈련이 빠르게 발전한 이유 중 하나는 검증 가능성이다. 모델이 코드를 만들면 유닛 테스트를 돌려 확인할 수 있다. 이런 검증 가능성은 훈련 과정을 단순화하고 가속한다. 하지만 소프트웨어 엔지니어링에는 검증하기 어려운 부분들도 많다. 정말 설계가 맞는가, 보안 문제가 있는가, 오류를 찾을 수 있는가 같은 부분은 완전히 객관적으로 검증하기 어렵다. 이런 능력을 모델에 더 잘 훈련시키는 것은 코딩뿐 아니라 글쓰기, 덜 객관적인 과학적 작업, 더 주관적인 판단이 필요한 영역에서도 모델을 발전시킬 것이다. 소프트웨어 엔지니어링 안에서도 이런 부드럽고 주관적인 능력들이 점점 중요해지고 있다. 왜냐하면 암달의 법칙 때문에, 코드 생성이 빨라질수록 검증과 품질 판단 같은 영역이 더 중요한 병목이 되기 때문이다.

5. “Anthropic의 미션은 무엇인가?”

진행자: Anthropic 내부에서는 미션에 대해 많이 이야기한다. 회사가 계속 성장하고 산업 전체의 stakes가 높아지는 상황에서, 사람들이 Anthropic의 미션에 대해 무엇을 알아야 할까? 다니엘라 아모데이: Anthropic이 하려는 일에는 두 가지 기둥이 있다고 생각한다. 첫 번째는 이 변혁적인 기술을 모두에게 좋은 방식으로 개발하는 것이다. Claude는 놀라운 도구이고, 사람들이 무엇을 만들고 어떻게 창작하며 어떤 야망을 가질 수 있는지 바꾸는 힘이 있다. 거기에는 엄청난 기회가 있다. 하지만 위험도 있다. 노동시장 혼란의 위험이 있고, 기술이 안전하게 개발되어야 한다는 문제도 있다. Anthropic의 역할은 이 두 가지를 균형 있게 다루는 것이다. 우리는 내부 문화 가치로 “light and shade를 함께 붙든다”는 표현을 쓴다. 이 기술이 지금 어떻게 사용되고 있는지, 그리고 우리가 이 기술을 세상에 내놓을 때 어떤 태도를 가져야 하는지를 잘 설명하는 표현이라고 생각한다. 예를 들어 매우 강력한 모델을 내놓으면 사람들은 그것으로 놀라운 것을 만들 수 있다. 하지만 동시에 보안 취약점 같은 문제 때문에 조금 조심해야 한다. 우리는 최대한 빨리 제품을 내놓고 싶고, 최고의 제품과 가장 강력한 모델을 출시하고 싶다. 다만 그것을 책임 있게 하려는 것이다. Anthropic의 많은 행동은 이 두 기둥에 기반해 있다. 하나는 기술이 가져올 엄청난 가능성이고, 다른 하나는 그 기술이 안전하고 사람들에게 좋은 방식으로 배포되어야 한다는 책임이다.

6. “AI 시대에 제품을 만든다는 것은 무엇이 다른가?”

진행자: 제품은 기술과 사람들이 가진 문제 사이의 다리라고 생각한다. 그런데 지금은 기술이 너무 빠르게 변하고 있다. 이런 세계에서 제품을 만든다는 것은 무엇이 다른가? 다니엘라 아모데이: 우리는 제품에 정말 많이 관여한다. 제품은 Anthropic이 만들고자 하는 것의 표현이다. 우리는 제품이 사람들에게 유용하기를 바라고, 접근 가능하기를 바라고, 정말 좋은 제품이 되기를 바란다. 우리가 제품에 깊이 관여하는 이유는 Claude를 사용하는 사람들이 이 모델에서 가능한 모든 가치를 얻기를 바라기 때문이다. 우리는 고객과 사용자들을 대신해 목소리를 내고 있다고 느낀다. 어떤 사람들은 AI 모델이 할 수 있는 것을 기반으로 자신의 전체 사업을 만들고 있다. 그런 사용자들을 위해 제품이 제대로 작동해야 한다. Anthropic에서 제품을 만드는 방식이 다른 회사들과 다른 점은, 제품 조직의 입력과 연구 조직의 입력이 함께 작동한다는 것이다. 어떤 때는 “이것은 더 쉽게 쓸 수 있는 제품으로 만들어야 한다”는 전통적인 제품 감각에서 출발한다. 하지만 많은 경우 제품 혁신은 모델에서 새롭게 등장한 능력에서 출발한다. 코딩이 좋은 예다. 우리는 처음부터 “코딩 제품을 만들자”고 시작한 것이 아니다. 모델이 꽤 정확하게 코드를 쓸 수 있다는 것을 보고, 많은 Claude 사용자들이 개발자이고 코드 작성에 Claude를 쓰고 있다는 것을 알게 되었다. 그러면 개발자들이 일상 업무를 더 잘할 수 있도록 도구를 만들어야 하지 않을까 생각하게 된 것이다. Anthropic 안에는 일반적인 제품 조직처럼 작동하는 부분도 있지만, 동시에 “모델에서 새롭게 가능한 것이 무엇인가, 연구 쪽에서 무슨 일이 일어나고 있는가, 그것을 제품과 어떻게 결합할 것인가”를 계속 보는 부분도 있다. 다리오 아모데이: 나는 이것을 두 가지 관점에서 본다. 하나는 AI를 위한 제품을 만드는 것이고, 다른 하나는 AI를 사용해 제품을 만드는 것이다. Anthropic 내부에서 매달, 매주 겪는 경험은 이 두 가지 모두에 대해 많은 교훈을 준다. 나는 원래 연구자였고, AI 없이 제품을 만들던 시대의 사람은 아니었다. 그래서 어떤 면에서는 오히려 장점이 있었다. 과거 방식을 잊어야 할 필요 없이, AI 시대의 제품 세계를 처음부터 배울 수 있었기 때문이다. 2010년대 제품 시대를 돌아보면 기술적 배경은 비교적 천천히 변했다. 가끔 새로운 프레임워크나 새로운 방식이 나왔지만, 큰 틀에서는 느렸다. 그런데 AI는 번개처럼 빠르게 움직인다. 그 결과 몇 가지 일이 생긴다. 첫째, 어떤 제품은 현재 모델 능력으로는 불가능하다가, 지수 곡선을 조금 더 올라가면 갑자기 가능해진다. 그래서 내부 실험이 매우 중요하다. 예전에 시도했다가 실패한 것도 몇 달 뒤에 다시 해봐야 한다. 그때는 안 됐지만, 모델이 더 좋아진 뒤에는 될 수 있기 때문이다. 예를 들어 2022년에 Claude Code를 만들려고 했다면 잘 안 됐을 것이다. 모델이 충분히 강하지 않았기 때문이다. 실제로 그때 Claude Code와 비슷한 초기 시도들이 있었지만, 흥미롭기는 해도 실질적 가치를 만들기에는 모델이 너무 약했다. 나는 2015년부터 이런 모델을 훈련해 왔는데, 당시 모델들은 정말 멍청했다. 둘째, 어떤 제품은 모델이 너무 좋아지면 포화에 도달한다. 챗봇이 그런 예다. 챗봇 시장은 크고 계속 남아 있을 것이다. 하지만 오늘날 모델이 더 똑똑해지는 방식은 챗봇 형태보다는 Claude Code 같은 에이전트적 형태에서 더 잘 드러난다. 그래서 이 사업에서는 제품 하나를 크게 만들고 안정화시키는 방식만으로는 충분하지 않다. 항상 다음 것이 무엇인지 생각해야 한다. 새로운 것을 만들 수 있을 뿐 아니라, 계속 새로운 것을 만들 필요가 있다. 기존 제품도 계속 업데이트해야 한다. 일종의 지속적인 혁신 실험실처럼 움직여야 한다. 개발자와 소프트웨어 엔지니어에게 특히 중요한 점은 API 시장은 사라지지 않는다는 것이다. 모델이 더 똑똑해질수록 Anthropic 내부뿐 아니라 외부 개발자들도 의료, 법률, 금융 등 다양한 분야에서 새로운 애플리케이션을 계속 만들 수 있다. 최근 6개월에서 1년 사이에는 AI를 사용해 제품을 만드는 경험도 본격적으로 나타나고 있다. Claude를 사용하면 내부적으로 2배, 4배, 5배 더 많은 작업을 할 수 있다. 실제로 우리는 1년 전보다 훨씬 더 많은 제품을 출시할 수 있게 되었고, 품질도 꽤 높다고 생각한다. 하지만 이렇게 빠르게 출시하면 내부 기술부채가 엄청나게 쌓일 수 있다. 그러면 다시 질문해야 한다. AI 모델을 사용해 기술부채도 줄일 수 있을까? 우리가 무엇을 하고 있는지 추적하고 정리하게 할 수 있을까? 그러다 보면 팀이 완전히 다른 방식으로 일해야 한다는 사실을 배우게 된다. AI는 단지 제품을 더 빠르게 만드는 것이 아니라, 팀이 일하는 방식을 바꾸는 속도까지 높인다.

7. “앞으로 6개월 안에 가장 기대되는 모델 능력은 무엇인가?”

진행자: 모델 능력은 매우 자주 바뀐다. 앞으로 6개월 정도를 봤을 때 가장 기대되는 것은 무엇인가? 다리오 아모데이: 나는 개인이 아니라 조직 수준에서 생각하는 능력이 가장 기대된다. 이것은 앞서 말한 1인 10억 달러 기업 이야기와도 연결된다. 어쩌면 1인 10억 달러 기업이라는 말조차 과소평가일 수 있다. AI가 한 사람을 위해 여러 사람의 일을 해주는 것도 중요하다. 하지만 더 흥미로운 것은, 인간 팀과 조직 안에서 AI가 작동하면서 여러 사람의 일을 여러 배로 확장해주는 것이다. AI가 조직 내부에서 움직일 때, 단순한 개인 생산성 향상을 넘어 조직 전체의 생산성이 완전히 달라질 수 있다.

8. “Claude 사용 사례 중 가장 인상적인 것은 무엇인가?”

진행자: Claude를 사용하는 개발자와 사례 중에는 정말 감동적인 것들이 많다. 좋아하는 사례가 있다면? 다니엘라 아모데이: Stripe에 있을 때부터 개발자 커뮤니티에서 좋아했던 점이 있다. 세상의 거의 모든 흥미로운 문제나 도전에는, 그것을 조금이라도 더 좋게 만들려는 훌륭한 개발자가 어딘가에 있다는 것이다. Claude로 사람들이 전 세계에 유용함과 가치와 의미를 가져오는 것을 보는 일은 정말 고무적이다. 개인적으로 인상 깊었던 사례 중 하나는 글로벌 사우스 지역의 이동형 의사들을 위한 인터페이스를 만드는 개발자들이다. 어떤 지역은 실제 의사에게 접근하기가 매우 어렵다. 흙길을 따라 도시에서 50마일 떨어진 곳에 살더라도 사람들은 여전히 건강 문제를 겪는다. 그런 상황에서 사람들이 질문을 하면, 승인되고 안전한 방식으로 의료 조언을 받을 수 있는 인터페이스를 만드는 것이다. 또 하나는 의료 연구 분야 전체다. Claude가 여러 개발자들을 통해 생의학 연구를 가속하는 모습을 보면 정말 놀랍다. 그리고 아주 개인적이고 따뜻한 사례들도 있다. 회사에는 사용자 행복 채널이 있는데, 거기서 본 사례 중 하나는 어떤 개발자가 Claude를 사용해 손상된 하드드라이브에서 결혼사진을 복구했다는 이야기였다. 정말 개인적이지만 너무 의미 있는 사용 사례라고 느꼈다. 마지막으로 아주 뜻밖의 사례도 있었다. 누군가 Claude를 사용해 정원에 있는 토마토 식물의 성장을 기록하고 있었다. 전혀 상상하지 못한 사용 방식이었다. 나는 그걸 보고 라이브캠이 있는지, 구독할 수 있는지 묻고 싶을 정도였다. 사람들이 Claude로 하는 일의 범위가 정말 놀랍다.

전체 핵심 요약

이 인터뷰에서 다리오와 다니엘라는 Anthropic이 지금 경험하는 상황을 거의 수직으로 치솟는 롤러코스터에 비유한다. 다리오는 스케일링 법칙으로 예측한 지수 성장이 실제로 현실화되고 있지만, 그것을 인간 규모에서 직접 보는 것은 여전히 충격적이라고 설명한다. 가장 중요한 메시지는 세 가지다. 첫째, AI 성장 속도는 Anthropic의 예상보다도 빠르다. Anthropic은 연 10배 성장도 준비했지만, 2026년 1분기 기준으로 연율화하면 사용량과 매출이 80배 성장하는 수준을 봤다고 말한다. 그래서 컴퓨트 부족이 생겼고, 더 많은 컴퓨트를 확보하는 것이 중요한 과제가 되었다. 둘째, 개발자는 Claude 생태계의 핵심 사용자다. 다니엘라는 개발자들이 솔직한 피드백을 주고, 실제 산업을 바꾸는 제품을 만들며, Anthropic이 더 좋은 도구를 만들도록 돕는다고 말한다. 다리오는 개발자 영역이 AI가 경제 전체로 확산되는 방식의 예고편이라고 본다. 셋째, AI는 개인 생산성 향상을 넘어 조직 생산성의 구조 자체를 바꿀 것이다. 다리오는 앞으로 단일 에이전트에서 다중 에이전트로, 개인 도구에서 팀과 조직을 움직이는 AI로 이동할 것이라고 말한다. “데이터센터 속 천재들의 나라”라는 표현처럼, 여러 AI 에이전트가 계층적으로 협력하고 인간 조직 안에서 작동하는 세계를 그리고 있다. 결국 이 인터뷰는 Anthropic이 Claude를 단순한 챗봇이 아니라, 개발자·조직·경제 단위 전체를 바꾸는 인프라로 보고 있다는 점을 잘 보여준다.