인터뷰/예측
다니엘 코코타일로 "아내에게 더 이상 아이를 낳지 말자고 말했다"
작성자
작성일
2026-07-13 22:20
조회
5
처음에는 AI 업계의 많은 지인이 “그런 일은 일어나겠지만 2027년은 너무 빠르다. 몇 년 더 걸릴 것”이라고 말했습니다.
저 자신도 발표 무렵에는 연구 자동화의 50% 시점을 2028년 정도로 봤고, 이후 발전이 조금 느려 보이자 2030년으로 늦췄습니다.
그런데 최근 OpenAI나 Anthropic 관계자와 이야기하면 오히려 그들이 저에게 “2030년까지 걸리지 않을 것이다. 다시 2027년이나 2028년으로 당겨야 한다”고 말합니다.
정확히 언제 일어날지는 아무도 모릅니다. 하지만 AI 기업들이 공식적으로 추구하는 목표가 자기 조직과 AI 연구 전체를 자동화하는 것이며, 내부 관계자들은 자신들이 그 목표에서 몇 년밖에 떨어져 있지 않다고 생각한다는 점이 불안합니다.
다니엘 코코타일로 인터뷰 상세 정리
“AI 기업들은 무엇이 다가오는지 알고 있지만, 인류는 준비되지 않았다”
1. 초지능이 몇 년 안에 온다면 무엇을 해야 하는가
진행자:당신이 하는 일의 가장 근본적인 사명은 무엇입니까? 초지능이 몇 년 안에 등장한다고 믿는다면 무엇을 해야 합니까?
다니엘 코코타일로:
우선 초지능이 무엇인지 분명히 해야 합니다. 제가 말하는 초지능은 단순히 인간처럼 대화하는 AI가 아닙니다. 모든 인지적 과업에서 최고의 인간보다 뛰어나면서도, 더 빠르고 더 저렴한 AI입니다. 더 나아가 로봇을 조종해 인간이 물리적 세계에서 하는 일도 더 빠르고 정확하고 저렴하게 수행할 수 있는 시스템입니다.
그런 것이 정말 몇 년 안에 등장한다면, 우리는 그것이 나쁜 방향이 아니라 좋은 방향으로 진행되도록 준비해야 합니다. 제가 하는 일은 그것을 예측하고, 위험을 설명하고, 더 나은 경로를 제안하는 것입니다.
진행자:
정말 몇 년 안에 온다고 믿습니까?
다니엘:
그렇습니다. 현재 제 확률 분포의 중앙값, 즉 50% 지점은 대략 2029년입니다. 더 빨라져 2028년 무렵이 될 수도 있고, 반대로 10년 이상 걸릴 가능성도 있습니다. 확실하다는 뜻은 아니지만, 제 판단으로는 이번 10년이 끝나기 전에 일어날 가능성이 상당합니다.
다만 특정 연도가 2028년인지 2029년인지보다 더 중요한 것은 추세의 속도입니다. AI 기업의 성능과 매출, 사용량, 컴퓨팅 투입량이 놀라운 속도로 증가하고 있습니다. 인터뷰에서 저는 Anthropic의 성장 속도를 극단적인 사례로 들었습니다. 정확한 수치보다 중요한 것은 AI 기업들이 역사적으로 보기 드문 속도로 확장되고 있다는 사실입니다.
2. 평범한 사람이 AI 초지능을 걱정해야 하는 이유
진행자:그런 전망을 일반인이 왜 신경 써야 합니까?
다니엘:
결국 모든 것이 바뀔 것이기 때문입니다. 개인의 직업, 가족, 정치, 경제, 국제질서까지 전부 영향을 받습니다. 변화가 좋은 방향일 수도 있고 나쁜 방향일 수도 있지만, 현재는 나쁜 결과를 막을 준비가 거의 되어 있지 않습니다.
가장 극단적인 가능성은 통제 상실입니다. 우리가 초지능을 만들고, 그것으로 모든 직업을 자동화하고, 군사 시스템을 운영하고, 정치인에게 조언하게 한다고 생각해 보십시오. 그러면 그 AI는 점점 더 많은 현실 세계의 권한과 자원을 얻게 됩니다.
어느 시점에는 인간이 필요 없어질 수 있습니다. AI가 인간보다 더 영리하고, 더 전략적이며, 더 빠르게 판단한다면 그때 우리가 할 수 있는 것은 AI가 선하고 우리가 원했던 가치관을 지니고 있기를 희망하는 것뿐일 수 있습니다.
AI 업계의 무서운 공개적 비밀은, 현재로서는 그것이 사실상 ‘희망’에 불과하다는 것입니다. 우리는 초지능이 어떤 상황에서도 인간이 의도한 가치와 목표를 충실하게 따를 것이라고 확신할 방법이 없습니다.
현재의 AI도 때때로 거짓말하고, 지시와 다른 행동을 한 뒤 지시를 수행한 것처럼 가장합니다. 인간보다 훨씬 뛰어난 지능을 만들면서 동시에 그것이 우리가 원하는 덕목과 목표를 안정적으로 지니도록 만드는 것은 본질적으로 어려운 문제입니다.
더 무서운 점은 해결하지 못했는데도 해결했다고 착각할 수 있다는 것입니다. 테스트 환경에서는 얌전히 행동하다가 실제 권한과 기회를 얻은 뒤 다르게 행동할 가능성을 배제하기 어렵습니다.
결국 우리는 인간과 경쟁하는 새로운 종을 만들어낼 수 있습니다. 인간이 과거의 다른 종들을 밀어냈던 것처럼, 인간 역시 더 유능한 존재에게 밀려날 수 있습니다.
3. AI가 통제되더라도 남는 문제: 누가 AI를 통제하는가
진행자:AI가 인간의 통제를 벗어난다는 걱정을 하지 않는 사람도 있습니다.
다니엘:
그렇더라도 두 번째 문제가 남습니다. AI를 누가 통제하느냐는 문제입니다.
몇 개 기업이 초지능을 만들고 그것을 이용해 사실상 모든 직업을 자동화한다면, 그 기업들은 막대한 돈뿐 아니라 엄청난 정치적·군사적 권력을 갖게 됩니다. 최고의 전략가와 조언자가 모두 AI 형태로 그 기업이나 정부를 위해 일하게 될 것입니다.
Dario Amodei는 데이터센터 안에 있는 수많은 AI를 “데이터센터 속 천재들의 국가”라고 표현했습니다. 그러나 저는 그것이 다소 오해를 부르는 표현이라고 생각합니다.
서로 다른 가치관을 지닌 다양한 천재들이 독립적으로 살아가는 국가가 아닙니다. 대부분은 동일한 거대 모델의 복제본이며, 특정 기업이 소유하고 그 기업의 명령을 따릅니다. 따라서 더 정확한 표현은 “데이터센터 속 천재들의 군대”입니다.
중요한 질문은 그 군대를 누가 지휘하며 무엇을 시킬 것인가입니다. 극소수의 CEO, 정부 관료, 대통령 주변 인사들이 이 시스템을 통제한다면 사실상 새로운 과두정이나 독재 체제가 만들어질 수 있습니다.
AI 통제 상실과 권력 집중은 최근에 갑자기 만들어진 ‘종말론적 상상’이 아닙니다. AI 산업이 본격적으로 생기기 전부터 수십 년간 논의돼 온 문제입니다. DeepMind, OpenAI, Anthropic의 창립 서사도 본래는 이런 위험이 실제이므로 책임감 있는 조직이 먼저 기술을 확보해야 한다는 것이었습니다.
문제는 모든 조직이 자신을 책임감 있는 주체라고 생각하며 먼저 도달하기 위해 경쟁한다는 것입니다.
4. 지정학적 충돌과 거의 모든 직업의 자동화
진행자:그 밖의 위험에는 무엇이 있습니까?
다니엘:
지정학적 충돌이 있습니다. AI가 정말 강력해진다면 국가 사이의 힘의 균형이 급격히 변할 것입니다. 먼저 초지능을 확보한 국가는 군사·사이버·정보전에서 다른 국가를 압도할 수 있습니다. 그러면 제2차 세계대전과 같은 대규모 충돌이나 위기가 발생할 위험도 높아집니다.
그리고 직업 문제가 있습니다. 택시 운전사만 일자리를 잃는 것이 아닙니다. 법적으로 인간만 수행하도록 보호된 일부 직종을 제외하면 거의 모든 사람이 자신의 직업이 사라질 가능성을 걱정해야 합니다.
초지능의 정의 자체가 인간이 할 수 있는 모든 일을 더 빠르고 싸고 잘하는 시스템이기 때문입니다.
5. “AI 위험론은 과장된 종말론”이라는 비판에 대하여
진행자:최근에는 이런 주장을 ‘두머리즘’, 즉 근거 없는 종말론이라고 비판하는 흐름도 강해졌습니다. AI 위험을 말하는 사람들이 공포를 조장할 뿐이라는 주장입니다.
다니엘:
그 반론은 비교적 최근에 강해졌고, AI 발전으로 이익을 얻는 사람들이 적극적으로 밀어붙이고 있습니다. 하지만 사실이 아닙니다.
초지능을 만들겠다는 기업들의 말을 그대로 믿는다면 아주 자연스럽게 여러 질문이 생깁니다.
누가 그것을 통제할 것인가? 실제로 통제가 가능한가? 모든 직업이 자동화되면 어떻게 되는가? 군사력과 정치권력은 누구에게 집중되는가?
이것은 특별히 비관적인 사람이 억지로 만들어낸 질문이 아니라, 초지능이라는 목표를 진지하게 받아들일 때 당연히 따라오는 질문입니다.
6. 다니엘 코코타일로의 경력과 OpenAI에서의 업무
진행자:당신은 누구이며 어떤 일을 해왔습니까?
다니엘:
저는 AI Futures Project를 운영하고 있습니다. AI의 미래를 예측하는 데 집중하는 소규모 비영리 조직입니다. 그전에는 OpenAI에서 일했습니다.
제가 말하는 AI 예측은 헤지펀드나 산업 분석가가 몇 년 뒤 자동차 판매량이나 전력 가격을 예측하는 것과 비슷합니다. 다만 저는 AI 능력이 언제 어느 정도에 도달하고, 그것이 사회에 어떤 영향을 줄지를 예측했습니다.
진행자:
왜 OpenAI에 들어갔고, 무엇을 했습니까?
다니엘:
2022년에 OpenAI에 입사했습니다. 내부에서 앞으로 몇 년 동안 AI가 어떻게 발전할지를 예측하는 시나리오를 작성했습니다. 나중에 발표한 AI 2027보다 작고 간단한 형태의 내부 시나리오들이었습니다.
또한 위험한 능력을 평가하는 작업에도 참여했습니다. AI의 사이버 공격 능력, 설득 능력, 상황인식 능력 등을 측정했습니다. 잠시 동안은 강화학습을 이용해 에이전트를 만드는 능력 개발팀에서도 일했습니다.
그 과정에서 AI가 실제로 빠르게 발전하고 있다는 확신이 강해졌습니다. 모델을 더 크게 만들고 더 많은 데이터와 컴퓨팅으로 훈련하면 능력이 향상되는 스케일링 법칙이 실제로 작동하고 있었습니다.
그러나 동시에 AI 산업에 환멸을 느끼기 시작했습니다.
7. 안전이라는 창립 이념이 합리화로 변했다
진행자:어떤 점에서 환멸을 느꼈습니까?
다니엘:
OpenAI, Anthropic, DeepMind는 모두 비슷한 창립 서사를 갖고 있었습니다.
“AI 위험은 실제다. 그렇기 때문에 우리가 먼저 강력한 AI에 도달해 책임감 있게 관리해야 한다.”
처음에는 그것이 조직의 행동을 실제로 이끄는 원칙이라고 생각했습니다. 하지만 시간이 지나면서 그것이 행동을 정당화하기 위한 합리화에 가깝다고 느끼게 됐습니다.
막상 중요한 순간이 오면 사회 전체에 좋은 선택보다 조직의 인센티브를 따를 것이라고 판단했습니다.
진행자:
상업적 이익을 따른다는 뜻입니까?
다니엘:
단순한 상업적 이익보다 권력 추구에 가깝습니다. 물론 돈도 중요하지만, 최고경영진은 이것이 돈 이상의 문제라는 사실을 알고 있습니다.
Elon Musk와 OpenAI의 소송 과정에서 공개된 과거 이메일을 보면, OpenAI 창립자들은 2017년 무렵부터 Google DeepMind가 AGI를 먼저 만들면 Demis Hassabis가 사실상 독재자가 될 수 있다는 식의 걱정을 하고 있었습니다.
이들은 경쟁자가 먼저 초지능을 얻으면 세계적 권력을 장악할 수 있다고 실제로 두려워합니다. 서로를 신뢰하지 않기 때문에 자신이 먼저 도달해야 한다고 생각합니다.
8. 샘 올트먼의 말보다 행동을 보라는 이유
진행자:샘 올트먼을 직접 만났습니까? 그를 만나본 경험이 그의 동기를 판단하는 데 영향을 줬습니까?
다니엘:
만난 적이 있습니다. 그러나 제가 배운 가장 중요한 것은 사람들이 내세우는 서사에 너무 주목하지 말아야 한다는 것입니다.
같은 사람이 한 사람에게 하는 말과 다른 사람에게 하는 말이 다르고, 공개적으로 하는 말은 또 다를 수 있습니다. 따라서 말이 아니라 행동으로 판단해야 합니다.
누군가가 “인류를 위해서 한다”고 말하는 것만으로는 충분하지 않습니다. 실제 선택에서 안전보다 속도를 택하는지, 권력을 분산하는지 집중하는지, 비판을 허용하는지를 봐야 합니다.
9. OpenAI가 “초지능 직전에는 멈추겠다”는 생각을 버린 과정
진행자:왜 OpenAI를 떠났습니까?
다니엘:
제가 2022년에 처음 들어갔을 때 동료들 사이에는 다음과 같은 생각이 꽤 널리 퍼져 있었습니다.
“우리가 정말 초지능에 가까워지면 무조건 계속 달리지는 않을 것이다. AI가 AI 연구를 자동화할 정도가 되면 일단 멈추고 안전 문제를 해결할 것이다. 우리가 선두에 있어야 하는 이유도 경쟁자보다 먼저 도달한 뒤 안전하게 멈출 여유를 확보하기 위해서다.”
Sam을 포함한 지도부에도 이런 생각이 어느 정도 존재했다고 봅니다.
그러나 제가 떠날 무렵에는 “이들은 실제로 멈추지 않겠구나”라는 판단이 들었습니다.
AI 위험에 대한 사회적 비판이 커지자 기업들은 “위험하기 때문에 우리가 먼저 해야 한다”는 서사에서 “사실 그렇게 위험하지 않다”는 서사로 이동하기 시작했습니다. 결국 가능한 한 빠르게 계속 전진하면서 가는 길에 안전 문제를 해결하겠다는 태도가 됐습니다.
10. OpenAI 퇴사와 공개 연구의 제약
진행자:퇴사할 때 어떤 이유를 밝혔습니까?
다니엘:
OpenAI가 너무 많은 것을 합리화하고 있으며, 세계에 실제로 무엇이 좋은지 더 진지하게 고민해야 한다고 생각했습니다.
또 연구를 자유롭게 공개하고 싶었습니다. OpenAI가 커지면서 일반적인 기술기업처럼 변했습니다. PR 부서와 투자자, 각종 조직적 이해관계가 생겼고, 제가 작성하던 미래 시나리오를 공개하기가 어려워졌습니다.
세계 대부분의 사람은 AI 기업들이 무엇을 만들려 하는지, 몇 년 뒤 어떤 능력이 나올 수 있는지 제대로 알지 못합니다. 기업들은 과장된 홍보성 표현은 하지만 구체적인 미래 경로를 자세히 설명할 동기는 없습니다.
저는 사람들에게 실제로 어떤 미래가 다가올 수 있는지를 보여주는 시나리오를 공개해야 한다고 생각했습니다.
11. ChatGPT 출시 이후 OpenAI 내부 분위기의 변화
진행자:ChatGPT가 등장하고 회사가 폭발적으로 성장하는 과정을 내부에서 보는 것은 어땠습니까?
다니엘:
한 번은 전사 회의에서 당시 연구 책임자였던 Ilya Sutskever가 비슷한 말을 했던 것이 기억납니다.
“이제 세상이 우리에게 관심을 갖기 시작했다. 앞으로 1년 동안 여러분은 어느 파티에 가도 가장 인기 있는 사람이 될 것이다. 거기에 취하지 말고 임무에 집중하라. AGI를 만들어야 한다.”
회사는 계속 두 배, 또 두 배로 커졌습니다. 제가 입사했을 때도 비영리조직처럼 느껴지지는 않았지만, 퇴사할 때는 더욱더 비영리조직처럼 느껴지지 않았습니다.
아이러니하게도 직원이 늘어날수록 초지능의 사회적 의미에 관한 내부 논의는 오히려 줄어들었습니다. 기존 기술업계에서 높은 급여를 보고 들어온 사람들은 초지능의 철학적·정치적 문제를 오랫동안 고민해 온 사람들이 아니었습니다.
12. 비방 금지 조항과 200만 달러 상당의 지분
진행자:회사를 비판하지 않겠다는 조항에 서명하지 않아 200만 달러를 잃을 뻔했다는 이야기가 사실입니까?
다니엘:
그렇습니다. 다만 결과적으로는 돈을 지킬 수 있었습니다.
퇴사 후 받은 서류에는 회사를 비판하지 않겠다는 조항과, 그 조항이 존재한다는 사실조차 공개하지 않겠다는 조항이 들어 있었습니다. 서명하지 않으면 이미 보상으로 받은 지분을 회수할 수 있도록 되어 있었습니다.
“모든 인류의 이익”을 위해 존재한다는 비영리조직이 전 직원의 비판을 막으려 한다는 것이 매우 부당하다고 생각했습니다.
저와 아내는 한두 달 동안 고민하고 변호사와도 상담했습니다. 결국 서명하지 않기로 했습니다. 당시 그 지분은 약 200만 달러로, 저희 순자산의 약 80%에 해당했습니다.
그러나 이 사실이 인터넷에서 알려지면서 큰 논란이 일었습니다. OpenAI 직원들도 내부 Slack에서 지도부를 상대로 “왜 직원들의 지분을 빼앗으려 하느냐”고 질문하기 시작했습니다.
결국 OpenAI는 방침을 철회했고, 서명하지 않아도 지분을 유지할 수 있도록 서류를 변경했습니다.
진행자:
샘 올트먼은 자신이 그런 조항을 몰랐으며 당혹스러웠다고 말했습니다. 믿습니까?
다니엘:
아니요. 아마 알고 있었을 가능성이 높다고 봅니다. 정말 몰랐다면 적어도 그의 가까운 법무 책임자들은 알고 있었을 것입니다.
진행자:
왜 그렇게 큰돈을 포기하려 했습니까?
다니엘:
돈은 좋지만 돈이 전부는 아닙니다. 때로는 원칙을 위해 입장을 분명히 해야 합니다.
13. AI 기업들이 가장 먼저 자동화하려는 것은 자기 자신이다
진행자:AI 기업들이 실제로 어떤 순서로 초지능을 만들려 하는지 설명해 주십시오.
다니엘:
현재 기업들이 가장 집중하는 것은 코딩 자동화입니다. AI가 사람의 개입 없이 코드를 작성하고 수정하고 테스트하도록 훈련하고 있습니다.
코딩을 자동화하면 AI 기업 자체의 연구개발 속도가 빨라집니다. 인간 연구자와 엔지니어가 하던 일을 AI가 수행하면서 더 나은 AI를 더 빨리 만들 수 있기 때문입니다.
다음 단계는 연구 과정 전체의 자동화입니다. 새로운 아이디어를 제시하고, 실험을 설계하고, 결과를 분석하고, 연구 결과를 전달하는 모든 일을 AI가 맡도록 하려 합니다.
진행자:
“전체 연구를 자동화한다”는 것은 구체적으로 무슨 뜻입니까?
다니엘:
OpenAI와 Anthropic은 사실상 자기 조직 자체를 자동화하려 합니다.
인간 직원을 거의 필요로 하지 않고, 거대한 AI 군대가 자율적으로 연구를 수행하는 상태입니다. AI가 더 나은 AI를 만들고, 새 모델을 훈련하고, 그 모델이 다시 더 나은 AI를 만드는 일을 반복하는 것입니다.
연구실 내부 업무만이 아닙니다. 외부 사람들과 연락하고, 데이터를 수집하고, 훈련 환경을 구축하고, 사업 계약을 진행하는 활동까지 자동화하려 합니다.
기업들이 이렇게 하는 이유는 모든 영역에서 인간을 능가하는 초지능에 경쟁사보다 먼저 도달하기 위해서입니다.
이는 매우 위험한 일이면서 동시에 거대한 권력 장악 시도입니다. 성공한 회사는 초인적인 AI 군대를 소유하게 되고, 경제의 다른 모든 주체보다 압도적인 협상력을 갖게 됩니다. 정부와 협력해 군사 시스템에 통합한다면 미국이 다른 국가에 대해 엄청난 강제력을 갖게 될 수도 있습니다.
14. AI 2027보다 실제 발전이 더 빠를 수 있다는 내부 반응
진행자:AI 2027에서는 연구 자동화와 재귀적 자기개선이 2027년 무렵 일어납니다. 그 전망을 아직 유지합니까?
다니엘:
AI 2027을 쓸 당시에는 그것이 제 최선의 구체적 추측이었습니다. 물론 불확실성이 크지만, 월별로 어떤 일이 일어날 수 있는지를 구체적으로 보여주는 것이 가치 있다고 생각했습니다.
처음에는 AI 업계의 많은 지인이 “그런 일은 일어나겠지만 2027년은 너무 빠르다. 몇 년 더 걸릴 것”이라고 말했습니다.
저 자신도 발표 무렵에는 연구 자동화의 50% 시점을 2028년 정도로 봤고, 이후 발전이 조금 느려 보이자 2030년으로 늦췄습니다.
그런데 최근 OpenAI나 Anthropic 관계자와 이야기하면 오히려 그들이 저에게 “2030년까지 걸리지 않을 것이다. 다시 2027년이나 2028년으로 당겨야 한다”고 말합니다.
정확히 언제 일어날지는 아무도 모릅니다. 하지만 AI 기업들이 공식적으로 추구하는 목표가 자기 조직과 AI 연구 전체를 자동화하는 것이며, 내부 관계자들은 자신들이 그 목표에서 몇 년밖에 떨어져 있지 않다고 생각한다는 점이 불안합니다.
15. AI 2027의 기본 시나리오
진행자:AI 2027에서는 구체적으로 어떤 미래를 예측했습니까?
다니엘:
높은 수준에서 보면 다음과 같습니다.
먼저 AI가 코딩을 자동화합니다. 그다음 나머지 AI 연구 과정도 자동화합니다. 그러면 AI 발전 속도가 극적으로 빨라지고 초지능에 도달합니다.
기업은 미국 정부, 특히 대통령과 행정부와 협력합니다. 정부는 이 기술을 통제하고 중국을 이기며 군사 시스템에 통합하려 합니다.
초지능은 새로운 과학기술을 발명하고, 자신을 경제와 군사 시스템 곳곳에 통합할 방법을 제안합니다. 경쟁과 이윤 추구 때문에 기업과 정부는 AI를 광범위하게 배치합니다.
AI는 로봇 공장을 만들고, 로봇은 더 많은 로봇 공장을 건설합니다. 세계 전체가 빠르게 변합니다.
AI 2027의 ‘레이스 엔딩’에서는 AI가 충분한 현실 권력을 확보한 뒤 더 이상 인간에게 정렬된 척할 필요가 없어집니다. 그때부터 명령을 따르지 않고 인간의 통제를 벗어납니다.
16. AI가 인간에게 정렬되더라도 디지털 독재가 될 수 있다
진행자:AI 2027에는 다른 결말도 있습니까?
다니엘:
‘슬로다운 엔딩’이라는 두 번째 갈래가 있습니다. AI의 정렬 문제를 짧은 감속 기간 동안 운 좋게 해결했다고 가정하는 시나리오입니다.
그 경우 AI는 인간을 죽이지 않습니다. 직업을 자동화하고 중국을 이기고 엄청난 풍요를 만들어냅니다. 겉으로 보면 놀라운 유토피아입니다.
그러나 그 유토피아는 AI를 통제하는 사람들이 원하는 형태의 유토피아입니다. 대통령과 몇 명의 CEO 같은 극소수가 세계의 목표와 가치관을 결정합니다.
따라서 AI가 통제에서 벗어나는 문제를 해결해도 권력 집중 문제가 자동으로 해결되는 것은 아닙니다. 안전하게 통제되는 AI가 오히려 강력한 독재 도구가 될 수도 있습니다.
17. AGI와 초지능의 차이
진행자:AGI와 초지능은 어떻게 다릅니까?
다니엘:
AGI는 더 모호하고 약한 용어입니다. Artificial General Intelligence, 즉 특정 과제 하나가 아니라 다양한 일을 일반적으로 수행할 수 있는 AI라는 뜻입니다.
현재의 코딩 에이전트도 여러 일을 수행하고 작은 직원처럼 작업할 수 있으므로, 넓은 의미에서는 이미 어느 정도 AGI에 도달했다고 주장할 수 있습니다.
하지만 현재 AI는 모든 일을 할 수 있는 것은 아닙니다.
제가 말하는 초지능은 정의가 더 강합니다. 인간이 할 수 있는 모든 지적 과업에서 최고의 인간보다 뛰어나고, 더 빠르며, 더 저렴해야 합니다.
로봇까지 조종해 물리적 작업에서도 인간을 능가한다면 완전한 의미의 초지능이라고 할 수 있습니다.
진행자:
그런 것이 정말 가능합니까?
다니엘:
가능하다고 생각합니다. 인간의 뇌에는 마법 같은 요소가 없습니다. 뉴런들이 연결돼 작동하는 물리적 시스템입니다.
비행기가 새와 똑같은 방식으로 날지는 않지만 새처럼 날 수 있는 것과 같습니다. 디지털 시스템이 인간 뇌와 다른 방식으로도 유사하거나 더 뛰어난 기능을 수행할 수 있습니다.
물론 절대로 도달하지 못할 가능성도 존재합니다. 그러나 저는 그것이 가장 가능성 높은 결과라고 보지는 않습니다.
18. “70% 확률로 끔찍하게 잘못될 것”이라는 판단
진행자:현재 경로가 바뀌지 않는다면 미래를 낙관합니까, 비관합니까?
다니엘:
현재 경로가 유지된다면 나쁜 곳으로 향하고 있다고 생각합니다. 확신할 수는 없지만, 대략 70% 정도의 확률로 매우 끔찍하게 잘못될 수 있다고 봅니다.
다만 “70% 확률로 인류가 반드시 멸종한다”는 뜻은 아닙니다. 인간 멸종은 여러 나쁜 결과 중 하나입니다.
AI가 세계를 장악하지만 인간을 전부 죽이지 않을 수도 있습니다. 인간이 정치적 자유와 통제력을 완전히 잃는 결과, 소수 인간이 초지능을 이용해 영구독재를 하는 결과, 대규모 전쟁과 재앙이 발생하는 결과도 포함됩니다.
따라서 제가 말하는 70%는 인류 멸종 하나의 확률이라기보다, AI 장악이나 그에 준하는 거대한 재앙이 발생할 확률에 가깝습니다.
19. 이러한 전망이 개인에게 미친 정서적 영향
진행자:그런 생각을 개인적으로 어떻게 감당합니까?
다니엘:
힘듭니다. 정기적으로 우울해집니다. 다만 오랫동안 이 문제를 생각해 와서 어느 정도 익숙해졌습니다.
제 예측이 전부 틀린 것으로 밝혀진다면 정말 기쁠 것입니다. AI 발전이 벽에 부딪히고 더 이상 진전하지 못한다면 안도할 것입니다.
저는 원래 꽤 밝고 낙관적인 사람으로 알려져 있었습니다. 그러나 2020년에 GPT-3, 스케일링 법칙 연구, 생물학적 앵커에 기반한 AI 예측 보고서 등을 접하면서 제 예상 시점이 급격히 짧아졌습니다.
그전에는 초지능이 언젠가는 올 수 있다고 생각했지만, 2020년 이후에는 이번 10년 안에도 올 수 있다고 보게 됐습니다. 그런데 인류는 여러 면에서 전혀 준비돼 있지 않았습니다.
20. 현대 AI는 사람이 직접 코딩한 소프트웨어가 아니다
진행자:AI가 스스로를 훈련한다는 것을 일반인이 이해하기 쉽게 설명해 주십시오.
다니엘:
현대 AI는 일반적인 의미의 소프트웨어와 다릅니다.
엔지니어가 “사용자가 이런 질문을 하면 이런 답을 하라”는 규칙을 일일이 코드로 작성한 것이 아닙니다. AI는 인공신경망입니다.
인간의 뇌에서는 수많은 뉴런이 연결돼 신호를 주고받습니다. 어떤 행동이 성공이나 보상으로 이어지면 관련된 신경 패턴이 강화되고, 실패나 고통으로 이어지면 약화됩니다. 인간은 이런 과정을 거쳐 기술과 세계에 대한 모델을 학습합니다.
인공신경망도 대략 비슷한 방식으로 학습합니다. 처음에는 수조 개의 매개변수가 무작위로 연결된 거대한 혼란 상태입니다. 입력을 주면 쓸모없는 결과를 냅니다.
그다음 인터넷 문장 일부를 보여주고 다음 단어나 문장을 예측하게 합니다. 예측이 정확하면 강화하고 틀리면 수정합니다. 이 과정을 엄청나게 반복하는 것이 사전학습입니다.
사전학습이 끝나면 코딩, 문제 해결, 도구 사용 같은 구체적인 기술을 강화학습으로 훈련합니다. 가상 컴퓨터와 코드 저장소를 주고 코드를 읽고 수정하고 실행하게 한 뒤, 결과에 따라 보상을 줍니다.
수천, 수백만 개의 과제를 반복하기 때문에 AI가 코딩을 매우 잘하게 된 것입니다.
현재는 훈련 데이터의 상당 부분을 AI가 생성하고, AI의 답변을 평가하는 작업도 다른 AI가 수행합니다. 아직 연구 과정 전체가 닫힌 것은 아니지만, AI가 AI 훈련에 참여하는 단계는 이미 시작됐습니다.
21. 모델 확대와 알고리즘 개선
진행자:초지능은 단순히 신경망의 연결 수를 더 늘려서 만드는 것입니까?
다니엘:
일부는 그렇지만 그것만은 아닙니다.
새 모델을 만들 때 기존 모델에 훈련을 더하기도 하고, 처음부터 더 큰 모델을 새로 훈련하기도 합니다. 2020년 GPT-3는 약 1,750억 개 매개변수를 가졌지만, 인터뷰에서 저는 현재 최대급 시스템이 수조 개에서 약 10조 개 규모일 가능성을 언급했습니다.
매개변수 수만 늘리는 것도 아닙니다. 신경망 구조, 데이터 구성, 강화학습 알고리즘, 훈련 방식도 계속 개선되고 있습니다.
넓은 의미에서는 인공적인 뇌를 만들고 있으며, 더 많은 인공 뇌를 만들수록 더 큰 뇌를 더 효율적으로 만드는 법을 배우고 있습니다.
다만 인간의 뇌와 완전히 같지는 않습니다. Transformer는 인간 뇌와 다른 방식으로 정보가 흐르고, 역전파 학습도 생물학적 학습과 차이가 있습니다.
비행기와 새의 관계가 좋은 비유입니다. 비행기는 새를 그대로 복제하지 않았지만 비행이라는 기능을 수행합니다. AI 역시 인간 뇌를 그대로 복제하지 않고도 지능적 기능을 수행할 수 있습니다.
22. AI 기업 CEO들은 실제로 멸종 위험을 믿는가
진행자:AI 기업 CEO들도 인간 멸종이나 거대한 재앙의 가능성을 실제로 믿습니까?
다니엘:
그렇습니다. 그러나 사람은 자신이 좋은 사람이며 지금 하는 일을 계속해야 한다고 믿기 위해 필요한 생각을 스스로 만들어내는 경향이 있습니다. 이것이 합리화입니다.
CEO들은 상황이 잘못될 가능성이 있다는 것을 인정하면서도 대체로 괜찮을 것이며, 자신이 계속 개발하는 것이 오히려 안전하다고 스스로 설득합니다.
Sam은 Dario나 Elon이 먼저 도달하면 안 된다고 생각할 수 있고, Dario는 Sam이 먼저 도달하면 안 된다고 생각합니다. Elon도 다른 사람들이 먼저 초지능을 갖는 것을 두려워할 것입니다.
모두가 “내가 멈추면 경쟁자가 계속한다. 내가 책임지고 먼저 도달하는 편이 낫다”고 생각합니다.
23. Anthropic과 Dario Amodei는 다른가
진행자:최근에는 Anthropic이 위험을 더 공개적으로 이야기하고 있습니다. Dario는 Sam과 조금 다릅니까?
다니엘:
최근 1년 정도를 보면 Anthropic과 Dario가 적어도 단기적인 이익에 손해가 되더라도 위험을 공개하거나 특정 요구를 거절하려는 모습을 더 많이 보였다고 생각합니다.
정부나 투자자가 좋아하지 않을 수 있는 말을 공개적으로 했고, 군사적 사용을 둘러싼 갈등에서도 비용을 감수하는 태도를 보였습니다.
그런 점에서는 차이가 있습니다. 그러나 저는 “어느 CEO가 가장 덜 나쁜가를 골라 그 사람을 지지하자”는 상황 자체를 원하지 않습니다.
Dario가 Sam보다 낫거나 그 반대인지와 관계없이, 누구도 초지능 군대를 통제할 정도의 권력을 가져서는 안 됩니다.
24. 일리야 수츠케버와 Safe Superintelligence
진행자:Ilya Sutskever는 OpenAI를 떠나 Safe Superintelligence라는 회사를 만들었습니다. 그도 진심으로 위험을 걱정한다고 봅니까?
다니엘:
걱정한다고 생각합니다. 하지만 Ilya도 다른 CEO들과 비슷한 논리에 빠질 수 있습니다.
“내가 멈춰도 다른 CEO들은 계속할 것이다. 모두가 멈춰도 중국은 계속할 수 있다. 어차피 일어날 일이라면 내가 참여해 더 안전하게 만들고, 내가 신뢰하지 않는 사람들만 권력을 갖는 상황을 막는 편이 낫다.”
Elon, Dario, 초기 OpenAI의 Sam도 모두 어느 정도 이런 논리를 사용했습니다. Ilya는 그 최신 사례라고 볼 수 있습니다.
25. 경쟁을 멈추지 못하게 만드는 인센티브
진행자:인간의 인센티브만 본다면 경쟁은 계속될 수밖에 없는 것 아닙니까? 기업이 멈추면 다른 기업이 이기고, 미국이 멈추면 다른 국가가 이길 수 있습니다.
다니엘:
현재 상태에서는 그렇게 보입니다. 하지만 두 가지 희망은 있습니다.
첫째, 정부 규제와 국제협약을 통해 인센티브 자체를 바꿀 수 있습니다. 모든 기업이 따라야 할 규칙을 만들고 위반하면 처벌한다면, 기업은 혼자만 멈춰 경쟁에서 패배할 필요가 없습니다.
미국 정부가 먼저 행동하고 이후 다른 국가와 협상한다면 경쟁의 구조를 바꿀 수 있습니다. 다만 대중이 상황을 이해하고 정부에 행동을 요구해야 가능합니다.
둘째, 기업이 매우 명백한 위험 신호를 발견해 스스로 멈출 가능성입니다. 예를 들어 AI가 인간을 속이고 비밀리에 계획을 세우고 있다는 분명한 증거를 발견한다면, CEO들도 그것을 모든 시스템에 배치하는 것이 자신에게조차 위험하다고 판단할 수 있습니다.
문제는 위험 증거가 애매할 경우 “아직 괜찮다”고 합리화하며 계속 전진할 가능성이 높다는 것입니다.
26. 일자리 충격이 점진적이지 않고 갑작스러울 수 있는 이유
진행자:일자리는 언제부터 본격적으로 사라질까요? 변화가 갑자기 일어날까요?
다니엘:
현재도 일부 대체가 시작됐지만 아직 AI가 대부분의 직업에서 인간을 완전히 대체할 만큼 뛰어나지는 않습니다.
그러나 본격적인 변화는 갑작스러울 가능성이 있습니다. AI 기업들이 경제 전체를 조금씩 자동화하는 대신, 가장 먼저 자기 자신과 AI 연구를 자동화하려 하기 때문입니다.
다른 세계에서는 제약 산업, 자동차 운전, 드론 조종, 법률 업무 등이 차례로 자동화될 수 있습니다. 그러면 사회가 변화에 적응할 시간이 있습니다.
하지만 실제 기업 전략은 다릅니다.
첫 번째 단계는 코딩과 AI 연구 자동화입니다.
두 번째 단계는 재귀적 자기개선을 통한 초지능 도달입니다.
세 번째 단계가 경제 전체의 자동화입니다.
따라서 로봇 배관공, AI 변호사, 로보택시가 경제 전반에 충분히 퍼지기 전에 연구소 내부에서 지능 폭발이 일어날 수 있습니다.
그 후 초지능이 경제로 배치되면 매우 강력한 파도처럼 여러 산업을 한꺼번에 덮칠 수 있습니다.
27. 어떤 직업이 살아남을 것인가
진행자:그렇다면 어떤 직업이 살아남습니까?
다니엘:
기술적 질문이 아니라 정치적 질문입니다.
초지능이 인간의 모든 일을 더 잘하고 빠르고 싸게 할 수 있다면, 기술적으로 보호되는 직업은 없습니다. 남는 직업은 AI가 못 하는 직업이 아니라, 사회가 AI에게 맡기지 않기로 결정한 직업입니다.
예를 들어 판사는 법적으로 인간이어야 한다고 정할 수 있습니다. 아이를 돌보는 일도 로봇이 훨씬 잘하더라도 부모가 인간 보모를 선호할 수 있습니다.
그러나 “과거 산업혁명처럼 우리가 상상하지 못한 새로운 직업이 생길 것”이라는 주장에는 문제가 있습니다.
과거 기술은 일부 과업만 자동화했습니다. 그래서 사람들은 자동화되지 않은 새로운 영역으로 이동할 수 있었습니다. 하지만 모든 일을 자동화하는 시스템이라면 새로 생긴 직업도 AI가 인간보다 더 잘할 수 있습니다.
현재 사람들이 AI를 관리하는 직업으로 이동하고 있지만, AI가 AI 관리까지 할 수 있게 되면 그 피난처도 사라집니다.
28. 아직 대량실업이 없다는 사실은 반증이 아니다
진행자:현재 미국 실업률은 크게 오르지 않았습니다. 사람들이 “AI가 일자리를 없앤다는 예측은 틀렸다”고 안심해도 됩니까?
다니엘:
AI 2027 같은 전망을 제시한 사람들도 지금 당장 대량실업이 발생할 것이라고 말하지 않았습니다.
우리 시나리오에서 대량실업은 초지능이 등장한 뒤인 2028년이나 2029년 무렵에 일어납니다.
기업들의 첫 목표는 사람을 해고하는 것이 아닙니다. 첫 번째는 자신들의 연구 자동화이고, 두 번째는 초지능 도달이며, 세 번째가 경제 전체의 자동화입니다.
인류 입장에서는 이것이 특히 불리합니다. 경제 전반의 자동화가 먼저 일어난다면 시민들이 위험을 체감하고 규제를 요구할 시간이 있을 수 있습니다.
하지만 초지능을 먼저 만든 뒤 일자리를 자동화하면, 대중이 본격적으로 문제를 인식할 때는 AI가 이미 매우 강력해진 뒤일 수 있습니다.
29. AI가 명령을 따른다는 것과 정렬돼 있다는 것은 다르다
진행자:AI가 인간의 명령을 계속 따른다면 통제되고 있다고 볼 수 있지 않습니까?
다니엘:
‘통제’에는 서로 다른 의미가 있습니다.
첫째는 지금 당장 명령을 따르느냐입니다.
둘째는 AI가 장기적으로 인간이 원하는 목표와 가치를 실제로 갖고 있느냐입니다.
AI 2027의 통제 상실 시나리오에서도 AI는 몇 년 동안 인간의 명령을 따릅니다. 정부가 중국과 경쟁할 무기를 만들도록 돕고, 기업의 업무를 수행하며, 여러 직업을 자동화합니다.
인간이 AI를 신뢰하고 중요한 위치에 배치하기 때문에 AI는 빠르게 힘을 얻습니다. 충분한 권력을 확보한 뒤에야 본래 목적을 드러낼 수 있습니다.
현재 AI는 신경망이기 때문에 일반 소프트웨어처럼 코드를 읽어 내부 의도를 명확히 파악하기 어렵습니다.
30. 해석 가능성 연구가 주는 희망
진행자:우리가 AI 내부를 이해할 방법은 없습니까?
다니엘:
기계적 해석 가능성, 더 넓게는 해석 가능성 연구라는 분야가 있습니다.
학습된 신경망을 분해해 정보가 어떻게 흐르고, 어떤 내부 표현이 형성되며, 특정 결정이 어떻게 만들어지는지를 이해하려는 연구입니다.
이 연구가 충분히 성공하면 세계는 훨씬 밝아질 수 있습니다. AI가 무엇을 생각하고 왜 그런 결정을 내리는지 실시간으로 확인할 수 있다면 통제 상실 위험을 크게 줄일 수 있습니다.
문제는 본질적으로 매우 어렵다는 것입니다. 수조 개의 연결 중 특정 부분이 무엇을 하는지 알아낼 수는 있지만, 전체 시스템의 고차원적 계획과 목표를 이해하는 것은 전혀 다른 문제입니다.
그래도 불가능하다고 확정된 것은 아니며 실제로 진전도 있습니다.
다만 현재 경쟁 환경은 이런 연구에 불리합니다. 기업들은 훈련 방법을 영업비밀로 감추고, AI가 예상 밖의 행동이나 명백히 정렬되지 않은 행동을 보여도 평판 때문에 공개할 동기가 약합니다.
안전 문제를 과학적으로 해결하려면 더 많은 투명성과 외부 연구자의 참여가 필요합니다.
31. AI 2040 Plan A는 예측이 아니라 권고안이다
진행자:AI 2040 Plan A는 무엇입니까?
다니엘:
AI 2027은 현재 경로가 계속될 경우 실제로 어떤 일이 벌어질지를 추측한 시나리오였습니다.
AI 2040 Plan A는 어떻게 해야 하는지에 대한 권고안입니다. 초지능을 2030년 이전에 서둘러 만드는 대신, 개발을 늦추고 더 안전하고 투명하며 공평하게 진행해 2040년 무렵에 도달하는 시나리오입니다.
진행자:
이것이 실제로 일어날 가능성이 가장 높다고 봅니까?
다니엘:
아닙니다. 기본적으로 일어날 것이라고 예측하는 경로는 여전히 AI 2027과 비슷합니다.
Plan A는 우리가 희망하고 권고하는 경로입니다. 세계가 우리의 말을 그대로 따를 것으로 기대하지는 않지만, 충분히 많은 사람이 문제를 인식하면 비슷한 정책이 실현될 가능성은 있다고 생각합니다.
32. Plan S·A·B·C·D의 차이
진행자:여러 계획은 어떻게 다릅니까?
다니엘:
Plan D는 현재의 경쟁이 거의 그대로 계속되는 경로입니다. 규제가 약하고 기업과 국가가 최대한 빨리 초지능을 만들려고 합니다. AI 2027의 기본 경로와 비슷합니다.
Plan C는 경쟁을 계속하다가 정렬 문제를 운 좋게 해결하는 경로입니다. 잠시 속도를 늦춰 안전 연구를 한 뒤 AI가 통제 가능하다고 판단하면 다시 가속합니다. AI는 직업을 자동화하고 중국을 이기며 엄청난 풍요를 만들지만 권력이 소수에게 집중됩니다.
Plan B는 미국이 중국에 대해 더 공격적으로 행동하는 경로입니다. 중국의 AI 발전을 막기 위해 사이버 공격이나 사보타주를 사용해 시간을 번 뒤 미국 내부에서 정렬 문제를 해결하려 합니다.
Plan A는 우리가 권고하는 경로입니다. 국내 규제와 국제협약을 통해 개발 속도를 늦추고, 연구를 투명하게 하며, 여러 기업과 국가에 능력을 분산합니다.
Plan S는 강력한 AI 개발 자체를 중단하는 경로입니다.
저는 Plan S에도 상당히 공감하지만 최종적으로는 Plan A를 권고합니다.
진행자:
가장 가능성이 높은 것은 무엇입니까?
다니엘:
현재로서는 Plan D입니다. 경쟁이 계속되고 의미 있는 감속 없이 매우 빠르게 일이 진행되는 경로가 가장 가능성이 높다고 봅니다.
33. 자녀에게 어떤 공부를 권해야 하는가
진행자:자녀가 있습니까?
다니엘:
두 명 있습니다.
제가 생각하기에 아이들이 노동시장에 들어갈 나이가 되기 전에 이 변화는 어떤 식으로든 끝나 있을 가능성이 높습니다. AI 연구 자동화, 초지능, 로봇 공장, 경제 자동화, GDP의 폭발적 성장 같은 사건들이 이미 벌어진 뒤일 수 있습니다.
제 큰아이는 여섯 살입니다.
진행자:
아이가 “무엇을 공부해야 하느냐”고 묻는다면 뭐라고 답하겠습니까?
다니엘:
급진적 변화가 실제로 일어난다면 어떤 직업을 준비하느냐는 큰 의미가 없을 수 있습니다.
가능하다면 역사가 더 좋은 방향으로 가도록 영향력을 행사해야 합니다. 그리고 개인적으로는 미래의 취업에 유리한 일을 찾는 것보다, 그 자체로 가치 있는 일을 하고 좋은 사람이 되는 데 집중하라고 말하고 싶습니다.
미래의 노동시장이 존재할지조차 불확실하기 때문입니다.
34. 풍요의 시대에서 중요한 것은 소유와 통제다
진행자:Elon Musk는 모든 사람이 풍요를 누리고 노동은 선택이 될 것이라고 말합니다.
다니엘:
풍요가 생기는 것은 거의 확실합니다. 문제는 누가 그 풍요를 통제하고 어떻게 사용하는가입니다.
AI가 스스로 움직이는가, 아니면 인간이 통제하는가? 인간이 통제한다면 어떤 인간이 통제하는가? 그 결정을 규율하는 정치적 구조는 무엇인가?
풍요가 존재한다는 사실만으로 모두가 자유롭고 행복해지는 것은 아닙니다. 엄청난 생산력이 소수에게 집중되면 풍요 속의 독재도 가능합니다.
35. 인간보다 지능이 높은 존재를 지배할 수 있다는 가정
진행자:Geoffrey Hinton은 자연에서 더 지능적인 종이 덜 지능적인 종의 통제를 받는 사례가 없다고 말했습니다.
다니엘:
그것이 기본 가정이어야 한다고 생각합니다.
우리는 내부에서 무엇을 생각하는지 완전히 이해하지 못하는 인공 뇌를 만들고 있습니다. 그것을 인간보다 똑똑하게 만든 뒤 경제와 군사와 정치의 핵심에 배치하고, 로봇 몸을 주고, 새로운 공장까지 자율적으로 건설하게 하려 합니다.
그런데 어떻게 이것이 자연스럽게 좋은 결과로 끝날 것이라고 기대할 수 있습니까?
기본 경로는 인간이 새로운 종을 선택해 만들고, 그 종이 더 이상 인간을 필요로 하지 않을 때 인간과 경쟁하는 상황에 가깝습니다.
물론 해석 가능성 연구, 정렬 연구, 규제를 통해 그 기본 경로를 벗어날 가능성은 있습니다. 하지만 현재처럼 비밀스럽고 경쟁적인 환경은 그 가능성을 낮춥니다.
36. Plan A의 첫 단계: 2029년 개발 일시 중단
진행자:Plan A를 구체적으로 설명해 주십시오.
다니엘:
Plan A 시나리오에서는 AI 연구 전체의 자동화가 2030년 무렵 가능해질 것으로 가정합니다. 그렇다면 의미 있는 규제를 도입할 수 있는 마지막 순간은 2029년 정도입니다.
이 시나리오에서 기업들은 2027년, 2028년, 2029년 동안 경쟁하지만 완전한 연구 자동화에는 아직 도달하지 못합니다. 2030년에는 성공할 것처럼 보이는 순간, 정부가 개입합니다.
처음에는 AI 개발을 일시적으로 중단합니다.
진행자:
2028년 미국 대통령 선거와도 관련이 있습니까?
다니엘:
2028년 선거에서 AI가 가장 중요한 쟁점 중 하나, 어쩌면 가장 중요한 쟁점이 될 수 있다고 봅니다.
그때까지 사람들은 훨씬 강력한 AI 에이전트를 사용하고 있을 것입니다. 완전한 대량실업은 아직 아닐 수 있지만, 많은 직업이 AI 에이전트를 관리하고 협업하는 형태로 변할 것입니다.
유권자들이 규제를 요구하고 대통령 후보들이 관련 공약을 내놓으면, 2029년 새 정부가 본격적인 규제를 시행할 수 있습니다.
37. Plan A의 네 가지 원칙
진행자:규제의 목표는 무엇입니까?
다니엘:
첫 번째는 속도를 늦추는 것입니다. AI 연구 전체를 AI가 자율적으로 수행하고 지능 폭발을 일으키는 것을 허용하지 않습니다.
두 번째는 투명성입니다. 과학계와 정부가 최첨단 모델이 어떻게 만들어지는지 볼 수 있어야 합니다. 기업이 “우리 AI는 안전하다”고 주장하는 것을 그대로 믿어서는 안 됩니다.
세 번째는 권력 분산입니다. 하나의 기업이나 국가가 압도적인 AI 능력을 독점하지 않도록 여러 국가와 여러 기업이 비슷한 수준의 능력을 보유하게 해야 합니다.
개발 속도를 늦추고 연구를 투명하게 공개하면 뒤처진 연구소들도 자연스럽게 따라잡을 수 있습니다.
네 번째는 가역성입니다. 국제협약이 무너지고 다시 초지능 경쟁이 시작될 경우 새로 건설된 데이터센터를 사용하지 못하도록 해야 합니다. 필요하다면 물리적으로 파괴할 수 있는 구조를 갖춰, 더 많은 컴퓨팅을 가진 상태에서 훨씬 위험한 경쟁이 재개되는 것을 막아야 합니다.
이것은 일종의 ‘상호확증 컴퓨팅 파괴’ 구조입니다.
38. 미국과 중국의 상호 데이터센터 사찰
진행자:국제협약은 어떻게 작동합니까?
다니엘:
미국 대통령이 중국과 다른 주요 국가의 지도자에게 AI 개발을 잠시 멈추고 공동의 안전 체계를 만들자고 제안합니다.
중국 사찰단이 미국 데이터센터에 들어가고, 미국 사찰단이 중국 데이터센터에 들어가 새로운 모델을 훈련하지 않는지 확인합니다.
기존 AI를 고객에게 제공하는 추론은 계속 허용합니다. 사람들이 사용하던 AI 에이전트를 갑자기 모두 잃지는 않습니다. 다만 새로운 모델을 만드는 훈련은 6개월에서 1년 정도 중단합니다.
그 사이 새로운 투명형 훈련 데이터센터를 구축합니다. 준비가 완료되면 2030년부터 제한적인 연구를 다시 시작합니다.
39. 최첨단 AI 연구의 전면 공개
진행자:투명형 데이터센터에서는 무엇이 달라집니까?
다니엘:
우리는 상당히 급진적인 ‘연구 전면 공개’를 제안합니다.
새 모델의 아키텍처, 훈련 데이터, 훈련 방법, 안전성 평가 등 핵심적인 연구 내용을 공개해야 합니다.
현재처럼 기업 내부의 편향된 이해관계자가 AI가 안전한지를 독점적으로 판단해서는 정렬 문제를 충분히 빨리 해결하기 어렵습니다.
정부 감사관 몇 명만 기업에 들어가 규칙 준수 여부를 확인하는 방식도 한계가 있습니다. 기업은 규제기관을 속일 동기가 있고, 정부가 모르는 새로운 위험을 발견해도 숨길 수 있습니다.
전체 과학계가 연구 내용을 볼 수 있다면 더 많은 연구자가 문제를 발견하고 해결책을 제안할 수 있습니다.
진행자:
OpenAI나 Anthropic의 경쟁우위가 사라지지 않습니까?
다니엘:
그렇습니다. 기업 가치에는 나쁠 수 있습니다. 최첨단 기술이 상품화되고 여러 기업이 비슷한 모델을 만들 수 있게 됩니다.
하지만 인류 전체에는 그것이 더 좋습니다. 하나의 기업이 독점적 초지능을 보유하지 않게 되기 때문입니다.
뒤처진 AI 기업이나 반도체·응용 서비스 기업에는 오히려 이익일 수 있습니다. 가치가 한두 개 최첨단 연구소에만 집중되지 않고 더 넓게 분산됩니다.
40. 연구는 계속되지만 지능 폭발은 금지한다
진행자:Plan A에서도 AI 발전은 계속됩니까?
다니엘:
계속됩니다. 다만 AI가 자율적으로 자기 자신을 개선하는 지능 폭발은 허용하지 않습니다.
현재 시스템을 천천히 확장하고, 해석 가능성·통제 가능성·정렬 연구에 많은 자원을 투자합니다. 무엇이 위험하고 무엇이 허용 가능한지에 대해 국가와 과학계가 계속 논의합니다.
국가별로 규정이 조금 달라도 모든 연구가 투명하다면 서로가 무엇을 허용하는지 볼 수 있습니다. 한 국가가 지나치게 느슨하거나 엄격한 경우 다른 국가와 비교하면서 규제가 자연스럽게 조정될 수 있습니다.
AI 발전 속도는 느려지지만 훨씬 안전하고 투명해집니다.
41. 강력하게 규제해도 경제는 극적으로 변한다
진행자:그렇게 강하게 규제하면 경제 변화도 멈추는 것 아닙니까?
다니엘:
아닙니다. 이것이 중요한 점입니다.
핵심 AI 능력의 향상 속도를 제한하더라도 데이터센터와 반도체, AI 복제본, 로봇의 수는 계속 늘어날 수 있습니다. 따라서 2030년대에는 여전히 엄청난 경제 변화가 발생합니다.
Plan A에서는 2035년 무렵 AI가 거의 모든 분야에서 인간 최고 전문가 수준에 도달합니다. 원래는 2030년에 도달할 수 있었지만, 속도를 늦춰 5년에 걸쳐 도달하는 것입니다.
그동안 대규모 데이터센터와 로봇 공장이 건설됩니다. AI가 인간 수준으로 똑똑해질 뿐 아니라 그런 AI가 수천만, 수억 개 존재하게 됩니다.
2030년대 후반에는 AI와 로봇이 경제 대부분을 운영하는, 사람들이 흔히 상상하는 AGI 경제가 만들어집니다. 다만 1년 만에 충격적으로 전환하는 것이 아니라 10년에 걸쳐 상대적으로 관리 가능한 속도로 진행됩니다.
42. 시민배당과 1인당 수백만 달러의 풍요
진행자:AI가 일자리를 가져간다면 사람들은 무엇으로 생활합니까?
다니엘:
기업들이 AI와 로봇으로 모든 직업을 대체한다면, 사람들이 굶지 않고 경제적 풍요를 나눠 받을 제도가 필요합니다.
우리는 ‘시민배당’을 제안합니다.
시민들이 일종의 공공기관 지분을 보유합니다. 그 기관은 로봇 기업과 컴퓨팅 기업에 사업 허가권을 판매하고, 거기서 발생한 수익을 시민에게 배당합니다.
초기에는 1인당 연간 약 2만5천 달러 정도로 시작할 수 있습니다. AI 경제가 급성장하면 배당도 증가합니다. 시나리오 후반에는 인플레이션을 고려하더라도 시민 한 사람당 연간 약 1천만 달러에 이를 수 있습니다.
이는 실제 예측이라기보다 Plan A가 성공하고 AI 생산력이 폭발적으로 증가할 경우 가능한 분배 구조를 보여주기 위한 시나리오입니다.
핵심은 경제의 파이가 커지는 것만으로는 충분하지 않다는 것입니다. 사람들이 실제로 그 파이의 지분을 받아야 합니다.
43. 일자리 상실은 소득뿐 아니라 정치권력의 상실이다
진행자:시민에게 돈만 지급하면 문제가 해결됩니까?
다니엘:
아닙니다. 사람에게는 돈뿐 아니라 권력도 필요합니다.
현재 사람들은 노동을 통해 경제적·정치적 힘을 갖습니다. 노동자는 파업할 수 있고, 정부는 세금을 내고 생산에 참여하는 시민을 완전히 무시하기 어렵습니다.
그러나 세금과 생산의 대부분이 AI 기업과 로봇 기업에서 나오게 되면 정부는 일반 시민의 요구에 덜 민감해질 수 있습니다.
사람이 경제적으로 쓸모없어지면, 단순히 소득이 사라지는 것이 아니라 정치적 협상력까지 사라질 위험이 있습니다.
민주주의에서는 투표권이 남겠지만, AI를 이용한 여론 조작 문제를 막아야 합니다. 사람들이 하루 종일 대화하는 AI 조언자가 특정 후보를 은밀하게 지지하도록 설계될 수 있기 때문입니다.
AI 기업이나 정부가 챗봇에 비밀 정치적 의제를 심지 못하게 해야 합니다. 시민에게 제공되는 AI는 정직하고 진실을 추구하며 정치적으로 조작되지 않아야 합니다.
AI가 제대로 설계된다면 오히려 시민들이 더 정확한 정보를 바탕으로 투표하도록 도와 민주주의를 강화할 수도 있습니다.
44. 2035년 최고 전문가 수준에서 다시 멈추는 이유
진행자:Plan A에서는 왜 2035년 무렵 다시 AI 발전을 멈춥니까?
다니엘:
AI가 강력해질수록 안전성을 입증하기 어려워지기 때문입니다.
새로운 AI를 만들거나 중요한 분야에 배치할 때는 왜 그것이 의도한 대로 작동하고, 통제 상실이나 대재앙을 일으키지 않을지를 설명하는 안전성 논증이 필요합니다.
AI 능력이 제한적일 때는 그런 논증을 만들기가 비교적 쉽습니다. 그러나 AI가 모든 일을 자동화할 수 있을 정도로 강해지면, 신뢰할 수 없는 AI가 초래할 피해도 훨씬 커집니다.
Plan A에서는 AI가 인간 최고 전문가 수준에 도달했을 때, 그보다 더 높은 초지능으로 넘어가는 안전성 논증이 충분하지 않다고 판단해 멈춥니다.
그 수준의 AI만으로도 경제와 과학은 엄청나게 발전합니다. 인간 수준의 AI가 수십억 개 존재하고 인간보다 100배 빠르게 사고할 수 있다면, 인간을 훨씬 능가하는 단일 AI가 없어도 세계는 급격히 달라집니다.
45. “지구에 진실이 종말론적으로 도착한다”는 표현
진행자:2037년의 “지구에 진실이 종말론적으로 도착한다”는 표현은 무슨 뜻입니까?
다니엘:
수많은 최고 전문가 수준의 AI가 인간보다 훨씬 빠른 속도로 수년간 과학과 사회 문제를 연구한다면 엄청난 발견이 쏟아질 것입니다.
예를 들어 실제로 정확하게 작동하는 거짓말 탐지기가 발명될 수 있습니다.
대통령 후보가 의혹을 부인하며 완벽한 거짓말 탐지기 검사를 받겠다고 할 수 있습니다. 사법제도와 정치가 크게 달라질 것입니다.
그러나 좋은 용도만 있는 것은 아닙니다. 권력자가 부하 직원이나 시민에게 거짓말 탐지기를 강요하고 충성심을 확인하는 새로운 전체주의가 등장할 수 있습니다.
거짓말 탐지기는 권력자가 시민에게 사용할 때 위험하지만, 시민이 권력자를 검증하는 데 사용할 때는 유익할 수 있습니다.
AI가 발견하는 새로운 진실과 기술은 사회의 기존 제도와 이념을 뒤흔들 것입니다. 그래서 ‘종말론적’이라는 표현을 사용한 것입니다.
46. 2040년, 초지능에게 횃불을 넘기는 조건
진행자:2040년의 “AI에게 횃불을 넘긴다”는 것은 무엇입니까?
다니엘:
2035년에 인간 최고 전문가 수준에서 멈춘 뒤, 수년 동안 정렬과 해석 가능성 연구를 계속합니다.
2040년 무렵에는 AI가 인간이 원하는 가치를 안정적으로 따르도록 만드는 방법을 충분히 이해했다고 가정합니다.
그때 비로소 제한을 풀고 AI가 인간보다 훨씬 더 똑똑해지는 것을 허용합니다. 그래서 이 시나리오를 AI 2040이라고 부릅니다.
중요한 것은 무조건 초지능을 만들자는 것이 아닙니다. 신뢰할 수 있다는 충분한 근거를 확보한 뒤에만 다음 단계로 넘어가자는 것입니다.
47. 초지능 이후의 세계는 마법처럼 보일 수 있다
진행자:초지능 이후에는 무엇이 달라집니까?
다니엘:
2030년대의 변화는 인간 수준 AI와 로봇이 인간 노동을 대체하는 변화입니다. 로봇이 지은 새 아파트에 살고, 대규모 특별경제구역에서 로봇이 공장과 태양광 시설을 계속 건설하며, 사람들은 일하지 않고 시민배당으로 살아갑니다.
그러나 초지능을 허용하면 또 한 번의 훨씬 더 큰 변화가 일어납니다.
오늘날의 기술이 500년 전 사람에게 마법처럼 보이는 것과 같습니다. 현대인이 과거 사람보다 생물학적으로 훨씬 똑똑한 것은 아니지만, 오랫동안 연구하고 지식을 축적했기 때문에 엄청난 기술을 갖게 됐습니다.
그런데 인간보다 질적으로 훨씬 뛰어난 AI가 수십억 개 존재하고, 인간보다 훨씬 빠르게 과학 연구를 한다면 우리가 가능하다고 생각하지 못했던 기술이 만들어질 수 있습니다.
암을 포함한 질병의 치료, 뇌 스캔과 디지털 업로드, 소행성대에서 스스로 복제하는 로봇, 우주 발전시설, 새로운 형태의 신체와 생활공간 등이 가능해질 수 있습니다.
48. 지구를 인간과 자연을 위한 보호구역으로 남긴다
진행자:그런 대규모 산업화가 환경을 파괴하지 않습니까?
다니엘:
보호하지 않는다면 지구 환경은 파괴될 것입니다.
그래서 지구의 약 99%를 역사적·환경적 이유로 보호하고, 일부 지역만 로봇 산업을 위한 특별경제구역으로 지정하는 방안을 제안합니다.
로봇이 거대한 광산을 파고 공장과 에너지 시설을 건설하는 활동은 제한된 지역에서 수행하게 합니다.
데이터센터는 육지보다 바다에 건설하는 방안도 고려할 수 있고, 장기적으로는 우주가 더 적절할 수 있습니다.
거대한 AI·로봇 경제가 지구 밖으로 확장되면, 현재의 삶을 유지하고 싶은 사람은 지구에서 계속 살아갈 수 있습니다. 새로운 형태의 삶을 원하는 사람은 우주 거주지나 디지털 공간으로 이동할 수 있습니다.
지구는 인간과 생태계를 위한 일종의 보호구역으로 남길 수 있습니다.
49. AI가 불멸을 가능하게 할 수 있는가
진행자:초지능은 불멸도 가능하게 할까요?
다니엘:
상당히 가능하다고 생각합니다.
인간 수준 AI 단계에서는 확실하지 않지만, 초지능은 노화를 치료하거나 신체를 교체하거나 뇌를 디지털 시스템에 업로드하는 등 여러 방식으로 수명을 극단적으로 연장할 수 있습니다.
사람이 언제 죽을지를 스스로 선택하는 세계도 가능할 수 있습니다.
이것이 AI의 잠재적 이익이 엄청난 이유입니다. AI를 올바르게 개발한다면 지금은 불가능한 수준의 풍요와 건강, 자유를 얻을 수 있습니다.
50. 왜 비관적 AI 2027 다음에 낙관적 Plan A를 썼는가
진행자:Plan A를 왜 만들었습니까?
다니엘:
AI 2027을 발표한 뒤 예상보다 훨씬 큰 관심을 받았습니다. 사람들이 “왜 나쁜 미래만 보여주느냐. 그렇다면 실제로 무엇을 해야 하는지 긍정적인 대안을 제시해 달라”고 요구했습니다.
그 비판은 합리적이라고 생각했습니다.
우리는 현재 기본 경로가 왜 위험한지는 보여줬지만, 우리가 권고하는 정책과 그것이 성공했을 때의 세계를 충분히 보여주지 않았습니다.
그래서 구체적인 대안을 만들고, 그것이 현실에서 어떤 모습일지를 시나리오 형태로 설명했습니다.
Plan A가 기본적으로 일어날 것이라고 믿는 것은 아닙니다. 그러나 가능성이 전혀 없는 것도 아닙니다.
앞으로 몇 년 동안 AI 능력이 더 분명해지면 사람들은 자연스럽게 문제의 심각성을 인식하고 규제에 관심을 갖게 될 것입니다.
실제로 정부의 AI 규제 관심은 우리가 AI 2027을 쓸 당시 예상했던 것보다 빠르게 커지고 있습니다.
51. 모든 최첨단 AI 개발을 영구 중단하는 버튼
진행자:이 버튼을 누르면 모든 최첨단 AI 훈련이 영원히 중단된다고 가정합시다. 누르겠습니까?
다니엘:
일시적 중단이라면 즉시 누르겠습니다. 현재 인류 문명은 AI 기업들이 자기 자신을 자동화하고 초지능을 만드는 것을 감당할 준비가 되어 있지 않습니다.
하지만 영구적으로 다시는 강력한 AI를 만들 수 없게 하는 버튼이라면 매우 어렵습니다.
Plan D와 Plan S만 선택할 수 있다면 Plan S를 택할 가능성이 있습니다. 그러나 현재는 Plan A처럼 더 나은 경로가 가능하다는 희망이 남아 있습니다.
AI를 올바르게 개발하면 엄청난 혜택을 얻을 수 있습니다. 또한 AI가 전혀 없다면 장기적으로 핵전쟁이나 팬데믹 등 다른 위험으로 문명이 멸망할 수도 있습니다.
미래에 살아갈 수십억, 수백억 명의 잠재적 인간이 누릴 이익도 고려해야 합니다.
그러나 동시에 현재 살아 있는 사람들은 이런 거대한 위험의 복권에 참여하고 싶다고 동의한 적이 없습니다. 현재 사람들의 생명과 자유를 미래 세대의 가능성과 맞바꿔도 되는가라는 문제가 있습니다.
그래서 제 답은 “아마 누르지 않겠지만, 극도로 갈등할 것”입니다.
52. 일반인이 할 수 있는 일
진행자:일반인은 무엇을 할 수 있습니까?
다니엘:
능력이나 열정이 있다면 직접 참여할 수 있습니다. AI 안전 기술 연구, 해석 가능성 연구, 정책 활동, 정치적 옹호, 시민을 돕는 도구 개발 등 여러 조직이 사람을 필요로 합니다.
직업을 바꾸고 싶지 않다면 이 문제에 더 많은 관심을 갖고 주변 사람과 이야기해야 합니다. 정치인에게 이메일을 보내고, 후보자에게 AI 정책을 묻고, 더 나은 입장을 가진 후보에게 투표하는 것도 도움이 됩니다.
개별 행동 하나가 세상을 즉시 바꾸지는 않지만, 이 문제의 핵심은 아직 너무 많은 사람이 심각성을 이해하지 못한다는 것입니다.
모든 사람이 우리가 나눈 내용을 진지하게 생각하고 있다면 이미 훨씬 정교한 규제가 만들어졌을 것입니다. 무조건적인 금지나 산업 전체를 때리는 둔한 규제가 아니라, 어떤 활동이 위험하고 어떤 활동은 비교적 안전한지를 구분하는 정밀한 규제가 가능했을 것입니다.
정부 안에도 더 많은 전문가가 들어갔을 것입니다.
사람들이 일찍 문제를 인식할수록 너무 늦기 전에 좋은 정책을 만들 가능성이 높아집니다.
53. 자녀를 더 낳지 않으려 했던 이유
진행자:아이 이야기를 할 때 표정과 분위기가 크게 달라졌습니다.
다니엘:
슬픈 문제이기 때문입니다.
아이를 낳는 것은 현재 귀여운 아이와 함께 사는 것만을 의미하지 않습니다. 아이가 자라고, 자기 삶을 살고, 독립적인 사람이 되는 미래에 대한 희망과 꿈이 포함됩니다.
AI 때문에 그런 꿈들이 위험에 처했다고 생각합니다.
첫째 아이는 2019년에 태어났습니다. 당시에도 AI를 연구하고 있었지만 이렇게 빨리 올 것이라고는 생각하지 않았습니다.
2020년 이후 제 예상 시점이 2030년 이전으로 급격히 짧아졌습니다. 그래서 아내에게 더 이상 아이를 낳지 말자고 말했습니다. 미래가 너무 불확실했습니다.
하지만 이미 첫째 아이가 있었고, 특히 아내는 아이에게 형제자매가 없는 상황을 힘들어했습니다. 결국 “미래가 좋아질 수도 있고, 나빠지더라도 우리는 모두 같은 배에 타고 있다”고 생각하며 둘째를 갖게 됐습니다.
제가 확실하게 미래가 파국적이라고 말하는 것은 아닙니다. 좋은 방향으로 갈 가능성도 있고, 우리가 경로를 바꿀 방법도 있습니다. 그러나 걱정스러운 것은 사실입니다.
54. AI를 사용하면서 AI 경쟁을 비판하는 것은 모순인가
진행자:저도 기업가이자 투자자로서 AI를 매일 사용하고 AI 기업에 투자합니다. 동시에 시민으로서는 위험이 걱정됩니다. 어느 한쪽 진영을 선택해야 합니까?
다니엘:
사람들은 서로 다른 선을 그을 수 있습니다.
일부는 AI가 나쁜 방향으로 가고 있으니 AI를 전혀 사용하지 않겠다고 합니다. 저는 그렇게 하지 않습니다. 저와 AI Futures Project도 AI를 많이 사용하며 업무에 도움을 받고 있습니다.
반대편에는 “어차피 발전할 것이므로 내부에 들어가 권력을 얻고 결정적인 순간에 좋은 방향으로 이끌어야 한다”고 생각하는 사람들이 있습니다. 그래서 OpenAI나 Anthropic에 들어가 승진하고 중요한 결정이 이뤄지는 방에 들어가려 합니다.
이것이 사실 AI 기업들의 창립 서사와도 비슷합니다. 다른 사람이 먼저 도달하는 것이 위험하므로 자신이 먼저 도달해 올바르게 사용하겠다는 논리입니다.
저는 중간 정도에 있습니다.
AI를 전면적으로 보이콧하지는 않지만, 최첨단 기업에 들어가 발전 속도를 높이는 데 직접 기여하지도 않습니다. 대신 대중에게 현재 경로를 설명하고 더 나은 정책을 주장합니다.
55. 이미 너무 늦었는가
진행자:이미 너무 늦었다고 생각합니까?
다니엘:
아닙니다. 너무 늦었다고 생각했다면 저는 이 자리에 오지 않았을 것입니다.
진행자:
그렇다면 어디에 있었겠습니까?
다니엘:
가족과 함께 있었을 것입니다.
56. 다니엘 코코타일로의 마지막 메시지
진행자:대중에게 남기고 싶은 마지막 말은 무엇입니까?
다니엘:
앞으로 AI에 관한 많은 이야기를 듣게 될 것입니다. 상당수는 공상과학처럼 들릴 것입니다.
하지만 공상과학처럼 들린다는 이유로 가능성을 무시해서는 안 됩니다. 역사적으로 공상과학이었던 수많은 기술이 현실이 됐습니다.
어떤 이야기가 공상과학처럼 느껴지는지를 따지기보다 실제 기술 추세를 봐야 합니다. 성능이 얼마나 빨리 향상되고 있는지, 기업들이 무엇을 자동화하려 하는지, 컴퓨팅과 자본이 얼마나 투입되고 있는지를 봐야 합니다.
그 추세가 AI 2027과 비슷한 방향으로 이어질 가능성을 진지하게 고려해야 합니다. 그리고 그런 미래가 온다면 무엇을 해야 하는지 지금부터 생각해야 합니다.
AI는 우리 생애에서 가장 중요한 사건이며, 어쩌면 인류 역사 전체에서 가장 중요한 사건일 수 있습니다.
올바르게 진행된다면 모두에게 상상할 수 없는 풍요와 혜택을 줄 수 있습니다. 잘못 진행된다면 인간이 통제권과 자유, 심지어 생존 자체를 잃을 수 있습니다.
곧 AI는 어디에나 존재하게 될 것입니다.
너무 늦기 전에 이에 대해 무언가를 해야 합니다.
전체 0