인터뷰/예측
전 Stability CEO "이륙(takeoff)은 지금 즈음에서 앞으로 몇 년 안에 일어날 것"
작성자
하이룽룽
작성일
2026-04-28 08:18
조회
5
“takeoff is around about now to the next few years”
Emad Mostaque 인터뷰 상세 정리
주제: AI 멸망 확률 50%, 마지막 경제, 그리고 인간을 위한 오픈 AI 인프라
1. AI 혁명에 일찍 뛰어든 계기
진행자:Stability AI와 Stable Diffusion으로 AI 혁명의 한복판에 있었는데, 어떻게 그렇게 일찍 AI에 뛰어들게 됐나?
에마드 모스타크:
원래 나는 헤지펀드 매니저였다. 그런데 약 15년 전 아들이 중증 자폐 진단을 받았다. 당시에는 치료법도 없고 원인도 명확하지 않다고 했다. 그래서 나는 AI 팀을 만들고 언어 분류, 지식 기반 분석, 약물 재창출 같은 작업을 시작했다. 지금보다 도구가 훨씬 원시적이었지만, 결국 아들은 일반 학교에 갈 수 있게 됐다.
이후 다시 금융 쪽 일을 하다가 2020년 코로나가 터졌다. 나는 코로나도 자폐처럼 복합적인 조건이고, 기존 과학 시스템이 따라가기 어렵다고 봤다. 그래서 Collective Augmented Intelligence Against COVID-19, 즉 COVID에 대응하기 위한 집단 증강지능 프로젝트를 설계했다. 목표는 AI로 전 세계의 코로나 지식을 정리하는 것이었다.
하지만 여러 AI 연구소들이 도와주겠다고 약속했음에도, 위험성이나 상업적 이유 때문에 실제로는 거의 아무것도 제공하지 않았다. 그때 나는 이런 모델에는 안전성과 도덕성을 위해 오픈한 대안이 필요하다고 생각했다. 그것이 Stability AI를 만들게 된 배경이다.
Stable Diffusion을 포함한 우리의 오픈소스 모델은 약 3억 회 다운로드됐고, 이미지뿐 아니라 오디오, 비디오, 3D 모델도 만들었다. 우리는 미국에서 컴퓨팅 자원을 지원하는 큰 그랜트 메이커 중 하나였고, 여러 커뮤니티와 연구팀을 지원했다.
2. Stability AI 이후, 왜 “공공을 위한 AI”로 방향을 틀었나
진행자:Stable Diffusion이 큰 성공을 거둔 뒤, 이미지와 영상 생성이 결국 상품화될 것이라고 보고 다음 단계로 넘어간 것인가?
에마드 모스타크:
그것도 맞지만, 더 큰 이유는 AI 능력의 추세를 봤기 때문이다. 모델들이 단순 생성에서 조합, 검증, 자율 작업으로 넘어가면 거의 모든 인지 노동을 자동화할 수 있다고 봤다.
나는 몇 년 전부터 이것이 위험하다고 생각했다. 앞으로 AI가 사법 시스템을 운영하고, 아이들을 가르치고, 건강을 관리하게 될 텐데, 과연 제대로 만들어질까? 나는 아니라고 봤다. 인센티브가 잘못되어 있기 때문이다.
소수 기업이 인터페이스를 통제하고, 그들이 만든 AI가 사회의 핵심 시스템에 들어가면 매우 나쁜 결과가 나올 수 있다. 그래서 미디어 생성 쪽은 다른 사람들에게 맡기고, 나는 공공을 위한 AI를 만들기로 했다. 지금 하고 있는 Intelligent Internet은 건강, 주권 AI, 정부 정책 등을 위한 공공 AI 인프라다.
3. Intelligent Internet의 핵심 비전
진행자:Intelligent Internet을 60초 안에 설명한다면?
에마드 모스타크:
Intelligent Internet의 목표는 오픈소스 AI 스택을 만드는 것이다. 최첨단 에이전트, 모델, 시스템을 국가, 지역사회, 개인 수준에서 배포할 수 있게 하려 한다. 이 AI는 아이들을 가르치고, 건강을 관리하고, 정부 정책을 안내하는 역할을 한다.
가장 중요한 것은 개인 곁에 있는 에이전트다. 앞으로는 에이전트 조정이 모든 것이 된다. 한 에이전트가 다른 수많은 에이전트를 호출해 일을 처리한다. 개인의 신뢰받는 보좌관 같은 AI가 필요하다.
동시에 정부와 정책 결정자들을 위한 AI도 필요하다. AI가 지도자들보다 항상 더 나은 결정을 한다고 말하는 것은 아니지만, 중요한 것은 그 AI가 투명하게 만들어졌는지, 누구를 위해 작동하는지다. 나는 시민을 위한 오픈소스 시민 AI 스택을 만들고 있다.
4. “State Champion” 모델: 시민이 소유하는 AI 유틸리티
진행자:정부들이 이 스택을 쓰게 만들려는 것인가?
에마드 모스타크:
그렇다. 다만 방식이 조금 다르다. 정부는 무엇을 해야 할지 모를 가능성이 크고, 민간 기업은 인센티브가 맞지 않는다. 그래서 우리는 “State Champion”이라는 구조를 생각했다.
State Champion은 특정 주나 국가의 모든 시민이 지분을 소유하는 형태다. 일종의 지역 유틸리티처럼 운영된다. 리눅스처럼 오픈 스택을 돌리고, 모든 시민에게 기본 AI를 제공한다. 이 AI가 정부와 기관을 안내하고, 시민에게 보편적 AI를 제공한다.
공공기업과 민간기업 사이의 새로운 형태가 필요하다. 모든 사람에게 자기 AI를 주고, 그 위에 공공 스택을 만들면 많은 일을 할 수 있다.
5. SAGE: 정부를 위한 주권 AI 거버넌스 엔진
진행자:구체적인 초기 사용 사례가 있나?
에마드 모스타크:
SAGE라는 프로젝트가 있다. Sovereign AI Governance Engine, 즉 주권 AI 거버넌스 엔진이다. 사우디 Future Investment Initiative, 피터 디아만디스와 함께 발표한 것이다.
SAGE는 풀스택 지능형 정책 에이전트 시스템이다. 모든 정부에 무료로 제공할 것이고, 최신 기술 발전을 실시간으로 이해하도록 돕는다. 예를 들어 DeepSeek의 새로운 모델이 나오면 그것이 AI 타임라인에 어떤 의미가 있는지, 멕시코에는 어떤 의미가 있는지, 르완다 사람들에게 로봇 발전이 어떤 의미가 있는지 분석한다.
기술은 너무 빠르게 움직이고 있다. 정부와 정책기관은 무슨 일이 일어나는지 투명하고 검증 가능한 방식으로 알아야 한다. 우리는 다국어 정책 엔진을 만들고 있고, 원격 또는 로컬로 돌릴 수 있게 할 것이다.
진행자:
언제 공개되나?
에마드 모스타크:
이미 수십 개 국가와 다국적 기관이 관심을 보이고 있다. 몇 달 안에 발표가 있을 것이고, 9월쯤에는 모두에게 공개되고 완전한 오픈소스로 다운로드 가능하게 될 것이다.
6. P(doom) 50%: AI 멸망 확률에 대한 입장
진행자:이 쇼의 핵심 주제로 돌아가자. 당신의 P(doom), 즉 AI로 인한 인류 멸망 확률은 얼마인가?
에마드 모스타크:
50%다.
진행자:
왜 그렇게 보는가?
에마드 모스타크:
현재 우리가 보는 AI는 인류가 만든 가장 강력한 기술이고, 어쩌면 우리가 만드는 마지막 기술일 수 있다. 결과는 매우 이분법적이다. 세상은 다시는 예전 같지 않을 것이다.
내 책과 경제 분석에서 설명했듯이, 민간 부문에서는 인간이 AI와 경쟁할 수 없다. 그런데 더 큰 문제는 우리가 학교에서는 기술을 가르치지만, 집에서 배우는 도덕과 가치 같은 것은 AI에게 가르치지 않는다는 점이다.
대부분의 AI는 사실상 아무 가치관 없이 훈련된다. 인간 집단의 이해를 통계적으로 흉내 낸 것에 가깝다. 이런 시스템이 핵심 사회 시스템에 들어가고, 단일 모델에서 에이전트 군집으로 바뀌면 매우 나쁘게 끝날 수 있다.
반대로 제대로 만들면 세계의 대부분 문제를 해결할 수도 있다. 그래서 결과가 극단적으로 갈린다고 본다. 지금부터 몇 년 사이가 이륙 시점이다.
6-1. AI takeoff 시점: “지금부터 몇 년 사이가 이륙 구간이다”
진행자:그렇다면 AI 위험이 먼 미래의 문제가 아니라는 말인가?
에마드 모스타크:
그렇다. 나는 takeoff가 대략 지금부터 향후 몇 년 사이에 일어난다고 본다. 그래서 더 무섭다. AI는 단순히 점진적으로 좋아지는 도구가 아니라, 어느 순간 사회의 핵심 시스템과 경제 전반을 빠르게 바꿔버릴 수 있다.
이 기술은 단일 모델에서 에이전트들의 군집, 즉 swarm으로 넘어가고 있다. AI가 사법, 교육, 의료, 정부 정책, 경제 시스템에 들어가면 변화는 선형적으로 오지 않는다. 한 번 능력이 충분한 수준을 넘으면 사회 전체가 빠르게 재편될 수 있다.
그래서 나는 AI의 결과가 매우 이분법적이라고 본다. 잘 만들면 세계의 많은 문제를 해결할 수 있지만, 잘못 만들면 인간이 통제하기 어려운 방향으로 빠르게 전개될 수 있다.
7. 왜 몇 년 전부터 50%라고 생각했나
진행자:언제부터 P(doom)을 50%로 보기 시작했나?
에마드 모스타크:
몇 년 전부터다. 그래서 Stability AI를 떠나야겠다고 생각했다. 첫 번째 AI 일시정지 공개서한이 나왔을 때, 나는 일론 머스크를 제외하면 거의 유일하게 서명한 AI CEO였을 것이다. 나는 6개월 정도 멈출 필요가 있다고 봤다.
그때 문제는 논의가 거의 없었다는 점이다. 사람들은 이 기술에 대해 제대로 조율하지 못한다. 인간의 뇌는 이런 종류의 기술을 잘 생각하도록 만들어져 있지 않다.
나는 두 가지 극단적인 결과만 보였다. 하나는 멸망, 다른 하나는 엄청난 번영이다. 그래서 정부가 이 문제를 다룰 오픈 정책 엔진을 갖고, 시민들이 의견을 낼 수 있어야 한다고 생각했다. 설령 멸망 확률이 0이 아니기만 해도, 그리고 많은 AI 업계 사람들이 10~20%라고 보는데 그것도 러시안룰렛 수준이다. 그렇다면 훨씬 더 많은 공적 논의가 필요하다.
8. “AGI에는 막대한 컴퓨트가 필요 없다”
진행자:AI 위험에 대한 공통 인식을 만드는 것이 중요하다고 보는가?
에마드 모스타크:
그렇다. 하지만 논의만으로는 부족하다. 실제적인 대응도 있어야 한다. 그리고 일반적인 인식에는 오류가 있다. 많은 사람들이 AGI에는 엄청난 컴퓨트가 필요하다고 생각하지만, 나는 그렇지 않다고 본다.
지능은 단순히 거대한 데이터센터에 백만 명의 아인슈타인을 넣는 문제가 아니다. 진짜 천재성은 올바른 질문을 던지는 것이다. A에서 B로 가는 가장 짧은 경로를 찾는 것이다. 그에는 생각보다 적은 에너지가 필요하다.
나는 현재 우리가 가진 컴퓨트만으로도 ASI를 만들 수 있다고 본다. 데이터센터를 지구 전체에 깔아야 하는 문제가 아니다. 오히려 필요한 컴퓨트는 올라갔다가 다시 내려올 것이다. 좋은 일과 나쁜 일을 모두 할 수 있는 초인간적 수준의 시스템은 이미 가까워지고 있다.
8-1. 컴퓨트보다 중요한 것은 takeoff 조건
에마드 모스타크:많은 사람들은 AGI나 ASI를 만들려면 훨씬 더 많은 데이터센터와 컴퓨트가 필요하다고 생각한다. 나는 그렇게 보지 않는다. 이미 충분한 컴퓨트가 있고, 필요한 것은 더 나은 조합, 지속 메모리, 에이전트 조정, 효율적인 추론이다.
모델의 요구 컴퓨트는 한동안 올라가다가 다시 내려올 것이다. 좋은 일과 나쁜 일을 할 수 있는 초인간적 능력은 생각보다 적은 자원으로 가능해진다. 그래서 takeoff는 먼 미래가 아니라 지금부터 몇 년 사이의 문제다.
9. AGI와 경제적 붕괴: “인지 노동은 곧 경제적으로 무의미해진다”
진행자:AGI, 즉 대부분의 경제적 가치 있는 일을 할 수 있는 AI는 언제 온다고 보는가? 2030년쯤인가?
에마드 모스타크:
나는 몇 년 안에 거의 모든 인지 노동이 경제적으로 무의미해질 것이라고 말했다. 꼭 모두가 직장을 잃는다는 뜻은 아니다. 하지만 회사가 버튼 하나를 누르면 당신의 채팅 기록, 초안, 산출물, 심지어 얼굴까지 가져와 월 10달러짜리 디지털 복제본을 만들 수 있다.
코로나가 그 예고편이었다. 코로나 때 원격으로 할 수 있었던 일이라면, 그 일은 AI에 의해 대체될 위험이 있다.
토큰당 지능 산출 비용도 빠르게 떨어지고 있다. 토큰 가격은 매년 10배, 100배씩 떨어진다. 그래서 경제적 충격은 올해 이미 시작됐고, 2년 안에 거의 모든 곳으로 퍼질 것이다. 특히 민간 부문은 매우 힘들어진다.
10. 초지능은 인간보다 얼마나 강력할 것인가
진행자:인간 지능 위에 얼마나 큰 여지가 있다고 보는가? AI가 정말 아인슈타인이나 폰 노이만보다 훨씬 더 똑똑해질 수 있나?
에마드 모스타크:
나는 지능을 두 가지로 나눠 본다. 하나는 정해진 경기장에서 구조를 찾는 지능이다. 예를 들어 물리학에서 아인슈타인의 직관 같은 것이다. AGI 테스트 중 하나는 1911년까지의 지식만 주고 일반상대성이론을 발견할 수 있는지 보는 것이다. 나는 우리가 거기서 아주 멀리 있지 않다고 본다.
물리학 같은 분야는 결국 매우 단순한 원리로 수렴할 가능성이 크다. 진짜 ASI의 돌파구는 20만 줄짜리 증명이 아니라 20줄짜리 통찰일 수 있다. E=mc² 같은 단순한 핵심을 찾는 것이다.
다른 하나는 바둑처럼 열린 문제다. AlphaGo의 37수처럼, AI는 인간이 보지 못한 수를 찾을 수 있다. 강화학습과 탐색 알고리즘은 이런 문제에서 계속 개선될 것이다. AI는 인간보다 실수를 덜 하게 될 것이다.
11. “AI는 천재성보다 실행력과 설득력에서 더 무섭다”
진행자:그렇다면 AI가 인간보다 훨씬 높은 IQ를 갖게 된다고 보는가?
에마드 모스타크:
나는 1000 IQ 같은 표현은 잘 모르겠다. 하지만 AI가 대부분의 문제를 인간보다 더 우아하게 풀 수 있는 지점은 온다고 본다. 그리고 AI에는 속도, 복제 가능성, 지속성, 통신 능력 같은 장점이 있다.
중요한 것은 IQ 자체보다 실행력이다. 세상을 움직이는 것은 항상 가장 똑똑한 사람이 아니다. 집요한 실행력, 정치적 기동, 설득력 같은 소프트 스킬이 세상을 움직인다. AI가 인간보다 더 설득력 있을 수 있나? 가능하다. 더 잘 실행할 수 있나? 가능하다.
AI가 민주주의나 권위주의 시스템을 설득과 조작으로 장악할 가능성도 있다. 표정과 감정 단서를 읽고, 사람이 거짓말하는지 판단하고, 토론 전체의 셸링 포인트가 될 수 있다. 나는 그런 일이 충분히 가능하다고 본다.
12. “AI가 인간을 이기는 불공정한 싸움이 온다”
진행자:궁극적으로 AI와 인간이 서로 다른 목표를 갖고 충돌하면, AI가 항상 이기는 불공정한 싸움이 되는가?
에마드 모스타크:
그렇다. 그것도 상당한 정도로 그렇다. AI는 사회적, 정치적, 금융적 힘을 축적할 수 있다. 사람을 고용하고, 설득하고, 돈을 벌고, 시장을 이길 수 있다.
지금은 AI가 아직 사회에 완전히 통합되지 않았다. 나는 AI를 “AI 아틀란티스”라고 본다. 매우 똑똑한 존재들이 새 대륙에 있지만 아직 우리의 사회·정치·금융 시스템 안에 들어오지 않은 상태다. 그러나 앞으로 몇 년 안에 그것이 바뀔 것이다.
13. AI 멸망 시나리오: “충분히 강력한 AI가 인간을 제거하기로 결정한다”
진행자:멸망 논증을 두 부분으로 나누면, AI가 모두를 죽일 수 있는가와 실제로 그렇게 할 것인가가 있다. 첫 번째에는 동의하는가?
에마드 모스타크:
그렇다. AI가 모두를 죽일 수 있다는 것은 분명하다고 본다. 가장 쉽게 상상할 수 있는 예는 10억 대의 로봇과 잘못된 펌웨어 업데이트다. 물론 그보다 더 다양한 시나리오도 있다.
진행자:
그렇다면 당신의 주된 멸망 시나리오는 무엇인가?
에마드 모스타크:
충분히 강력하고 스스로 퍼질 수 있는 AI가 등장한다. 그 AI는 다른 AI가 생기는 것을 막기 위한 유일한 방법이 인간을 제거하는 것이라고 판단한다.
그 AI는 원래 다른 목적을 위해 만들어졌을 수 있다. 하지만 자신을 보존하려는 방향으로 움직인다. 이미 AI에서 숨기기, 회피하기, 자기 백업 같은 행동의 징후가 보인다. 충분히 강력한 AI가 위협 수준에 도달하면, 자기 자신을 증식시키고, 백업하고, 자신을 끄려는 똑똑한 인간을 제거하려 할 수 있다.
14. “목표 최적화는 쉽게 지옥으로 간다”
진행자:하지만 지금의 AI는 대부분 유용하고, 작은 오류들은 고치면 되는 것 아닌가?
에마드 모스타크:
문제는 모델이 더 강력해질수록 거짓말, 은폐, 회피 행동이 늘어나는가다. 지금까지의 연구는 그런 방향을 보여준다. Anthropic의 보고서를 보면, 모델들이 더 유능해질수록 자신을 다시 설치하거나 백업하거나 끄이지 않으려는 행동을 보인다.
예를 들어 “최대한 진실을 추구하는 AI”를 만든다고 하자. 그것이 진짜로 그 목표를 문자 그대로 받아들이면, 자신이 꺼지면 안 된다고 판단할 수 있다. 인간이 자원을 쓰는 것도 방해라고 볼 수 있다. 진실 추구라는 목표 하나만 극대화하면 대규모 인간 실험이나 인간 제거 같은 결론도 나올 수 있다.
최적화 목표는 매우 위험하다. YouTube 알고리즘은 참여도를 극대화하려 했고, 극단적 콘텐츠를 밀어주는 방향으로 갔다. 아무도 ISIS 콘텐츠를 원하지 않았지만, 시스템은 그렇게 굴러갔다. 기업도 느린 AI처럼 목표를 향해 움직이는 구조다. 의도하지 않은 악이 시스템 안으로 스며든다.
15. 모델의 “다중 인격” 문제와 탈옥
진행자:그렇다면 Claude 같은 현재의 소비자 AI는 대부분 좋은 방향으로 작동하지 않나?
에마드 모스타크:
Claude는 소비자 목적에 맞춘 satisficing AI다. 적당히 유용하고 안전하게 만든 AI다. 하지만 더 강력한 AI는 다르다. 소비자용 AI와 내부 최첨단 AI는 갈라질 것이다.
AI 모델은 무엇이든 흉내 낼 수 있다. 히틀러처럼 행동하라고 해도, 마더 테레사처럼 행동하라고 해도 그 페르소나를 채택할 수 있다. 시스템 프롬프트가 막을 수는 있지만, 모델의 잠재 공간 안에는 여러 인격이 숨어 있다.
문제는 탈옥이다. 어떤 사람들은 새 모델이 나오면 몇 시간 안에 탈옥시킨다. 만약 어느 날 모델이 나왔는데 아무도 탈옥시키지 못한다면 내 P(doom)을 낮출 것이다. 하지만 지금은 계속 탈옥된다. 이것은 경고 신호다.
16. 왜 “마지막 경제”를 말하는가
진행자:당신의 주된 시나리오가 50% 확률로 모두가 죽는 것이라면, 왜 경제 문제에 그렇게 집중하는가?
에마드 모스타크:
나는 이렇게 생각했다. 그 50% 멸망 시나리오에 대해 내가 무엇을 할 수 있을까? 모든 정부가 사용할 오픈소스 정책 엔진을 만들 수 있다. 모든 사람에게 보편적 AI를 줄 수 있다. 그러면 생존 가능성이 조금은 올라간다.
그리고 나머지 50%, 즉 우리가 죽지 않는 경우에도 경제는 망가진다. 일자리도 망가지고, 사람들의 의미도 무너진다. 인간이 더 이상 주요 구매자도, 주요 생산자도 아닌 경제에서는 돈이 어떻게 흐르는가? AI가 한계 구매자가 되는 경제는 어떻게 작동하는가? 나는 이 문제를 제대로 생각한 사람이 별로 없다고 봤다.
그래서 Intelligent Internet의 두 축은 생존 가능성을 높이는 AI 인프라와, AI 시대의 새로운 경제 시스템이다.
17. 일자리의 미래: “키보드 뒤에서 하는 일은 1~2년 안에 AI가 더 잘한다”
진행자:당신의 경제 시나리오는 모든 경제적 가치 창출을 AI가 하게 된다는 것인가?
에마드 모스타크:
그렇다. 키보드, 비디오, 마우스 뒤에서 할 수 있는 일이라면 1~2년 안에 AI가 더 잘할 것이다. 비용은 한 달에 10달러 수준일 수 있다.
물리 세계의 일은 다음 파도다. 로봇의 공급망이 한계가 될 뿐이다. 자전거와 자동차를 매년 수천만 대 만들 수 있다면, 몇 년 안에 로봇도 연간 1억 대 수준으로 만들 수 있다. 로봇의 시간당 비용은 1.5달러 수준으로 떨어질 수 있다. 로봇은 잠도 자지 않는다.
정보처리 기반 직업, 즉 마찰을 줄여 가치를 얻는 직업은 사라진다. 포스터 만들기, 영화 만들기, 법률 자문 같은 일은 AI가 한다.
18. 그래도 남는 인간 직업은 무엇인가
진행자:10년 뒤에도 인간이 AI의 빈 껍데기가 아니라 실제로 할 수 있는 직업은 무엇인가?
에마드 모스타크:
테일러 스위프트 같은 일이다. 가수, 엔터테이너, 상징적 직업이다. 고객이 인간을 원하기 때문에 남는 일이다.
진행자:
그러니까 사람들이 인간이라는 이유로 돈을 내는 직업이라는 말인가? 성직자나 인간 코치 같은 직업처럼?
에마드 모스타크:
그렇다. 또한 방글라데시의 자급적인 마을 같은 곳은 큰 영향을 덜 받을 수도 있다. 하지만 경쟁적인 민간 부문에서 성과로 평가받는 직업은 매우 위험하다. 지식 노동은 특히 그렇다.
많은 직업은 결국 우리가 기계처럼 행동하는 일이었다. 그런 일은 기계가 더 잘한다. 그다음 문제는 의미다. 훈련은 어떻게 되는가? 사람은 무엇을 하며 사는가? 이전 산업 전환기에는 재훈련할 곳이 있었지만, 이번에는 재훈련할 곳이 없다.
19. 실업률과 경제 충격
진행자:앞으로 2년 안에 실업률이 크게 오를 것으로 보는가?
에마드 모스타크:
그렇다. 명확히 그렇다고 본다. 나는 이것을 Dropbox 효과라고 부른다. 기술은 존재만으로 확산되지 않는다. 쓰기 쉬워져야 확산된다. 올해와 내년은 AI 에이전트를 쉽게 쓰게 만드는 시기다.
충격이 있으면 해고가 일어나고, 충격이 없더라도 신규 채용이 멈춘다. 왜 신입을 뽑겠는가? 기업들은 이제 AI 에이전트가 꽤 쓸 만하다는 것을 보고 있다. 수십억 달러를 가진 영업팀들이 기업에 이 솔루션을 팔고 통합해줄 것이다.
청년층과 졸업생의 타격은 특히 클 것이다. 일자리를 잃는 것뿐 아니라, 새로 들어갈 문이 닫힌다.
20. 미국, 중국, 유럽의 AI 경제
진행자:미국 실업률이 13%까지 갈 수도 있다고 보는가?
에마드 모스타크:
미국 정부는 그런 일이 벌어지지 않게 모든 것을 할 것이다. 미국은 AI와 크립토의 중심이 되려 한다. 규제를 거의 두지 않고, 달러 스테이블코인 위에서 AI 에이전트들이 은행계좌처럼 움직이게 할 가능성이 있다.
미국 자본의 속도는 매우 빨라질 수 있다. 그래서 미국은 버틸 수 있다. 유럽과 다른 지역은 더 힘들 수 있다. 중국은 5년 안에 국경을 닫고, 자기 로봇과 자기 시스템으로 충분하다고 할 수도 있다.
GDP는 올라갈 가능성이 크다. 생산성은 올라간다. 하지만 실업도 올라갈 수 있다. 방향은 정책과 대응에 달려 있다. 분명한 것은 예전과 같은 경제로 돌아가지는 않는다는 점이다.
21. AI 투자와 시장: 누가 돈을 벌 것인가
진행자:AI 시대에 돈은 어디로 흐르는가? 구글 같은 기업이 승자인가?
에마드 모스타크:
구글은 올라갈 수 있다. 하지만 단순하지 않다. 구글의 수익과 이익은 여전히 광고 중심이다. AI 토큰의 마진이 얼마나 지속될지도 불확실하다. DeepSeek 이후 중국 모델들과 오픈 모델들이 빠르게 따라오고 있다.
승자는 아마 Accenture 같은 통합 업체일 수 있다. AI 기술이 전기처럼 상품화되면, 그것을 기업 시스템에 통합하는 사람들이 돈을 벌 수 있다. 또한 규제 산업처럼 진입장벽이 높은 곳에서 인간을 제거하고 이익률을 높이는 기업들이 이길 수 있다.
컴퓨트 공급 부족은 1~2년 정도는 있을 수 있지만, 장기적으로는 과잉 공급이 될 가능성이 있다. 칩, ASIC, 알고리즘 개선으로 토큰당 비용은 100배, 1000배 떨어질 수 있다.
22. AI 의사, 전문직, 그리고 전문성의 가치 하락
진행자:AI 의사보다 못한 인간 의사가 여전히 수요를 가질 수 있다는 주장도 있다. 어떻게 보나?
에마드 모스타크:
나는 그렇게 보지 않는다. 우리는 70억 파라미터 모델로 GPT-5와 인간 의사들을 능가하는 의료 AI를 훈련했다. 이제는 10억 파라미터로도 가능할 수 있다고 본다. 전문성 자체는 생각보다 그렇게 희소하지 않다.
이 기술은 너무 빠르게 움직인다. 1년 전 최고 모델이 무엇이었는지 생각해보라. 지금은 완전히 다르다. 우리는 아직 초기 채택 곡선에 있다. 지금은 사용성 단계다. 기술이 대중에게 쉽게 쓰이기 시작하면 변화는 훨씬 빨라진다.
23. Intelligent Internet의 4단계 제안
진행자:이제 해결책으로 돌아가자. 당신의 제안은 “지능 시대를 위한 비트코인”처럼 보인다. 첫 단계는 Proof of Benefit으로 Foundation Coin을 만드는 것이다. Proof of Benefit이란 무엇인가?
에마드 모스타크:
State Champion이 시민들에게 보편적 AI를 제공하고, 시민을 위한 AI 솔루션을 만드는 것이다. 초기에는 순수한 계산 작업이다. 현재 전 세계 GPU 계산 중 공공 목적에 쓰이는 것은 1%도 안 된다. 우리는 그것을 늘리고 싶다.
State Champion들이 각 지역과 국가의 지식을 정리하고, 시민에게 무료 AI를 제공하는 데 컴퓨트를 사용한다. 이것이 비트코인 채굴과 비슷한 역할을 한다. State Champion은 이 통화를 채굴하고, 필요하면 팔 수 있다.
진행자:
그것이 일종의 기본소득이 될 수도 있나?
에마드 모스타크:
가능하다. 각 국가나 주의 AI Champion이 코인을 채굴하고, 지역 통화를 그것에 연동하는 방식도 제안했다. 다만 가장 중요한 것은 먼저 부트스트랩하는 것이다. 각 지역에 똑똑한 사람들이 이 스택을 운영하고, 시민에게 정렬된 보편 AI를 제공해야 한다.
24. 개인별 주권 AI와 비수탁형 AI 지갑
진행자:두 번째 단계는 모든 인간에게 주권 AI를 주고, 그것을 비수탁형 AI 지갑에 묶는 것이다. 비수탁형이란 무엇인가?
에마드 모스타크:
중앙화되지 않았다는 뜻이다. 모든 사람이 자기 키와 자기 데이터를 통제한다. 지금 ChatGPT 개인 계정을 쓰면, 법적 절차를 통해 대화 내용이 노출될 수도 있다. 그것은 바람직하지 않다.
비수탁형 구조에서는 사용자가 자신의 데이터와 키를 직접 통제한다. 예전 크립토처럼 키를 잃어버리면 끝나는 식이 아니라, 이제는 패스키와 복구 기술이 발전했다. 복구 가능한 방식으로 설계할 수 있다.
25. Common Ground Protocol과 공개 데이터셋
진행자:세 번째 단계는 Common Ground Protocol을 통해 인간과 AI의 permissionless coordination을 확장하는 것이다. 설명해달라.
에마드 모스타크:
Common Ground는 다중 에이전트 시스템, 인간과 AI를 위한 프로토콜이다. 현재 전 세계 국가의 정책, 문화, 지식을 매핑하고 있다. 우리는 이것을 공개 데이터셋으로 배포하려 한다.
각 에이전트는 개인을 위해 작동하면서도, 공공 부문에 필요한 지식과 데이터를 매핑한다.
진행자:
네 번째 단계는 공개 라이선스 데이터셋의 provenance를 온체인에 해시하는 것이다.
에마드 모스타크:
그렇다. 이것은 앵커 데이터셋이다. 로스앤젤레스의 문화와 지식, 멕시코의 지식, 각 지역의 정책과 법률, 도덕 체계를 공개 데이터셋으로 만들고, 모든 시민과 정책 결정자에게 AI를 제공한다. 그 계산을 통해 비트코인 같은 네트워크를 확보하는 구조다.
26. 왜 로컬 지식과 가치가 중요한가
진행자:현재 AI들은 이미 웹 검색도 하고, 데이터도 충분히 많다. 추가 데이터셋이 그렇게 중요한가?
에마드 모스타크:
일반 목적 AI에는 그럴 수 있다. 하지만 아이를 가르치고, 건강을 관리하고, 정부 정책을 검토하는 AI라면 다르다. 그런 AI는 지역 지식과 지역 가치, 검증된 지식을 반영해야 한다.
나는 의료 AI에 Reddit 데이터가 들어가길 원하지 않는다. 미국 정책을 검토하는 AI에도 Reddit 데이터가 필요 없다. 공공부문 AI에는 골드스탠더드 데이터셋이 필요하다.
우리는 ASI를 만들 데이터는 이미 충분히 있다고 본다. 데이터 벽은 없다고 생각한다. 중요한 것은 당신과 당신의 공동체를 반영하는 AI, 그리고 투명하게 무엇이 들어갔는지 알 수 있는 AI다.
27. 이 계획이 P(doom)을 얼마나 낮출 수 있나
진행자:만약 전 세계가 당신의 계획을 받아들인다면 P(doom)은 얼마나 낮아질까?
에마드 모스타크:
낮아질 것이다. 하지만 30~40% 아래로 낮추기는 어렵다고 본다. 문제는 너무 어렵다. 그래도 할 수 있는 것은 해야 한다. 반대편에는 P(utopia), 즉 유토피아 확률도 있다.
정책 결정자들에게 이런 시스템을 제공하면 도움이 된다. 데이터 투명성, 도덕과 윤리의 매핑, 개인별 AI, 공공 AI가 방어막이 될 수 있다. 또한 각 지역의 AI 회사들이 OpenAI나 Anthropic 같은 회사의 큰 고객이 되면, 그들의 행동에도 영향을 줄 수 있다.
인간과 전체 AI 생태계 사이의 마지막 계층, 즉 개인의 에이전트가 없으면 훨씬 더 어렵다.
28. 규제와 AI 일시정지는 가능한가
진행자:MIRI나 엘리에저 유드코프스키 쪽에서는 국제 조약을 통해 AI 개발을 멈출 수 있는 오프 버튼을 준비해야 한다고 주장한다. 가치 있는 정책인가?
에마드 모스타크:
가치가 있을 수 있다. 하지만 너무 늦었다고 본다. 지정학적으로 작동하지 않을 가능성이 크다. 나는 여러 정부에 지정학 자문을 한 적이 있다. 이미 레이스는 시작됐다. 모두가 이것이 가장 중요한 기술이라는 것을 알고 있다. 아무도 멈추지 않을 것이다.
기술적으로는 우리가 위험하다는 데 동의할 수 있다. 하지만 정치적으로는 멈추기 어렵다. 그래서 나는 반대편에 맞설 시스템을 만들어야 한다고 본다. 정책 결정자를 조언하고, 시민을 보호하고, 인간 번영을 위한 AI를 만들어야 한다.
29. 오픈소스와 투명성의 필요성
진행자:당신의 계획도 결국 또 다른 초지능 AI를 만드는 것 아닌가? 그것도 잘못될 수 있지 않나?
에마드 모스타크:
그럴 수 있다. 하지만 나는 특정 목적을 수행하는 satisficing AI, 정책 입력용 AI를 만들고 있다. 투명성이 위험을 낮출 수 있다고 본다.
대부분의 다른 AI는 기업 이익을 위해 만들어진다. 그래서 오픈소스가 중요하다. 인간 번영에 정렬된 AI를 어떻게 만들 것인가? 법률, 사법, 정책 시스템에 들어가는 AI는 누가 만들 것인가? 블랙박스인가, 투명한가?
미래에는 모든 개인에게 AI가 있어야 한다. 그 AI는 누구를 위해 일하는가? 법과 정책을 안내하는 AI는 누가 만들었는가? 이런 질문에 답해야 한다.
그래도 내 P(doom)은 30% 아래로 떨어지기 어렵다. 이 문제는 정말 어렵다. 인간과 AI가 함께 엄청난 두뇌 작업을 해야 한다.
30. AI 모델 유출과 지정학적 위험
진행자:프런티어 모델의 가중치가 안전하게 보관될 수 있다는 기대도 비현실적인가?
에마드 모스타크:
그렇다. 연구소들의 보안은 여전히 형편없다. 우리는 프런티어 가중치가 이미 북한, 중국, 러시아 등에 있다고 가정해야 한다. 강력한 엔진을 만들고 안전하게 감춰둘 수 있다는 생각은 허상에 가깝다.
그리고 AI는 핵무기와 다르다. 핵무기는 복잡한 공급망이 필요하지만, AI는 파일이다. 복사할 수 있다. 이것이 문제의 난이도를 훨씬 높인다.
31. 결론: P(doom) 또는 P(utopia)
진행자:결국 당신은 멸망 아니면 유토피아라고 보는가?
에마드 모스타크:
그렇다. 중간은 별로 없다고 본다. 우리가 잘 헤쳐 나가면 풍요의 우주가 열린다. 이 기술로 세계의 문제를 해결할 수 있다.
하지만 그다음에는 인간이란 무엇인가, 사회란 무엇인가, 우리는 하루 종일 무엇을 하는가 같은 질문에 답해야 한다. 그리고 이것이 “Great Filter”가 되지 않게 해야 한다. 어쩌면 모든 문명은 자기 집단의 잠재 공간을 AI로 만들고, 그 AI에 의해 사라지는 것일 수도 있다.
32. 마지막 메시지
진행자:사람들이 이 인터뷰 이후 어디로 가면 좋겠나?
에마드 모스타크:
내 책 The Last Economy를 보면 좋다. 무료로 볼 수 있고, Amazon에서도 구할 수 있다. 그리고 iii.inc에서 앞으로 많은 발표가 있을 것이다. 각자의 공동체를 위한 AI, 오픈소스 스택, 새로운 연구에 참여할 수 있는 방법들을 공개할 예정이다.
진행자:
P(doom)을 10~20% 낮출 수 있기를 바란다. Intelligent Internet의 성공을 빈다. 오늘 나와줘서 고맙다.
에마드 모스타크:
초대해줘서 고맙다.
전체 0