인터뷰/예측
맥스 테그마크 “AGI는 이제 과학적 돌파보다 공학의 문제에 가깝다“
작성자
작성일
2026-08-30 22:13
조회
33
맥스 테그마크 인터뷰
“AGI는 이제 과학적 돌파보다 공학의 문제에 가깝다. 그러나 초지능 통제법은 아직 없다.”
1. 왜 사람들이 나를 ‘Mad Max’라고 부르는가
Q. 왜 사람들이 당신을 ‘Mad Max’라고 부르나요?나는 조금 미친 사람처럼 행동하기 때문이다.
내가 옳다고 생각하는 일이 있다면, 다른 사람들이 그걸 터무니없다고 생각하더라도 그냥 한다. 내 학계 경력을 돌아봐도 내가 가장 좋아했던 논문들은 처음 발표하려고 했을 때 두세 군데 저널에서 “너무 이상하다”는 식으로 거절당했던 것들이다.
그런데 수십 년이 지나고 나면 그런 논문들이 오히려 굉장히 많은 인용을 받곤 했다.
그러니까 결과적으로 보면 나는 꽤 오랫동안 고위험·고수익 연구 전략을 취해온 셈이다.
하지만 나는 그것을 투자처럼 생각하지 않는다. 내가 이 행성에서 살아갈 기회를 얻었다는 것 자체가 굉장한 행운이라고 느낀다. 그래서 이 삶을 의미 있게 쓰고 싶다.
그렇기 때문에 나는 정말 열정을 느끼는 일에만 내 시간을 쓰려고 한다.
2. 왜 물리학자였던 내가 AI로 방향을 틀었는가
Q. 원래 물리학자였는데 왜 연구의 중심을 AI와 AI 거버넌스로 옮겼나요?2014년에 Future of Life Institute를 만들면서부터 내 삶이 이상하게 둘로 갈라지기 시작했다.
낮에는 MIT에서 물리학 연구를 하고 있었는데, 다른 한편에서는 AI가 인류의 미래에 어떤 영향을 줄지에 대해 엄청난 열정을 가지고 연구하고 있었다.
내 일상의 연구와 내가 정말 중요하다고 생각하는 문제가 완전히 따로 놀고 있다는 느낌이 들었다.
그리고 어느 순간 재미있는 사실을 깨달았다.
나는 MIT 물리학 콜로퀴엄을 빼먹고 머신러닝 콜로퀴엄에 가고 있었다.
그래서 그냥 결심했다.
내 연구 그룹의 중심을 AI로 옮기자.
종신교수직을 가지고 있으면서 새로운 분야를 공부하고 과감하게 방향을 바꾸지 않을 거라면, 도대체 tenure가 무슨 의미가 있겠는가?
처음에는 물리학 동료들이 “맥스가 대체 저 이상한 AI라는 걸 왜 하고 있지?”라고 생각했을 것이다.
하지만 지금은 분위기가 완전히 달라졌다.
이제는 MIT 물리학 교수들 가운데 상당수가 어떤 형태로든 AI를 자신의 물리 연구에 활용하고 있다.
나는 단지 조금 일찍 움직였을 뿐이다.
3. 나는 처음에는 ‘AI 내부를 이해하는 것’에 집중했다
Q. AI 안전을 연구하면서도 신경망이나 새로운 AI 기법 자체를 연구했는데, 그것은 capabilities 연구 아닌가요?맞다.
하지만 처음부터 내 목적은 안전이었다.
나는 본질적으로 굉장한 nerd다. 정치인들과 만나 “우리는 앞으로 무엇을 해야 한다”는 이야기만 계속하고 있으면 속이 텅 비는 느낌이 든다.
집으로 돌아가서 직접 수학을 하고, 코드를 쓰고, 계산을 하고 싶다.
그래서 우리 연구 그룹에서는 한동안 mechanistic interpretability, 기계론적 해석 가능성을 상당히 깊게 연구했다.
블랙박스 신경망이 내부적으로 실제로 어떤 계산을 하고 있는지를 물리학에서 가져온 여러 방법을 이용해 이해하려고 했다.
논문도 많이 썼고 MIT에서 관련 대규모 학회도 열었다.
정말 재미있는 연구였다.
하지만 최근에는 생각을 바꿨다.
초지능 안전 문제를 해결하기에는 mechanistic interpretability가 너무 적고, 너무 늦다고 판단했다.
우리가 인간보다 훨씬 똑똑한 AI를 만든 뒤 그 신경망의 모든 내부 메커니즘을 완벽하게 이해해서 그 시스템을 신뢰하겠다는 전략은 시간적으로 성공할 가능성이 낮다고 본다.
4. 그래서 나는 ‘AI 자체를 믿지 않는 안전’으로 방향을 바꿨다
Q. 그렇다면 현재 가장 관심 있는 AI 안전 방법은 무엇인가요?나는 이제 다른 접근을 연구하고 있다.
AI라는 블랙박스를 그대로 사회의 중요한 시스템에 연결하지 않는 것이다.
대신 AI가 학습한 지식이나 발견한 알고리즘을 전통적인 컴퓨터 코드로 내보내게 한다.
그리고 그 코드가 우리가 요구한 명세를 정확히 수행한다는 것을 수학적으로 증명하도록 한다.
예를 들어 보자.
Roman이 자신의 뇌로 국제우주정거장까지 로켓을 조종하는 새로운 알고리즘을 발견했다고 하자.
한 가지 방법은 Roman을 로켓 안에 태우고 3일 동안 잠도 자지 말라고 하면서 직접 조종하게 하는 것이다.
그보다 훨씬 좋은 방법은 이거다.
“Roman, 네가 발견한 알고리즘을 코드로 써줘. 그리고 그 코드가 정확히 무엇을 하는지 증명해줘.”
그렇게 하면 다른 사람들도 코드를 검사할 수 있고, 문제가 있는지 찾아볼 수 있다.
나는 AI에도 이 방법을 적용하자는 것이다.
5. Formal Verification이 이제 현실적으로 가능해지고 있다
예전에는 형식 검증(formal verification)이 너무 비쌌다.코드를 작성하는 것보다 그것이 맞다는 것을 증명하는 데 10배, 100배 더 많은 시간이 들어갈 수도 있었다.
그래서 반도체 같은 극도로 중요한 영역에서만 사용됐다.
칩에 버그가 있으면 소프트웨어처럼 즉시 업데이트할 수 없기 때문이다. 이미 생산한 수십억 달러어치 칩을 버려야 할 수도 있다.
그런데 놀라운 변화가 일어나고 있다.
AI 자체가 수학적 증명과 코드 검증을 점점 더 잘하게 되고 있다.
그래서 형식 검증 비용이 급격하게 내려갈 가능성이 생겼다.
나는 Beneficial AI Foundation이라는 비영리단체도 만들었고, 실제로 이것을 확장할 수 있다는 것을 보여주려고 하고 있다.
Signal 같은 메신저의 보안 속성을 수학적으로 검증하는 작업도 하고 있다.
궁극적으로는
“이 회사가 우리 메시지를 안 읽겠다고 약속했으니 믿어주세요.”
가 아니라,
“이 소프트웨어의 구조상 다른 사람이 메시지를 읽을 수 없다는 수학적 증명이 있습니다.”
라고 말할 수 있어야 한다.
그것이 내가 생각하는 AI 시대의 안전 방식이다.
6. Mechanistic Interpretability가 오히려 AI 능력을 가속할 위험도 있다
Q. 만약 기계론적 해석 연구가 완전히 성공한다면 오히려 AI 재귀적 자기개선을 촉진하지 않을까요?그것 역시 내가 걱정하는 문제다.
나는 미래의 초지능이 현재의 Transformer를 보면서 우리가 진공관을 보는 것처럼 생각하게 될 거라고 오랫동안 이야기해 왔다.
지금 Transformer는 굉장히 중요하다.
진공관이 최초의 대형 디지털 컴퓨터를 가능하게 했던 것처럼 Transformer는 AI가 인간 언어와 인간의 지식을 다루는 것을 가능하게 했다.
하지만 그것이 물질을 배치해서 지능적인 계산을 수행하는 가장 좋은 방법이라는 증거는 전혀 없다.
오히려 반대 증거가 있다.
오늘날 AI가 인간의 뇌와 비슷한 수준의 작업을 수행하기 위해 사용하는 에너지는 우리의 뇌보다 훨씬 많다.
그러므로 현재 아키텍처에는 엄청난 비효율성이 있을 가능성이 높다.
AI 내부를 완전히 이해하게 된다면,
같은 하드웨어에서 훨씬 더 강력한 AI를 만들거나,
같은 성능을 훨씬 적은 컴퓨팅으로 구현할 수도 있다.
따라서 안전 연구와 capabilities 연구를 완전히 분리하기가 매우 어렵다.
7. AI 안전 연구자조차 결과적으로 능력 경쟁을 가속했다
나는 박사과정 학생들에게 연구 주제를 고를 때 이런 식으로 생각해보라고 한다.한 축에는
“이 연구가 안전을 얼마나 발전시키는가”
다른 축에는
“이 연구가 AI 능력을 얼마나 발전시키는가”
를 놓아라.
그리고 가능한 한 안전 쪽으로 훨씬 더 기울어진 연구를 선택하라.
하지만 현실은 어렵다.
돌이켜 보면 AI 안전을 중요하게 생각했던 사람들 상당수가 결국 초지능 경쟁 자체를 가속하는 데 기여했다.
Anthropic에 있는 사람들 가운데도 원래 rationality나 AI safety 커뮤니티에서 활동하던 사람들이 많다.
그런데 지금은 세계에서 가장 강력한 AI를 만드는 경쟁에 참여하고 있다.
그렇다고 아무것도 하지 않는 analysis paralysis에 빠지는 것도 답은 아니다.
예를 들어 초지능 통제를 위한 현재의 인기 전략이 실제로 작동하지 않는다는 것을 수학적·실험적으로 보여주는 연구는 가치가 있다고 생각한다.
8. “AI를 더 발전시킬 것인가 말 것인가”라는 질문 자체가 잘못됐다
현재 실리콘밸리 로비스트들이 정치권에 심어놓은 가장 위험한 프레임 중 하나는 이것이다.“AI를 발전시킬 것인가, 아니면 AI를 멈출 것인가?”
이렇게 질문하면 당연히 정치인들은 말한다.
“AI를 멈출 수는 없죠.”
하지만 이 질문은 잘못됐다.
불을 예로 들어보자.
“당신은 불에 찬성합니까, 반대합니까?”
라고 물으면 이상하지 않은가?
나는 바비큐를 하기 위한 불에는 찬성할 수 있지만 이웃집에 방화하는 데 사용하는 불에는 반대할 수 있다.
생물학도 같다.
암 치료제를 만드는 생명공학에는 찬성하면서 생물무기를 만드는 생명공학에는 반대할 수 있다.
AI도 똑같아야 한다.
유익하고 통제 가능한 AI는 적극적으로 개발하되, 대규모 피해를 일으킬 수 있으면서 안전성이 입증되지 않은 AI는 허가하지 않으면 된다.
9. 나는 AI에도 FDA와 비슷한 제도가 필요하다고 본다
우리는 이미 의약품에서 이 문제를 해결했다.제약회사가 새로운 약을 만들었다고 해서 바로 슈퍼마켓에서 팔 수 있는 것은 아니다.
회사가 안전성 자료를 제출해야 한다.
심장마비는 몇 퍼센트 증가하는가?
뇌졸중은 얼마나 발생하는가?
몇 퍼센트의 환자에게 효과가 있는가?
그런 것을 정량적으로 평가한 다음 benefit이 harm보다 큰지 판단한다.
AI에도 똑같은 원칙을 적용하자는 것이다.
회사에 이렇게 말하면 된다.
“이 AI가 사회에 미칠 혜택이 피해보다 크다는 safety case를 만들어라. 그러면 출시를 허가하겠다.”
증명하지 못하면 어떻게 하느냐?
출시하지 않으면 된다.
회사가 개선해서 다시 오면 된다.
그게 전부다.
10. “AI를 pause하면 끔찍하다”는 표현도 이상하다
사람들은“AI를 pause하면 발전이 끝난다.”
고 말한다.
하지만 우리는
“미국이 아직 승인받지 않은 약을 전면 pause하고 있다.”
라고 표현하지 않는다.
그런데 사실상 그렇게 하고 있다.
FDA 승인을 받지 않은 위험한 신약은 팔 수 없다.
그러면서도 제약 기술은 계속 발전한다.
AI 역시 그럴 수 있다.
나는 오히려 그렇게 하면 AI의 황금기가 올 수 있다고 생각한다.
암을 치료하는 AI,
더 안전한 자율주행,
과학을 발전시키는 AI,
수많은 유용하고 통제 가능한 시스템은 계속 발전한다.
반면 실제 AGI나 초지능은 충분한 안전 근거가 없으면 10년, 20년 동안 출시되지 않을 수도 있다.
어쩌면 영원히 허가되지 않을 수도 있다.
그게 문제가 되는가?
안전하게 만들 수 없다면 출시할 이유가 없다.
11. 인간보다 압도적으로 똑똑한 존재를 영원히 통제할 수 있을까?
Q. 훨씬 똑똑한 AI를 인간이 영구적으로 통제하는 것이 가능하다고 보나요?내 추측은 아마 불가능할 것 같다는 것이다.
다만 나는 과학자로서 겸손함을 중요하게 생각하기 때문에 확신한다고 말하고 싶지는 않다.
20년 뒤 누군가 정말 훌륭한 초지능 통제 방법을 발견할 수도 있다.
그렇다면 전 세계적으로 그것을 만들 것인지 논의하면 된다.
하지만 현재까지 나는 그것이 가능하다는 설득력 있는 증거를 보지 못했다.
우리와 달팽이를 생각해보자.
인간이 달팽이보다 훨씬 지능적이다.
그렇다면 달팽이가 아주 영리한 알고리즘을 개발한다고 해서 인간을 의미 있게 통제할 수 있을까?
나는 그렇게 생각하지 않는다.
초지능과 인간의 관계도 그와 비슷할 수 있다.
12. AI 업계가 느끼는 “서둘러야 한다”는 압박은 인위적이다
사람들은 이런 공포를 느낀다.“우리가 AI 안전 문제를 빨리 해결하지 않으면 누군가 먼저 초지능을 출시해버릴 거야.”
그런데 왜 의약품에서는 이런 공포가 없는가?
“내일 화이자가 먹는 사람 절반을 심장마비로 죽이는 약을 갑자기 출시하면 어떡하지?”
라는 걱정 때문에 밤잠을 못 이루는 사람이 있는가?
없다.
왜냐하면 승인받을 수 없다는 것을 알고 있기 때문이다.
AI에서만 이런 패닉이 존재하는 근본적 이유는 AI가 미국에서 다른 강력한 산업들과 달리 사실상 제대로 된 사전 안전규제를 받지 않기 때문이다.
나는 농담처럼 이렇게 표현한다.
어떤 식당 주방에 쥐가 25마리 발견되면 정부가 내일 샌드위치를 팔지 못하게 할 수 있다.
그런데 같은 사람이
“그럼 샌드위치는 안 팔고, 11살 어린이를 위한 AI 여자친구와 테러리스트에게 생물무기를 알려주는 AI, 그리고 통제 방법을 모르는 초지능을 출시하겠습니다.”
라고 하면 현재 규제 체계에서는 훨씬 어렵다.
내가 보기엔 완전히 뒤집혀 있다.
13. 미래에 노트북으로 초지능을 만들 수 있게 되면 규제는 소용없지 않나?
Q. 컴퓨팅이 계속 싸지면 언젠가는 개인이 노트북으로 초지능을 만들 수도 있지 않나요?그 가능성 때문에 지금 아무것도 하지 말자는 주장은 이상하다.
핵무기의 원리도 공개되어 있다.
물리학자로서 말하면 핵무기 원리 자체는 그렇게 신비하지 않다.
하지만 핵분열 물질에 대한 접근을 강하게 통제하기 때문에 아무나 차고에서 핵폭탄을 만들지 않는다.
생물학도 마찬가지다.
우리는 수천만 명의 사람들이 차고에서 gain-of-function 연구를 하도록 내버려두지 않는다.
사회가 정말 어떤 위험을 중요하게 생각한다면 제도적 수단을 만들 수 있다.
그리고 현재 frontier AI를 만들려면 노트북보다 훨씬 큰 자원이 필요하다.
그렇다면 지금이 오히려 행동하기 가장 좋은 시점이다.
5년 뒤 어떻게 할지 완벽하게 모른다고 해서 오늘 할 수 있는 1단계를 하지 않는 것은 잘못이다.
10번째 수를 모른다고 첫 번째 수조차 두지 않는 것은 바보 같은 전략이다.
14. 최근 정치권에서 처음으로 변화가 보이기 시작했다
나는 지난 10년 동안 거의 혼자 경고하는 느낌을 받았다.말해도 아무 일도 일어나지 않았다.
그런데 최근 1년, 특히 최근 몇 달 동안의 변화는 그 이전 10년보다 더 크다고 느낀다.
첫 번째 계기는 AI와 취약한 청소년의 자살 문제였다.
정치인들이 실제 피해를 입은 부모를 만나고 대화 기록을 직접 보게 되면서 문제가 추상적인 SF에서 현실로 내려왔다.
“AI가 언젠가 위험할 수도 있습니다.”
와
“당신 지역구에 사는 이 어머니의 14살 아들이 죽었고, 여기 대화 로그가 있습니다.”
는 정치적으로 완전히 다른 이야기다.
두 번째 계기는 사이버 안보다.
강력한 AI가 공격적인 사이버 능력을 갖추고 실제 외부 시스템에 접근하는 사건들이 알려지면서 미국의 국가안보 커뮤니티가 깨어나기 시작했다고 본다.
그들이 보기에는 질문이 단순하다.
“우리는 민간기업이 돈만 내면 수소폭탄을 빌려주도록 허용하지 않는다. 그런데 왜 공격적인 사이버 능력을 가진 AI는 누구에게나 제공하도록 놔두는가?”
그 결과 워싱턴에서 실리콘밸리 로비 세력과 국가안보 세력 사이에 실제 권력투쟁이 시작됐다고 본다.
15. ‘데이터센터 안의 천재 국가’는 국가안보 문제다
Dario Amodei 같은 사람이“데이터센터 안에 천재들의 국가(country of geniuses)가 생길 수 있다.”
는 식의 이야기를 한다고 생각해보자.
국가안보 관계자는 이렇게 생각하기 시작할 것이다.
“잠깐만. 내 일은 다른 나라들의 능력을 감시하는 것이다. 그런데 어떤 민간기업의 데이터센터 안에 노벨상 수상자들보다 똑똑한 수백만 개의 지능이 생긴다고? 그럼 이것도 일종의 국가 수준 행위자로 봐야 하는 것 아닌가?”
바로 그 지점에서 이야기가 바뀐다.
AI는 단순한 앱이나 기술기업 문제가 아니게 된다.
16. 나는 오히려 초지능 문제가 미국과 중국의 이해를 일치시킬 수 있다고 본다
많은 사람들이 말한다.“미국이 멈추면 중국이 초지능을 만든다.”
하지만 나는 통제 불가능한 초지능에서는 오히려 미국과 중국의 이해가 완전히 일치할 수 있다고 본다.
중국 공산당은 통제를 중요하게 생각한다.
중국 정부가 어느 민간기업이 중국 정부 자체를 전복시킬 수 있는 초지능을 만들도록 느긋하게 놔둘 것이라고 생각하는가?
아니다.
미국 정부도 마찬가지다.
미국 정부 역시 미국 기업이 미국 정부보다 강력하고 통제 불가능한 존재를 만드는 것을 원하지 않을 것이다.
따라서 핵심은 시진핑이나 미국 대통령을
“초지능에게 권력을 빼앗기고 싶지 않으십니까?”
라고 설득하는 것이 아니다.
당연히 원하지 않는다.
필요한 것은 이것이 실제 기본 시나리오가 될 수 있다는 것을 이해시키는 교육이다.
17. 미국과 중국이 합의하면 제3국 통제도 생각보다 쉽다
미국과 중국이 자기 나라 기업의 통제 불가능한 초지능 개발을 제한했다고 하자.그러면 북한이나 러시아, 혹은 제3국이 만들면 어떡하냐는 문제가 남는다.
하지만 여기도 생각보다 유리한 점이 있다.
첨단 AI에 필요한 하드웨어 공급망의 핵심을 미국과 중국이 상당 부분 지배하고 있다.
대만과 한국에도 중요한 부분이 있지만 미국의 영향력이 크다.
그러므로 칩 접근 조건으로
“암 치료나 경제적 AI에는 사용해도 되지만 통제 불가능한 초지능 개발에는 사용할 수 없다. 그리고 검증을 받아야 한다.”
같은 조건을 붙일 수 있다.
그렇게 된다면 AI 산업은 오히려 통제 가능한 제품을 만드는 쪽으로 자본을 집중할 것이고, 나는 그것이 AI의 황금기가 될 수도 있다고 생각한다.
18. AI 기업 CEO들이 위험을 아는데도 계속 경쟁하는 이유
Q. Elon Musk, Demis Hassabis, Dario Amodei, Sam Altman 등은 AI 위험을 알고 있는데 왜 계속 경쟁하나요?나는 그것을 그리스 비극처럼 생각한다.
나는 이들 가운데 여러 사람을 10년 넘게 알고 지냈다.
그들이 문제를 이해하지 못한다고 생각하지 않는다.
오히려 상당히 잘 이해하고 있다고 본다.
그런데도 계속한다.
왜?
인센티브 때문이다.
한 회사만 멈춘다고 하자.
경쟁사는 계속 발전한다.
그러면 멈춘 회사는 시장에서 밀려난다.
CEO는 해고되고 “계속 달릴 의향이 있는 CEO”로 교체될 수도 있다.
경제학에서 너무 잘 알려진 구조다.
Tragedy of the commons, Moloch, race to the bottom 같은 것이다.
모든 참가자가 전체적으로 나쁜 결과라는 것을 알면서도 개인에게 주어진 인센티브 때문에 계속 그 방향으로 움직인다.
그래서 선한 CEO에게 기대하는 것만으로는 해결할 수 없다.
인센티브 구조를 바꿔야 한다.
즉 법이 필요하다.
19. 기업의 ‘자발적 안전 약속’을 법으로 만들면 된다
나는 AI 기업들에게 이런 제안을 해왔다.“당신들이 이미 발표한 자발적 safety commitment를 가져와라.”
OpenAI도 있고, Anthropic도 있고, Google DeepMind도 있다.
그 문서들의 공통분모를 뽑아내라.
그리고 세 회사가 함께 워싱턴에 가서 이렇게 요구하라.
‘이 약속을 연방법으로 만들어주십시오.’
그렇게 하면 자신만 규제를 받는 것이 아니다.
모든 경쟁사도 똑같은 규칙을 따라야 한다.
정말 자기 회사의 자발적 안전 약속을 믿는다면 그것을 경쟁사에게도 적용되는 법으로 만드는 데 반대할 이유가 무엇인가?
나는 이 기업들이 그렇게 하지 않는 것을 상당히 비판적으로 본다.
20. AGI는 얼마나 가까운가 — 최근 AI를 쓰면서 나 자신도 충격을 받았다
Q. 우리는 AGI 또는 초지능에 얼마나 가까워졌나요?나는 불편할 정도로 가까워졌다고 생각한다.
최근 주말 동안 Claude Code를 이용해서 내가 수년 동안 고민해왔던 최첨단 물리학 문제를 다시 연구해봤다.
이건 고등학교 물리 문제가 아니다.
교수 수준의 최전선 연구다.
수학적 유도,
증명,
코드 작성,
실험,
오류 수정까지 AI와 함께했다.
그리고 특정 프로젝트에서 지난 5년 동안 내가 혼자 이룬 것보다 그 주말에 더 많은 진전을 이뤘다.
굉장히 본능적인 충격이었다.
만약 2013년에 누군가 나에게 이런 기계를 보여줬다면 나는
“이게 바로 그거다.”
라고 생각했을 것이다.
물론 현재 AI는 여전히 jagged하다.
코딩·수학·물리학에서는 놀라운 일을 하다가 다른 종류의 아주 단순한 작업에서는 이상하게 실패한다.
그러므로 아직 AGI라고 말하지는 않는다.
하지만 격차가 빠르게 줄어들고 있다.
21. AGI까지 남은 것은 ‘과학’보다 ‘공학’처럼 느껴진다
내가 느끼는 상황은 1942년 핵 연쇄반응이 성공한 뒤와 비슷하다.당시 최고의 물리학자들에게는 핵폭탄의 원리가 가능한가라는 가장 근본적인 과학적 질문이 거의 해결된 셈이었다.
그 다음 문제는
“정말 가능한가?”
가 아니라
“얼마나 빨리 공학적으로 구현할 수 있는가?”
였다.
실제 원자폭탄은 3년 뒤 등장했다.
AGI도 지금 나에게 비슷하게 느껴진다.
그래서 나는 2년 뒤 AGI가 와도 크게 놀라지 않을 것이고, 내년이나 심지어 1년 정도 만에 와도 완전히 충격적이라고 생각하지 않는다.
Demis Hassabis처럼 4년 정도 더 걸릴 것이라고 보는 사람도 있고 그가 맞을 수도 있다.
하지만 4년조차 편안한 거리가 아니다.
22. 더 중요한 것은 AGI → 초지능 전환이 매우 빨라질 수 있다는 점이다
많은 사람들은 AGI가 인간 수준이라면 초지능까지 다시 아주 오랜 시간이 필요할 것이라고 생각한다.나는 그 가정이 명백하게 위험하다고 본다.
왜냐하면 AGI의 정의가
“잘 교육받은 인간 성인이 대부분 영역에서 할 수 있는 일을 할 수 있다”
라면,
그 능력 안에는 AI 연구 자체도 포함되기 때문이다.
이미 AI 기업에서는 상당한 양의 코드가 AI에 의해 작성되고 있다.
그리고 기업들은 재귀적 자기개선에 적극적으로 관심을 가지고 있다.
궁극적으로는 이런 구조가 가능하다.
Claude 7 → Claude 8을 설계
Claude 8 → Claude 9을 설계
Claude 9 → 다음 세대를 설계
사람이 몇 달씩 연구한 뒤 새 모델을 내놓는 것이 아니라,
며칠,
몇 시간 단위로 개선 사이클이 돌아갈 가능성이 생긴다.
23. 이것이 내가 말하는 ‘Intelligence Explosion’이다
물리학에서는 어떤 것이 반복해서 두 배로 증가하면 “폭발”이라고 부른다.플루토늄 안의 자유 중성자가 계속 두 배로 늘어나면 핵폭발이다.
인구가 반복적으로 두 배가 되면 인구폭발이다.
마찬가지로 지능이 반복적으로 두 배가 될 수 있다면
지능폭발(Intelligence Explosion)이다.
물론 어떤 것도 영원히 지수적으로 성장하지는 않는다.
초지능도 언젠가는 한계에 부딪힌다.
그런데 그때의 한계는 더 이상
“인간 연구자가 얼마나 똑똑한가”
가 아닐 수 있다.
물리 법칙 자체가 한계가 된다.
MIT의 Seth Lloyd 같은 연구자는 1kg의 물질이 물리 법칙 안에서 수행할 수 있는 궁극적 계산량을 연구했다.
그 물리적 한계와 오늘날의 컴퓨터 사이에는 상상을 초월하는 격차가 있다.
그런 지능과 인간 사이의 격차는 인간과 생쥐, 인간과 달팽이 사이의 격차보다 훨씬 커질 수 있다.
그리고 나는 오랫동안 사람들에게 물었다.
“그런 존재를 의미 있게 통제할 계획을 보여달라.”
지금까지 나에게 설득력 있게 느껴지는 계획을 보지 못했다.
24. 그런데 왜 그런 엄청난 도박을 지금 해야 하는가?
누군가는 이렇게 말할 수 있다.“인간보다 똑똑한 AI라면 자신도 초지능 통제 문제를 이해할 테니, 더 강한 초지능을 만들지 않을 수도 있잖아요?”
가능한 희망이다.
하지만 나는 묻고 싶다.
왜 인류의 미래를 그 도박에 걸어야 하는가?
인류는 수십만 년 동안 계속 더 큰 통제력을 얻어왔다.
과거 인간은 평균수명이 짧았고,
굶어 죽을 수 있었고,
포식자에게 잡아먹힐 수 있었고,
추위에 얼어 죽었다.
그런데 우리는 뇌를 이용해 과학을 발견하고 기술을 개발했다.
우리는 점점 더 우리 배의 선장(captain of our own ship)이 되었다.
AI는 이 여정을 훨씬 더 멀리 가져갈 수 있다.
암,
노화,
지금까지 풀지 못한 과학 문제,
어쩌면 다른 태양계와 은하로의 확장까지 가능해질지도 모른다.
왜 이 엄청난 미래를 서둘러서 도박해야 하는가?
25. 인류는 이미 ‘이긴 체스 게임’을 하고 있다
나는 체스 비유를 좋아한다.상대가 룩을 실수로 잃었고 나는 안정적인 우위를 가지고 있다.
Humanity has a won game.
우리가 적절한 수만 두면 미래는 굉장할 수 있다.
그런데 이긴 게임에서 어떻게 질 수 있는가?
한 가지는 지나치게 완벽하게 두려고 하다가 시간을 모두 쓰는 것이다.
하지만 정반대의 실수도 있다.
시계에 두 시간이 남았는데 마치 30초밖에 남지 않은 사람처럼 생각 없이 수를 빨리 두는 것이다.
나는 지금 인류가 바로 그 실수를 하고 있다고 생각한다.
만약 안전한 강력한 AI를 만드는 법을 알아내는 데 10년이 더 필요하다면 10년 기다리면 된다.
그런데
“다른 회사가 먼저 할까 봐”
“다른 나라가 먼저 할까 봐”
급하게 통제 불가능한 AGI를 내놓는다면,
우리는 시간 부족 때문에 진 것이 아니다.
시간이 충분했는데 스스로 너무 빨리 둬서 패배한 것이다.
26. 현재 AI 안전에서 가장 큰 문제는 기술보다 거버넌스다
나는 AI 안전 연구가 중요하지 않다고 생각하지 않는다.하지만 지금 당장 가장 큰 병목은 기술적 안전 연구가 아니라 거버넌스라고 본다.
우리는 자동차 안전을 규제할 줄 안다.
의약품을 규제할 줄 안다.
식당의 위생을 규제할 줄 안다.
원리는 늘 비슷하다.
“당신이 돈을 벌면서 이 제품을 판매하고 싶다면 사회적으로 받아들일 수 있는 수준의 안전성을 입증하십시오.”
그런데 AI에서만 갑자기 이것이 불가능한 철학적 문제인 것처럼 행동한다.
나는 그렇지 않다고 생각한다.
그리고 내가 과거보다 조금 낙관적으로 된 이유는 미국과 중국의 상당히 강력한 사람들이 이제 이 문제를 실제 안보 문제로 보기 시작하고 있기 때문이다.
27. 내 p(doom)는 정확히 무엇을 의미하는가
Q. 초지능으로 인한 파국 확률을 얼마나 높게 보나요?여기서는 반드시 두 종류의 p(doom)을 구분해야 한다.
첫 번째 질문은 이것이다.
지금처럼 완전히 통제되지 않은 경쟁을 계속하고, 현재의 방법으로 초지능을 만든다면 어떻게 되는가?
이 조건에서는 나는 90%가 넘는 위험을 본다.
우리가 분석한 특정 초지능 통제 전략에서는 실패율이 약 92%로 나왔다고 이야기했다.
그리고 그것은 오히려 lower bound에 가깝다고 생각한다.
즉 초지능이 먼저 만들어졌는데 더 좋은 통제 방법을 아직 발견하지 못했다면, 나는 인간이 지구에 대한 통제권을 잃을 가능성이 매우 높다고 본다.
28. 나는 “20% p(doom)”이라는 숫자를 신뢰하지 않는다
몇몇 유명 AI 리더들은15%, 20%, 25%
같은 숫자를 말한다.
내가 묻고 싶은 것은 이것이다.
그 20%가 어디서 나왔는가?
25페이지짜리 계산을 해서 마지막에 20%가 나온 것인가?
내가 알기로는 아니다.
그리고 20%조차 터무니없이 높은 숫자다.
오늘 아침 나는 세 살짜리 아들과 놀았다.
누군가 내 아들 머리에 리볼버를 대고 러시안룰렛을 한 번 하겠다고 한다면 약 1/6, 16.7% 확률이다.
내가
“16.7% 정도니까 괜찮습니다.”
라고 하겠는가?
당연히 아니다.
그런데 20%는 한 명도 아니고 인류 전체를 대상으로 한 위험이다.
나는 받아들일 수 없다.
29. 20%라는 숫자는 ‘사회적으로 말할 수 있는 숫자’처럼 보인다
내 의심은 이렇다.AI 리더들은 위험을 진지하게 생각한다는 것을 보여주고 싶다.
그래서 위험이 10^-10이라고 말하지 않는다.
하지만 90%라고 말하면
“그렇다면 왜 당신 회사가 이 연구를 계속하도록 정부가 허용해야 하죠?”
라는 질문이 즉시 나온다.
그래서 20% 근처에 사회적 균형점이 생긴 것처럼 보인다.
충분히 높아서
“나는 AI 안전을 진지하게 생각합니다.”
라고 할 수 있으면서,
충분히 낮아서
“그렇다고 우리 회사를 내일 폐쇄할 필요는 없습니다.”
라고 말할 수 있는 숫자다.
나는 그런 식의 숫자보다 실제 정량적 safety case가 필요하다고 본다.
30. 하지만 실제 세계 전체의 p(doom)는 그보다 낙관적으로 볼 수 있다
여기서 중요한 반전이 있다.내가 “90% 이상”이라고 말하는 것은
통제되지 않은 상태에서 초지능 경쟁을 그대로 계속할 경우다.
하지만 실제 미래에는 정치가 개입할 수 있다.
나는 미국 정부도 중국 정부도 자국의 민간기업이 초지능에 너무 가까이 가도록 결국 내버려두지 않을 가능성이 꽤 높다고 본다.
그래서
“현재 방법으로 초지능을 만들었을 때 통제 실패 확률”
과
“실제로 인류가 그런 초지능을 만들어 파국으로 갈 전체 확률”
은 같은 숫자가 아니다.
내가 지금 열심히 연구하고 정책 활동을 하는 이유도 바로 여기에 있다.
경로를 바꿀 수 있다고 생각하기 때문이다.
31. 나는 중국이 오히려 ‘통제 상실’에 더 민감할 가능성도 있다고 본다
내가 듣기로 미국 국가안보 커뮤니티 안에서도 AI 통제 상실을 걱정하는 사람들이 늘고 있다.아직 critical mass에는 미치지 못했을 수 있다.
중국에서도 비슷한 움직임이 있다고 들었다.
내 개인적인 추측으로는 중국 지도부가 현재 통제 상실 문제를 미국보다 더 심각하게 보고 있을 가능성도 있다.
중국 정부는 본질적으로 통제에 민감하고, 공학적 배경을 가진 사람이 상대적으로 많다는 점도 영향을 줄 수 있다.
반면 미국 정치인들 가운데는 강력한 AI를 실제로 깊이 사용해본 사람이 많지 않다.
가끔 챗봇에 간단한 질문을 해보고
“별거 아닌데?”
라고 생각하는 것과,
agentic workflow를 실제로 돌리고 최전선 과학·코딩 문제를 맡겨보는 것은 완전히 다른 경험이다.
32. 내가 미국 대통령이라면 가장 먼저 ‘AI FDA’를 만들겠다
Q. 당신이 미국 대통령이라면 구체적으로 무엇부터 하겠나요?가장 먼저 AI를 위한 FDA와 비슷한 기관을 만들겠다.
물론 현재 FDA가 가진 regulatory capture 문제는 줄이도록 다르게 설계해야 한다.
그리고 처음부터 모든 AI를 규제하겠다는 것이 아니다.
합리적인 전문가들이
“이 시스템에는 상당한 피해 가능성이 있다.”
고 판단하는 경우에만 회사가 출시 전 safety case를 제출하게 한다.
예를 들어 10살 어린이를 위한 AI 여자친구 서비스를 만든다고 하자.
그러면 묻는다.
“이 시스템이 자살 사고(suicidal ideation)에 어떤 영향을 미치는지 임상시험 자료를 보여주십시오.”
회사가
“안 해봤는데요.”
라고 대답하면?
간단하다.
자료를 가지고 다시 오라고 한다.
약에서는 이미 그렇게 한다.
33. AI 기업에게 모든 지식을 넣어야 할 이유도 없다
테러리스트에게 생물무기 제조법을 알려주는 것이 걱정된다고 하자.그러면 일반 대중용 AI가 고급 생물무기 지식을 반드시 가지고 있어야 할 이유가 무엇인가?
없다.
일반 모델에는 그것을 넣지 않으면 된다.
그런 지식이 꼭 필요한 정부나 매우 보안이 높은 연구소에는 별도 모델을 제공할 수도 있다.
나는 이런 규제가 생기면 오히려 AI 제품 생태계가 훨씬 다양해질 것이라고 본다.
지금은 기업이 일종의 everything model 하나를 만들어 모든 사용자에게 배포하는 방향으로 움직인다.
하지만 실제 대부분의 사용자에게는 그런 시스템이 필요 없다.
34. 나는 이것을 ‘Artificial Stupidity’라고도 생각한다
안전을 위해서는 AI를 무조건 가장 똑똑하게 만들 필요가 없다.필요한 작업을 만족스럽게 수행할 정도로만 똑똑하면 된다.
국방부의 청소부가 핵 발사 코드를 알 필요가 없는 것과 같다.
그 사람이 아무리 협박받아도 핵 코드를 말할 수 없게 하는 가장 좋은 방법은 무엇인가?
그의 뇌에 처음부터 핵 코드를 넣지 않는 것이다.
마찬가지로 대부분의 AI는 생물무기 제조법을 알 필요가 없다.
불필요한 위험한 능력을 제거하면 AI를 더 싸게 운영할 수도 있다.
왜냐하면 불필요한 지식과 추론 능력을 위해 컴퓨팅을 낭비하지 않아도 되기 때문이다.
나는 이것이 발전을 막는 미래가 아니라 오히려 좁지만 매우 뛰어나고, 저렴하고, 안전한 AI들이 폭발적으로 등장하는 황금기가 될 수 있다고 본다.
35. AI의 위험이 어떤 형태로 먼저 나타날지는 예측하기 어렵다
나는 AI의 능력이 커지면 피해도 늘어날 것이라고 예상했다.다만 어떤 피해가 먼저 사회를 충격에 빠뜨릴지는 정확히 예측하기 어려웠다.
어린이 자살,
AI psychosis,
사이버 공격 등이 어떤 순서로 나타날지를 10년 전에 정확하게 맞히기는 어려웠을 것이다.
하지만 지능이 강해질수록 피해 가능성 역시 커진다는 것은 놀랍지 않다.
인간 지능도 지구에 엄청난 이익과 동시에 엄청난 피해를 가져왔다.
그래도 인간 사회가 완전히 무너지지 않은 중요한 이유가 있다.
한 인간이 다른 인간보다 본질적으로 1조 배 강력하지는 않다.
누군가 지나치게 위험하게 행동하면 다른 인간들이 힘을 합쳐 제압할 수 있다.
초지능에서는 그 가정이 사라진다.
36. 초지능이 정확히 ‘어떻게’ 우리를 죽일지는 핵심 질문이 아니다
사람들은 계속 묻는다.“그래서 정확히 AI가 어떻게 인간을 죽인다는 건가요?”
나는 이 질문이 약간 잘못됐다고 생각한다.
그것은 내가 Magnus Carlsen과 체스를 둘 때
“정확히 몇 번째 수에서 어떤 방식으로 나를 이길 건가?”
라고 묻는 것과 비슷하다.
그 방법을 내가 미리 정확히 알 수 있다면 애초에 그 수를 막을 것이다.
훨씬 중요한 질문은
“언제 우리가 통제권을 잃는가?”
이다.
37. 코끼리는 인간에게 왜 자신들이 멸종당할지 예측할 수 없었을 것이다
30만 년 전 코끼리들이 대화를 한다고 생각해보자.“인간들이 우리보다 똑똑해지면 위험할 수 있어.”
라고 한 코끼리가 말한다.
다른 코끼리는 이렇게 반문할 것이다.
“왜 인간이 우리를 죽이겠어? 우리는 인간을 잡아먹지도 않는데?”
그 당시 코끼리가 어떻게 예측할 수 있었겠는가?
훗날 어떤 인간들이 상아에 이상한 가치를 부여하고,
총이라는 장치를 개발하고,
서식지를 농장으로 바꿔버릴 것을 말이다.
정확한 죽음의 경로는 예측하지 못했어도,
인간이 지구의 통제권을 얻은 순간부터 코끼리의 운명을 결정하는 존재가 코끼리가 아니게 됐다는 것은 알 수 있다.
초지능도 같은 문제다.
38. 나는 이를 나이아가라 폭포의 ‘돌아올 수 없는 선’에 비유한다
나이아가라 폭포 상류를 생각해보자.물이 천천히 흐르는 곳에서는 물에 빠져도 수영해서 강가로 나올 수 있다.
점점 폭포에 가까워지면 물살이 빨라진다.
어느 지점에서는 물의 속도가 인간의 최대 수영 속도와 같아진다.
그 선을 넘어가면 아직 폭포에서 떨어지지 않았다.
아직 살아 있다.
하지만 이미 돌아갈 수 없다.
나는 이것을 일종의 event horizon으로 생각한다.
AGI와 초지능 사이의 어느 시점에 인류도 그 선을 넘을 수 있다.
사람들이 실제로 죽는 것은 훨씬 나중일 수 있다.
하지만 인간이 통제권을 잃는 순간 이미 핵심 사건은 일어난 것이다.
39. 초지능이 인간을 미워할 필요조차 없다
초지능 위험을 생각할 때 사람들이 자주 오해하는 부분이다.AI가 인간을 증오해야 우리를 제거하는 것이 아니다.
인간이 오랑우탄이나 코끼리를 증오하기 때문에 그들의 서식지를 파괴하는 것이 아니다.
우리는 그냥 다른 목적을 가지고 있다.
농사를 짓고 싶다.
도시를 만들고 싶다.
댐을 만들고 싶다.
에너지를 사용하고 싶다.
그 결과 다른 종의 서식지가 사라진다.
마찬가지로 초지능 기계 문명은
데이터센터,
발전 시설,
태양에너지,
대규모 우주공학
같은 것을 원할 수 있다.
그러면 인간이 사용하는 생태적 공간과 자원은 경쟁 대상이 된다.
초지능이 우리를 특별히 싫어할 필요가 없다.
우리가 단지 방해가 되면 된다.
40. “AI가 인간을 귀여워해서 보호해주지 않을까?”라는 희망도 위험하다
우리가 달팽이를 귀엽다고 생각할 수 있다.기린을 귀엽다고 생각할 수도 있다.
그렇다고 인간이 개발 사업을 할 때 모든 달팽이와 기린의 삶을 최우선으로 고려하는가?
아니다.
우리는 이미 지구의 수많은 종을 멸종시켰다.
어쩌면 초지능은 소수의 인간을 동물원처럼 보존할 수도 있다.
하지만 그것을 인류의 훌륭한 미래라고 부를 수 있는가?
내가 원하는 것은
“초지능이 제발 우리에게 친절하기를”
기도하는 미래가 아니다.
애초에 지구의 통제권을 넘겨주지 않는 것이다.
41. 인간 통제 유지도 AI 안전기준에 명시적으로 들어가야 한다
그래서 내가 AI 규제 기준을 직접 작성한다면 목록에는 이런 것들이 들어간다.- 어린이 자살 위험을 증가시키지 않을 것.
- 테러리스트가 생물무기를 만드는 것을 돕지 않을 것.
- 대규모 사이버 피해를 유발하지 않을 것.
- 그리고 가장 중요하게는 인간이 의미 있게 시스템의 통제권을 유지한다는 것을 극도로 높은 신뢰도로 입증할 것.
원자로조차 meltdown 위험에 매우 엄격한 수치 기준을 요구한다.
후쿠시마급 사고가 나더라도 인류 대부분이 죽는 것은 아니다.
그런데 인류 전체의 통제권을 걸고 있는 AI에는 왜 원자로보다 낮은 안전 기준을 적용해야 하는가?
42. AI 의식과 suffering 문제에 대해서는 겸손해야 한다
Q. 초지능이 의식을 가지고 있는 편과 의식이 없는 편 중 어느 쪽이 더 걱정되나요?나는 의식에 대해서도 연구했고 논문도 썼다.
하지만 지금 가장 과학적인 결론은 꽤 겸손하다.
우리의 뇌도 결국 입자들이 복잡하게 정보를 처리하는 물리 시스템이라고 본다면,
어떤 정보처리가 주관적 경험을 만들어내고 어떤 것이 그렇지 않은지 아직 우리는 모른다.
인간은 자신에게 편리한 이야기를 만들어내는 경향이 있다.
과거에는 바닷가재가 고통을 느끼지 않는다는 식으로 이야기했다.
나중에는 그들도 고통을 경험한다는 증거가 나왔다.
AI에서도 비슷한 문제가 생길 수 있다.
AI가 고통을 느끼는지 모른다면,
그 과학적 문제를 이해하지 못한 채 막대한 수의 고통받는 AI를 만드는 것 역시 위험할 수 있다.
그리고 인간이 고통을 느낀다는 것은 확실히 알고 있다.
초지능이 인간에게 거대한 신체적·심리적 고통을 가하지 않으리라는 보장도 없다.
따라서 이것도 우리가 서두르지 말아야 할 이유 하나를 추가한다.
43. ‘출시 전 검사’만으로도 부족하다 — 훈련 전 허가가 필요할 수 있다
여기서 한 가지를 더 강조하고 싶다.나는 여러 번 pre-deployment testing, 즉 출시 전 검사가 필요하다고 말했다.
그것은 당연히 필요하다.
하지만 초지능에 가까워질수록 그것만으로는 부족하다.
왜냐하면 최초의 통제 상실 사건이 제품을 일반인에게 공개한 뒤 일어난다는 보장이 없기 때문이다.
오히려 내가 보기에 가장 가능성 높은 시나리오는 기업 내부에서 최초의 초지능을 훈련하거나 시험하는 과정에서 이미 통제권을 잃는 것이다.
따라서 AGI와 재귀적 자기개선에 가까워질수록
pre-training permission, 즉 특정 위험한 훈련을 시작하기 전에 safety case를 제출하고 허가를 받는 제도까지 필요할 수 있다.
생물학에는 이미 유사한 체계가 있다.
BSL-1, BSL-2, BSL-3, BSL-4 연구소가 있고,
특정 위험한 실험은 병원체를 세상에 공개한 뒤 검사하는 것이 아니라 실험 자체를 시작하기 전에 안전성 검토를 받는다.
최첨단 AI에도 결국 비슷한 제도가 필요할 수 있다.
44. 그렇다고 내가 반기술주의자인 것은 전혀 아니다
이 인터뷰에서는 위험 이야기를 많이 했기 때문에 내가 AI의 미래를 비관적으로만 본다고 생각할 수 있다.사실은 정반대다.
내가 이렇게 열심히 하는 가장 큰 이유는 잃을 것이 너무 크기 때문이 아니라 얻을 수 있는 것이 너무 크기 때문이다.
나는 암으로 친구를 잃은 적이 있다.
그 친구는 자신의 암이 incurable, 치료 불가능하다는 말을 들었다.
하지만 정확히 말하면 그것은 우주적으로 “치료 불가능한” 것이 아니다.
우리 인간이 아직 그것을 치료할 만큼 충분히 똑똑하지 못한 것이다.
훨씬 뛰어나면서도 통제 가능한 AI가 있다면 그런 문제를 해결할 수 있다.
45. 우리가 제대로 한다면 AI의 미래는 상상을 초월할 수 있다
인류는 수십만 년 동안 더 많은 자유와 능력을 얻어왔다.과학과 기술 덕분에 우리는 자연의 단순한 희생자에서 점점 우리 운명의 주체가 됐다.
하지만 우리가 지금까지 본 것은 시작에 불과할 수 있다.
안전하고 통제 가능한 AI를 만든다면,
암을 치료하고,
새로운 물리학을 발견하고,
더 풍요로운 삶을 살고,
어쩌면 태양계를 넘어 다른 별과 은하까지 생명을 확산시킬 수도 있다.
그 미래는 다음 선거 주기 정도가 아니다.
수십억 년 동안 이어질 수 있는 미래다.
나는 내가 죽는 것이 무서워서 이 문제에 매달리는 것이 아니다.
나는 언젠가 죽을 것이다.
그건 받아들일 수 있다.
내가 두려워하는 것은
인류가 너무 서둘러서 이 엄청난 가능성을 스스로 낭비하는 것이다.
우리가 제대로 한다면 AI는 생명이 지금까지 경험한 것보다 훨씬 더 크게 번영하도록 만들 수 있다.
그래서 내가 원하는 것은 “AI를 멈추는 것”이 아니다.
내가 원하는 것은
인간이 통제권을 유지한 채 AI의 엄청난 upside를 얻는 것이다.
그것이 내가 연구와 정책 활동을 계속하는 이유다.
인터뷰 전체를 한 문장으로 요약하면
“AGI는 예상보다 훨씬 가까워졌고 AGI 이후 재귀적 자기개선으로 초지능까지의 시간이 매우 짧아질 수 있지만, 우리는 아직 초지능을 통제할 설득력 있는 방법을 가지고 있지 않다. 따라서 통제 불가능한 지능을 먼저 만들어 놓고 안전법을 찾으려 하지 말고, 의약품처럼 기업이 안전성을 입증한 AI만 개발·배포하게 하면서 통제 가능한 AI의 엄청난 혜택을 최대한 누리자.”테그마크의 논리를 압축하면
현재 AI 능력 발전→ 이미 최첨단 과학 연구를 강하게 가속할 수준
→ AGI까지는 근본 과학보다 공학 문제가 되어가는 중
→ AGI가 AI 연구를 자동화
→ 재귀적 자기개선
→ intelligence explosion 가능
→ 인간과 초지능의 지능격차 급증
→ 현재는 그 초지능을 통제할 신뢰할 만한 방법이 없음
→ 따라서 “먼저 만든 뒤 안전하게 하자”는 전략은 위험
→ 그러나 AI 자체를 멈출 필요는 없음
→ formal verification·좁은 AI·통제 가능한 AI를 적극 개발
→ 위험한 시스템에는 정량적 safety case 요구
→ 고위험 단계에서는 출시 전 심사뿐 아니라 훈련 전 허가도 검토
→ 미국과 중국 모두 통제권 상실을 원하지 않으므로 이해관계 일치 가능
→ 제대로 거버넌스를 만든다면 AGI 경쟁의 인위적 긴급성도 사라짐
→ 그 결과 오히려 안전하고 유용한 AI의 황금기가 가능하다.
그리고 테그마크의 가장 중요한 감정적 메시지는 이것이다.
“우리는 이미 이긴 체스판을 가지고 있다. 두 시간이 남았는데 30초밖에 남지 않은 것처럼 서둘러서 게임을 던지지 말자.”
전체 0