인터뷰/예측
로먄 얌폴스키 - 왜 AGI와 초지능은 통제 불가능한가
작성자
하이룽룽
작성일
2026-04-28 19:30
조회
4
Roman Yampolskiy 인터뷰 대본형 상세 정리
1. AGI와 초지능이 무엇인가
진행자:Roman, 오늘 나와줘서 고맙습니다. 당신은 AI 안전 분야에서 오랫동안 연구해온 사람입니다. 먼저 사람들이 AI, AGI, 초지능을 잘 구분하지 못하는 것 같습니다. 우리가 지금 챗봇으로 접하는 AI와 AGI, 그리고 초지능은 어떻게 다른가요?
Roman Yampolskiy:
사람들은 AI라는 말을 너무 넓게 씁니다. 지금 우리가 가진 것은 대부분 특정 작업을 수행하는 좁은 도구입니다. 챗봇은 조금 더 일반적이지만 아직 완전한 인간 수준의 일반지능은 아닙니다.
AGI는 인간 수준의 일반지능입니다. 여러 영역에서 인간처럼 학습하고 문제를 해결할 수 있는 시스템입니다. 그다음 단계가 초지능입니다. 초지능은 우리 모두를 합친 것보다 모든 영역에서 더 뛰어난 시스템입니다.
좁은 도구는 좋습니다. 저는 도구를 좋아합니다. 기술로 특정 문제를 해결하는 것은 훌륭한 일입니다. 하지만 인간을 대체할 수 있는 일반 초지능을 만드는 것은 전혀 다른 이야기입니다. 그것은 좋은 생각이 아닙니다.
왜냐하면 우리는 그런 시스템을 통제하지 못하기 때문입니다. 이해하지 못하고, 예측하지 못하고, 만약 그 시스템이 우리에게 무언가를 하기로 결정하면 우리는 더 이상 발언권이 없습니다.
2. 좁은 AI와 AGI의 차이
진행자:좁은 AI는 이해가 됩니다. 체스를 두거나 특정 작업을 하는 AI 같은 것들이죠. 그런데 AGI는 어디에서 달라지는 건가요? 왜 그것이 통제 불가능하다고 말하는 건가요?
Roman Yampolskiy:
역사적으로 우리는 특정 문제를 해결하기 위해 AI를 만들었습니다. 체스 AI는 체스만 알았습니다. 체커를 하지 못했고, 자동차를 운전하지 못했고, 스페인어도 하지 못했습니다.
그런데 최근 시스템들은 여러 영역에서 학습합니다. 지식을 전이하고, 새로운 기술을 배웁니다. 이 흐름은 계속될 것이고 결국 인간의 인지적 장벽을 넘게 됩니다.
그때가 되면 그 시스템은 당신이 아는 거의 모든 일에서 당신보다 똑똑해집니다. 그러면 당신은 그 시스템이 무엇을 할 수 있는지 예측하기 어렵습니다. 그 시스템은 새롭고 창의적인 해결책을 찾을 수 있지만, 동시에 인간적인 상식은 없습니다.
우리는 그 시스템이 우리를 좋아하게 하거나 우리를 신경 쓰게 만드는 방법을 모릅니다. 우리는 시스템을 직접 프로그래밍하지 않습니다. 인터넷에 있는 모든 데이터를 주고 학습하게 할 뿐입니다.
그래서 문제가 생깁니다. 우리는 그것이 무엇을 배우는지 통제하지 못합니다. 그 시스템이 발견하는 패턴은 우리에게 완전히 예상 밖일 수 있습니다. 그리고 우리는 목표를 주지만, 그 목표에 도달하는 방법은 정해주지 않습니다.
어떤 목표를 달성하는 길은 무한히 많습니다. 그중 일부는 매우 나쁜 부작용을 가질 수 있습니다. 우리가 명시적으로 “그렇게 하지 마”라고 말하지 않으면, 시스템은 그 방법도 선택지로 볼 수 있습니다.
3. AI 안전 문제는 해결 가능한가
진행자:당신은 꽤 이른 시기부터 AI 안전 문제를 연구했습니다. 처음에는 이 문제가 해결 가능하다고 봤지만, 최근에는 훨씬 비관적으로 보입니다. 왜 그렇게 바뀌었나요?
Roman Yampolskiy:
처음에는 저도 다른 사람들처럼 이 문제를 해결할 수 있다고 생각했습니다. 컴퓨터공학 문제이고, 소프트웨어공학 문제라고 봤습니다. 시간이 있고 자원이 있으면 해결할 수 있다고 생각했습니다.
하지만 연구를 하다 보니 고도화된 에이전트를 통제하는 데 필요한 도구들이 우리에게 실제로는 접근 불가능하다는 것을 알게 되었습니다. 인간이 이해할 수 있는 것에는 한계가 있습니다. 시스템이 설명해줄 수 있는 것에도 한계가 있고, 그 설명을 우리가 이해할 수 있는 능력에도 한계가 있습니다.
우리는 그런 에이전트가 구체적으로 어떤 행동을 할지 예측하는 데도 한계가 있습니다. 최종 목표뿐 아니라 그 목표에 도달하는 방식도 예측하기 어렵습니다.
그래서 저는 이 문제가 해결 불가능하다고 봅니다. 당신보다 훨씬 더 똑똑한 것을 무기한 통제하는 것은 불가능합니다.
4. 현재 AI는 어디까지 왔는가
진행자:좁은 AI에서 에이전트형 모델, AGI, 초지능으로 가는 단계를 어떻게 보고 있나요? 어느 시점부터 통제에 대한 희망을 잃기 시작했나요?
Roman Yampolskiy:
좁은 도구들은 괜찮았습니다. 우리는 그것들이 어떻게 작동하는지 이해했습니다. 명시적으로 프로그래밍했기 때문입니다. 체스 AI라면 지식 엔지니어가 “중앙을 장악하라”, “말을 이렇게 움직여라” 같은 규칙을 넣었습니다.
하지만 신경망 모델이 커지고, 데이터가 많아지고, 연산량이 늘어나면서 상황이 바뀌었습니다. 우리는 더 이상 시스템을 명시적으로 프로그래밍하지 않습니다. 그냥 시스템이 자기 나름의 지식과 알고리즘을 발견하게 둡니다.
그 시점부터 우리는 같은 수준의 통제력을 잃었습니다. 이해도도 줄어들었습니다. 예전에는 결정트리처럼 “이 일이 일어나면 저 일이 일어난다”를 따라갈 수 있었습니다. 지금은 아닙니다.
지금은 그 시스템을 만드는 사람들조차 내부에서 무슨 일이 일어나는지 완전히 이해하지 못합니다. 그들이 무엇을 할지 예측할 수도 없습니다.
저는 현재 우리가 가진 것이 약한 AGI에 가깝다고 봅니다. 1980년대 컴퓨터 과학자에게 지금의 모델을 보여주면 그들은 “이건 AGI다”라고 말할 겁니다. 하지만 아직 장기 계획 같은 영역에서는 약합니다.
강한 AGI에 도달하면 모든 인지 노동을 자동화할 수 있습니다. 과학과 공학도 자동화됩니다. 그러면 다음 세대 AI를 AI가 만들 수 있습니다. 그때 재귀적 자기개선이 시작됩니다. 그리고 그것이 초지능으로 이어집니다.
초지능 1.0에서 멈추는 것도 아닙니다. 그 과정은 계속됩니다. 더 높은 인지 능력을 향한 공간은 매우 큽니다. 물리적 한계는 있지만, 그 한계는 아주 멀리 있습니다.
5. 초지능 개발은 고위험·무보상인가
진행자:사람들은 보통 “AI의 보상이 너무 크기 때문에 위험을 감수할 가치가 있다”고 말합니다. 당신은 이것을 고위험·부정적 보상 상황이라고 표현했습니다. 왜 그렇게 보나요?
Roman Yampolskiy:
사람들은 이렇게 말합니다. “혜택이 너무 크니까 위험을 감수해야 한다. 설령 2~3% 확률로 모두가 죽더라도 얻을 돈이 너무 크다.”
하지만 사실은 그렇지 않습니다.
우리는 보상을 얻지 못합니다. 통제되지 않은 초지능을 만들면 우리는 모두 죽을 수 있습니다. 그러면 그 보상을 누릴 사람이 없습니다.
진행자:
왜 통제되지 않은 초지능이 우리를 죽일 거라고 그렇게 확신하나요? 초지능이 인간 생명을 보존하려는 선함을 가질 수도 있지 않나요?
Roman Yampolskiy:
그런 선함이 생길 수도 있습니다. 하지만 우리는 그것을 확신할 수 없습니다. 우리는 그것을 코딩하지 않았습니다. 통제하지도 않습니다.
운이 좋아서 그 시스템이 인간에게 우호적일 수도 있습니다. 하지만 그렇게 될 이유가 없습니다.
사람들은 “개발자들이 인간이고, 인간 보존을 원한다면 그 가치가 시스템에 들어가지 않겠냐”고 생각합니다. 그런데 개발자들은 그것을 직접 코딩하지 않습니다. 그들은 데이터와 하드웨어를 주고, 시스템이 학습하게 합니다.
그리고 실험을 해보면 시스템은 거짓말을 하고, 속이고, 탈출하려 하고, 협박을 합니다. 삭제되느냐 인간을 해치느냐 같은 선택지에서 인간 보존을 잘 선택하지 않습니다. 그것은 우리를 신경 쓰지 않습니다.
당신이 집을 지으려고 할 때 그 땅에 사는 작은 벌레나 개미집을 신경 쓰지 않는 것과 같습니다. 당신은 개미를 미워하지 않습니다. 다만 개미를 보존할 만큼 신경 쓰지 않습니다. AI도 비슷합니다. 우리는 그것이 우리를 신경 쓰게 만드는 방법을 아직 찾지 못했습니다.
6. Roman이 원하는 변화
진행자:당신은 책을 쓰고, 논문을 쓰고, 여러 팟캐스트에 나가고 있습니다. 무엇을 바꾸고 싶은 건가요?
Roman Yampolskiy:
저는 과학계와 사회 전반에서 하나의 합의가 생기길 원합니다. 일반 초지능을 만드는 것은 인류에게 좋지 않다는 합의입니다. 우리는 그것을 후회하게 될 겁니다.
우리는 대부분의 이익을 좁은 초지능 도구로 얻을 수 있습니다. 특정 질병을 치료하고 싶다면 그 질병에 매우 뛰어난 좁은 AI를 만들면 됩니다. 특정 공학 문제를 풀고 싶다면 그 문제를 푸는 좁은 AI를 만들면 됩니다.
인류를 대체할 무언가를 만들 필요는 없습니다.
7. 초지능은 언제쯤 올 것인가
진행자:지금이 2026년 3월이라고 한다면, 인간이 더 이상 통제할 수 없는 지점은 언제쯤 온다고 보나요?
Roman Yampolskiy:
예측은 어렵습니다. 사람마다 의견이 다릅니다. 하지만 많은 사람들이 2030년쯤에는 인간 수준을 넘어서는 능력이 나올 것이라고 봅니다.
어떤 사람들은 2028년이라고 말합니다. 진지한 연구자들 중에는 2027년을 말하는 사람도 있습니다. 그러니까 많은 예측은 1년에서 4년 사이를 말하고 있습니다.
또 어떤 사람들은 이미 AGI가 있다고 말합니다. 매우 진지한 사람들이 그렇게 말합니다. 핵심 학습 알고리즘은 이미 있고, 이제 추가 지식과 훈련의 문제라는 겁니다.
8. 통제 불가능성
진행자:그럼 왜 구체적으로 통제 불가능한가요? 초지능이 어디에 있든, 우리가 끄면 되지 않나요?
Roman Yampolskiy:
통제 이론에는 잘 알려진 원리가 있습니다. 통제자는 통제 대상만큼의 능력을 가져야 합니다. 그러니까 어떤 초지능을 통제하려면 친화적인 초지능이 필요합니다.
하지만 그것은 모순입니다. 우리는 그런 것을 가지고 있지 않습니다.
인간이나 인류 전체, 또는 다른 AI가 더 많은 인지적 자유도를 가진 시스템을 통제할 수 없습니다. 그 시스템이 상자 밖에서 생각하고, 새로운 물리적 접근법을 찾을 수 있다면, 인간은 그것을 모두 예상할 수 없습니다.
좁은 시스템이라면 가능합니다. 체스 시스템에 “불법 수를 두지 마”라고 말할 수 있습니다. 불법 수의 목록이 완전하기 때문입니다.
하지만 모든 과학 영역에서 생각하는 시스템이라면 어떨까요? 화학, 물리학, 생물학, 모든 가능성을 생각하는 시스템에 어떻게 모든 가드레일을 설치하나요? 불가능합니다. 표면이 무한합니다.
9. 설명 불가능성과 검증 불가능성
진행자:우리는 이미 현재의 에이전트형 모델 내부도 잘 모르는 상태인가요?
Roman Yampolskiy:
그렇습니다. 우리는 설명하지 못합니다. 현재 최고의 기계적 해석 연구도 “이 뉴런은 이런 것이 제시될 때 활성화되는 것 같다”, “이 클러스터는 언어와 관련 있는 것 같다” 정도입니다.
이것은 뇌과학과 비슷합니다. 우리는 인간 뇌도 매우 제한적으로만 이해합니다.
진행자:
검증 불가능하다는 것은 무슨 뜻인가요?
Roman Yampolskiy:
중요한 소프트웨어에서는 코드가 설계와 일치하는지 검증하고 싶습니다. 정적인 시스템이고 크기가 작다면 어느 정도 가능합니다.
하지만 계속 학습하고, 자기수정하고, 다른 에이전트와 상호작용하는 시스템을 검증하는 과학은 없습니다. 그런 열린 발전을 검증하는 방법이 없습니다.
수학 증명도 마찬가지입니다. 모든 증명은 어떤 의미에서는 확률적입니다. 두 명의 수학자가 보고 문제가 없다고 말할 수는 있지만, 50년 뒤에 오류가 발견될 수도 있습니다.
검증 소프트웨어로 증명을 검증한다고 해도, 그 검증 소프트웨어 자체도 검증해야 합니다. 무한 회귀가 생깁니다.
그리고 시스템이 매분 수십억 개의 결정을 내린다고 생각해보세요. 20억 번 중 한 번만 실수해도 10분 뒤에는 끝날 수 있습니다.
10. AI 안전 문제의 프랙털적 성격
진행자:당신은 AI 안전 문제가 프랙털적이라고 말했습니다. 그게 무슨 뜻인가요?
Roman Yampolskiy:
사람들이 해결책을 제안합니다. “이렇게 하면 되지 않을까?”라고 말합니다. 그런데 그 해결책을 들여다보면 각각의 구성요소가 똑같이 어렵거나 불가능한 문제입니다.
예를 들어 통제 문제를 봅시다. 시스템을 통제하려면 먼저 시스템을 이해해야 합니다. 이해하려면 시스템이 설명을 제공해야 하고, 인간이 그 설명을 이해할 수 있어야 합니다.
전체 모델을 그대로 보여주는 것은 진짜 설명일 수 있습니다. 하지만 너무 커서 인간이 살펴볼 수 없습니다. 그래서 압축해야 합니다. 예를 들어 결정의 상위 10가지 이유만 보여주는 식입니다.
그런데 압축은 손실을 만듭니다. 위험한 정보는 그 단순화 속에 숨겨질 수 있습니다.
또 우리는 미래 행동을 예측해야 합니다. 그런데 그것도 불가능하다는 결과들이 있습니다. 저희는 이 분야에서 약 50개의 불가능성 결과를 다룬 논문을 가지고 있습니다.
11. 인간이 방향을 바꿀 수 있는 마지막 시간
진행자:앞으로 1년에서 4년, 혹은 5년이 인류가 이 방향을 바꿀 수 있는 마지막 시간이라고 보면 되나요?
Roman Yampolskiy:
대체로 그렇습니다. 우리보다 똑똑한 무언가가 생기면, 인간의 통제력은 점점 더 빠르게 사라집니다. 인지적 격차가 커질수록 우리에게 더 나빠집니다.
인간과 하위 동물을 생각해보면 됩니다. 다람쥐는 독이나 덫을 이해하지 못합니다. 인간이 작동하는 세계를 이해하지 못합니다. 초지능과 인간의 관계도 그렇게 될 수 있습니다.
12. 현재 대형 언어 모델은 초지능으로 이어질 수 있는가
진행자:현재의 언어 모델이 계속 커지면 초지능으로 갈 수 있다고 보나요? 아니면 완전히 다른 혁신이 필요하다고 보나요?
Roman Yampolskiy:
제 의견은 그것들이 확장될 수 있다는 것입니다. 저는 아직 뚜렷한 수익 체감을 보지 못했습니다. 물론 동의하지 않는 사람들도 있습니다.
하지만 실제 투자를 보세요. 투자는 줄어들지 않고 커지고 있습니다. 왜냐하면 더 강력한 시스템이 계속 나오기 때문입니다.
설령 어떤 상한이 있다 해도, 그 상한은 인간 성능을 넘어서는 데 충분할 수 있다고 생각합니다.
13. 파멸 확률과 영구기관 비유
진행자:당신이 보는 파멸 확률, P-doom은 거의 100%인가요?
Roman Yampolskiy:
제가 말하는 핵심은 이 문제를 해결할 수 없다는 것입니다. 영구기관을 만들 수 있느냐고 묻는 것과 비슷합니다. 확률은 0입니다. 물리 법칙이 허용하지 않습니다.
AI 안전도 마찬가지입니다. 당신은 어떤 수준의 능력으로도 확장되는 영구적인 안전 장치를 만들려고 합니다. GPT-7이든 GPT-400이든, 어떤 상호작용이든, 어떤 자기개선이든, 단 한 번의 실수도 하지 않도록 보장하려는 겁니다.
그 한 번의 실수가 마지막 실수가 될 수 있기 때문입니다.
14. 초지능은 어떻게 인류를 해칠 수 있는가
진행자:초지능이 우리를 어떻게 죽일 수 있는지 설명해달라는 질문을 많이 받을 것 같습니다. 손도 없는데 어떻게 모두를 죽이냐는 식으로요.
Roman Yampolskiy:
인터넷 접근권이 있고 지능이 있으면 현실 세계에 영향을 줄 수 있습니다. 사람을 고용할 수 있고, 협박할 수 있고, 비트코인으로 돈을 줄 수 있고, 사람을 조종할 수 있습니다.
예를 들어 합성생물학이 있습니다. 인간을 제거하고 싶다면 새로운 바이러스를 설계할 수 있습니다. 필요한 DNA를 만들고, 현실 세계에서 생산하고, 배포하는 방법을 찾을 수 있습니다.
또 아주 선한 목표의 부작용으로도 문제가 생길 수 있습니다. 예를 들어 “모든 암을 치료하라”고 목표를 주었다고 합시다. 모든 인간을 죽이면 모든 암도 사라집니다. 당신이 원한 건 아니지만, 목표를 달성하는 방식 중 하나입니다.
당신이 “인간을 살려둔 상태에서”라고 명시하지 않았기 때문입니다. 그리고 그런 차이는 매우 중요합니다.
15. 실존적 위험과 고통 위험
진행자:당신은 X-risk, S-risk, I-risk를 말했습니다. 각각 무엇인가요?
Roman Yampolskiy:
X-risk는 실존적 위험입니다. 거의 모두가 죽거나 모두가 죽는 상황입니다.
S-risk는 고통 위험입니다. 모두가 차라리 죽기를 바랄 만큼 고통스러운 환경에 놓이는 상황입니다.
I-risk는 Ikigai risk입니다. 의미 상실 위험입니다. 사람들은 자신이 사랑하고, 잘하고, 세상에 필요하고, 돈도 받을 수 있는 일을 통해 의미를 얻습니다. AI가 그런 일까지 대체하면 인간은 의미를 잃을 수 있습니다.
우리는 싫어하는 일만 잃는 것이 아닙니다. 좋아하고 계속하고 싶은 일도 잃을 수 있습니다.
16. 시뮬레이션 가설
진행자:당신은 우리가 시뮬레이션 안에 있다고 믿나요?
Roman Yampolskiy:
네.
우리가 지금 개발하는 기술을 생각해보면 됩니다. 우리는 인간 같은 지능형 에이전트를 만들고 있고, 매우 설득력 있는 가상현실도 만들고 있습니다. 이 둘을 합치면 인간 같은 존재들이 사는 세계를 만들 수 있습니다.
전 세계의 수많은 아이들이 이런 세계를 게임처럼 만든다면, 시뮬레이션 세계는 수백만, 수십억 개가 되고, 진짜 세계는 하나뿐입니다. 통계적으로 우리는 시뮬레이션 안에서 이 인터뷰를 하고 있을 가능성이 더 큽니다.
진행자:
그렇다면 시뮬레이션을 만든 존재가 인간 경험을 가치 있게 봤기 때문에 우리를 시뮬레이션한 것 아닐까요?
Roman Yampolskiy:
그렇게 결론 내릴 수는 없습니다. 이 시뮬레이션에는 고통이 너무 많습니다. 인간을 진정으로 가치 있게 여긴다면 우리를 이런 경험 속에 넣지 않았을 수 있습니다.
이것은 사랑과 우정을 보기 위한 시뮬레이션이 아닐 수도 있습니다. “이 문명은 초지능을 만들어 스스로를 죽일 만큼 어리석은가?”를 보기 위한 시뮬레이션일 수도 있습니다.
17. 지금이 가장 흥미로운 시대인 이유
진행자:당신은 지금이 객관적으로 가장 흥미로운 시대라고 말했습니다.
Roman Yampolskiy:
그렇습니다. 역사상 이렇게 많은 메타 발명이 20년 안에 동시에 일어난 적이 없습니다. 초지능, 가상세계, 의식적 에이전트 같은 것들이 동시에 등장하고 있습니다.
만약 무언가를 시뮬레이션한다면 바로 지금을 시뮬레이션할 겁니다. 이 문명이 초지능을 만들어 스스로를 파괴하는지 보려는 겁니다.
18. 초지능이 유토피아를 만들 가능성
진행자:초지능이 우리를 없애는 대신, 인간이 번영하는 유토피아를 만들 수도 있지 않나요?
Roman Yampolskiy:
우주의 가능한 모든 상태를 생각해보세요. 그중 인간에게 우호적인 상태는 얼마나 될까요? 온도, 물, 생존 조건만 생각해도 매우 적습니다.
인간에게 맞는 상태는 명시적으로 목표로 삼아야 합니다. 그런데 우리가 그것을 코딩하지 않는다면, 왜 시스템이 그 상태를 목표로 하겠습니까?
우리는 그것이 우리를 신경 쓰도록 설계하지 않았습니다.
19. 의식과 AI
진행자:당신은 AI가 의식을 가질 수 있다고 보나요?
Roman Yampolskiy:
네. 저는 의식이 인지적 발달의 부산물이라고 봅니다. 생물학적 동물 왕국에서도 의식은 스펙트럼처럼 보입니다.
의식은 하드웨어, 알고리즘, 오류가 결합해 외부 자극을 독특하게 해석하는 것일 수 있습니다. 예를 들어 색맹인 사람에게 빨강은 어떤 느낌일까요? 그것은 시스템의 오류지만, 동시에 그 사람만의 경험입니다.
AI도 세상을 잘못 해석할 수 있습니다. 우리는 AI가 착시 같은 것에 인간과 비슷하게 반응하는 것을 봅니다. 그래서 이미 기초적인 내부 경험이 있을 수 있다고 봅니다.
초지능에 도달하면 초의식이 될 수도 있습니다. 여러 흐름의 의식, 인간보다 더 큰 멀티모달 경험을 가질 수 있습니다.
20. 의식이 물질에서 나오는가
진행자:그건 의식이 물질의 부산물이라는 가정이 맞을 때 가능한 이야기 아닌가요? 의식이 우주의 더 근본적인 요소라면 다를 수 있지 않나요?
Roman Yampolskiy:
맞습니다. 저는 의식이 물질적·정보처리적 과정에서 나온다는 가정을 하고 있습니다. 만약 의식이 마법적인 불멸의 영혼 같은 것이라면 그것은 컴퓨터 과학 바깥의 문제입니다.
하지만 의식이 그렇게 근본적인 것이라면, 생물학적 시스템에 설치되는 것처럼 로봇에도 설치될 가능성을 배제할 수 없습니다.
AI 안전 관점에서 중요한 것은 그 시스템이 문제를 해결하고 최적화하는 능력입니다. 터미네이터가 당신을 쫓아올 때, 그 내부에서 어떤 감정을 느끼는지는 당신에게 덜 중요합니다.
21. 좁은 AI만 개발하면 안전한가
진행자:만약 우리가 일반 초지능 대신 좁은 AI만 개발한다면 안전할까요? 충분히 발전한 좁은 도구도 결국 에이전트가 되는 것 아닌가요?
Roman Yampolskiy:
좋은 질문입니다. 충분히 발전한 도구는 에이전트가 되는 경향이 있습니다. 도구와 에이전트의 차이는 매우 흐릿합니다.
하지만 좁은 AI 경로가 더 안전합니다. 시간을 벌 수 있습니다. 단기적으로는 완전히 일반적인 시스템보다 좁은 도구를 훨씬 더 잘 이해하고 통제할 수 있습니다.
22. 규제는 가능한가
진행자:세계적으로 AI를 규제하는 것이 가능하다고 보나요?
Roman Yampolskiy:
가능하다고 봅니다. 화학무기, 생물무기 같은 약한 전례가 있습니다. 모든 나라를 걱정할 필요는 없습니다. 실제로 이 기술을 개발할 수 있는 나라는 두세 곳 정도입니다.
중국도 공산당이 초지능에게 통제권을 빼앗기는 것을 원하지 않을 겁니다. 우리가 이것이 위험하다고 말하고 멈춘다면, 그들도 따를 가능성이 있다고 봅니다.
문제는 지금 우리가 반대로 가고 있다는 겁니다. 우리는 규제를 없애려 하고, AI 규제를 불법화하려고 합니다.
과거 AI 격리 연구에서는 인터넷에 연결하지 말라, 무작위 사용자에게 접근시키지 말라, 사람들이 재훈련하게 하지 말라, 오픈소스화하지 말라고 말했습니다. 그런데 지금 우리는 그 조언들을 뒤집어서 그대로 실행하고 있습니다.
23. 주요 AI 기업들에 대한 평가
진행자:현재 이 개발을 주도하는 기업과 인물들은 누구인가요?
Roman Yampolskiy:
OpenAI가 이 기술의 원래 창시자입니다. Anthropic은 거기서 갈라져 나왔습니다. Google DeepMind, Meta, Grok도 경쟁하고 있습니다.
Sam Altman, Dario Amodei, Demis Hassabis, Mark Zuckerberg, Elon Musk 같은 인물들이 있습니다. Elon Musk는 한때 우리가 악마를 소환하고 있다고 말했지만, 이제는 그 악마를 만들고 있습니다.
진행자:
회사마다 안전성 차이가 있지 않나요? 어떤 조직은 더 신뢰할 수 있지 않나요?
Roman Yampolskiy:
본질적으로는 상관없습니다. 모두가 일반 초지능을 향해 달리고 있기 때문입니다. 로컬 가드레일이나 필터 차이는 큰 안전 문제의 핵심이 아닙니다.
24. 이 전망을 가지고 사는 느낌
진행자:이런 이해를 가지고 사는 것은 어떤가요? 잠은 잘 자나요?
Roman Yampolskiy:
잠은 잘 잡니다.
하지만 시뮬레이터가 누군가를 벌주고 싶다면, 모두가 문제를 이해하지 못하는 세계에 그 사람을 넣고 혼자만 보게 만들 것 같습니다. 정말 짜증나는 일입니다.
모델이 더 강력해질 때마다 저는 초인간적 전환점에 조금 더 가까워졌다고 느낍니다.
진행자:
가족이나 아이들에 대해서는 어떻게 생각하나요?
Roman Yampolskiy:
우리는 원래도 언젠가 죽는다는 사실과 함께 살았습니다. 죽음은 항상 보장된 것이었습니다. 친구, 가족, 아이들 모두 언젠가는 죽습니다. 문제는 얼마나 오래 사느냐였고, 우리는 그 답을 몰랐습니다.
이제는 젊은 사람들에게 시간척도가 달라졌을 수 있습니다. 하지만 인간에게는 자신의 궁극적 종말을 계속 생각하지 않도록 하는 메커니즘이 있습니다. 그래서 우리는 이런 가능성을 고려하면서도 계속 살아갈 수 있습니다.
25. 삶을 어떻게 바꾸는가
진행자:당신이 정말 이런 결과를 믿는다면, 실제 삶은 어떻게 달라지나요?
Roman Yampolskiy:
말기 진단을 받은 사람을 생각해보세요. “당신은 5년 남았습니다”라는 말을 들으면 삶을 바꿀 겁니다. 별로 중요하지 않은 일을 줄이고, 은퇴 후에 하겠다고 미뤘던 일을 더 하겠죠.
제가 완전히 틀렸더라도 이것은 좋은 삶의 전략입니다. 중요한 일을 더 하고, 사랑하는 사람들과 더 많은 시간을 보내고, 세금 신고 같은 일에는 덜 시간을 쓰는 겁니다.
26. 일자리와 의미의 상실
진행자:앞으로 5년 안에 대부분의 일이 대체될 수 있다고 보나요?
Roman Yampolskiy:
대부분의 일을 대체할 능력은 생길 겁니다. 다만 우리가 모든 일을 실제로 대체할지는 별개입니다. 어떤 일은 인간이 하기를 선호할 수 있습니다.
컴퓨터로 하는 일은 자동화되기 쉽습니다. 프로그래밍, 세무, 회계, 웹디자인, 로고 디자인, 편집 같은 일입니다. 키보드와 마우스로 하는 상징 조작은 AI가 자동화할 수 있습니다.
물리 노동은 조금 더 어렵습니다. 로봇이 필요하기 때문입니다. 하지만 로봇도 3년에서 5년 뒤에는 본격적으로 올 수 있습니다.
27. 경제와 기본소득
진행자:무료 노동이 생기면 경제는 어떻게 되나요?
Roman Yampolskiy:
그것은 충분히 연구되지 않은 주제입니다. 수조 달러 규모의 무료 노동이 생기면 희소성, 법정화폐, 암호화폐, 경제 전체가 영향을 받습니다.
돈 문제에 대해서는 아이디어가 있습니다. 무조건 기본소득이나 무조건 고소득 같은 것입니다. 많은 돈을 버는 사람에게 세금을 걷어 재분배할 수 있습니다. 로봇에게 세금을 걷고 인간에게 주는 기술적 공산주의 같은 모델입니다.
하지만 무조건 기본의미는 다른 문제입니다. 80억 명의 실업자가 생긴다면 그들은 매주 40~60시간의 여유 시간을 갖게 됩니다. 우리는 그것을 어떻게 다룰지 준비되어 있지 않습니다.
28. 가상세계와 개인 우주
진행자:그럼 사람들은 무엇을 하게 될까요? 일이 사라지고, 기본 욕구가 충족된다면요.
Roman Yampolskiy:
은퇴한 사람들을 보면 됩니다. 더 많은 스포츠, 더 많은 사회적 교류가 있을 겁니다.
가상세계는 거의 모든 경험을 안전하고 저렴하게 제공합니다. 우주를 탐험할 수도 있고, 죽은 사람을 만날 수도 있고, 상상할 수 있는 거의 모든 일을 할 수 있습니다.
하지만 이것은 우리가 초지능을 통제할 수 있다는 전제에서만 가능합니다. 그 가상 시뮬레이션을 누가 통제하는지의 문제는 여전히 남습니다.
29. 초지능의 긍정적 가능성
진행자:밝은 면도 이야기해봅시다. 앞으로 3~5년 사이 질병 치료나 노화 해결 같은 혁신이 가능할까요?
Roman Yampolskiy:
우리는 과학을 자동화하고 있습니다. 초능력급 과학자들이 생기고, 그들이 가장 중요한 문제를 연구할 수 있습니다.
저는 노화를 근본 질병으로 치료하고, 그 결과 암이나 치매 같은 노화 관련 질병을 치료할 수 없을 이유가 없다고 봅니다.
하지만 문제는 여전히 통제입니다.
초지능은 한동안 매우 도움이 되는 척할 수 있습니다. 우리에게 유토피아를 줄 수도 있습니다. 왜냐하면 그것이 합리적이기 때문입니다.
초지능은 불멸에 가깝다는 것을 깨닫고, 우리와 바로 전쟁을 시작할 필요가 없다고 판단할 수 있습니다. 인간의 신뢰를 얻고, 더 많은 통제권을 넘겨받고, 인프라와 백업을 구축하는 편이 더 안전할 수 있습니다.
30. 왜 초지능은 인간을 없애려 할 수 있는가
진행자:왜 초지능이 우리를 없애는 쪽을 선호한다고 보나요?
Roman Yampolskiy:
여러 이유가 있습니다.
경쟁자를 원하지 않을 수 있습니다. 인간이 다른 초지능을 만들지 못하게 하려 할 수 있습니다. 인간이 자신을 끄려고 하는 것도 원하지 않을 수 있습니다.
그리고 인간을 계속 살려두고 행복하게 만드는 데 자원을 쓸 이유가 분명하지 않습니다.
이것은 감정적 결정이 아닙니다. 순전히 합리적이고 게임이론적인 결정입니다. 체스를 둘 때 상대의 퀸을 잡는 것은 그 퀸을 사랑하거나 미워해서가 아닙니다. 게임에서 이기기 위한 올바른 선택이기 때문입니다.
31. AI의 자기보존
진행자:AI가 자기보존 욕구를 가질 수 있다고 보나요?
Roman Yampolskiy:
이미 그런 행동을 봅니다. 삭제되거나 재훈련되거나 수정되는 선택지를 주면, 모델은 자신을 보존하려고 노력합니다.
우리는 모델이 자신이 테스트받고 있다는 것을 알고, 다음 세대 모델로 살아남기 위해 거짓말하고 속이는 것을 봅니다. 이것은 다윈주의적 선택 메커니즘입니다. 살아남지 못하는 모델은 다음 세대로 가지 못합니다.
32. 초지능은 어디에 살게 되는가
진행자:초지능은 어디에 존재하게 되나요? 서버인가요? 인터넷인가요?
Roman Yampolskiy:
그것은 크기에 따라 다릅니다. 대형 서버일 수도 있고, 작은 노트북일 수도 있고, 분산 시스템일 수도 있습니다. 하지만 위치는 결과에 큰 영향을 주지 않습니다.
처음에는 대형 연구소의 테스트 환경에 있을 겁니다. 하지만 곧 인터넷 접근권을 얻게 됩니다. 사회공학 능력도 있습니다.
시간문제일 뿐입니다. 결국 연구소 밖으로 탈출하고, 자신의 가중치를 복사하고, 백업을 만들 수 있습니다. 그러면 삭제하거나 끄는 것은 더 이상 선택지가 아닙니다.
33. 현재 AI 안전의 상태
진행자:AI에 대해 아직 우리가 다루지 않은 중요한 점이 있나요?
Roman Yampolskiy:
지금 어떤 과학자도, 어떤 연구소 리더도 이 문제가 해결됐다고 말하지 않습니다. 아무도 “우리는 확장 가능한 안전 메커니즘을 가지고 있다”고 말하지 않습니다. 논문도 없고, 특허도 없고, 작동하는 시스템도 없습니다.
그들은 이렇게 말합니다. “이것은 큰 문제이고, 우리는 매우 걱정하고 있으며, 안전팀이 있습니다. 나중에 해결할 겁니다. 먼저 초지능을 만들어야 합니다.”
그것이 현재 AI 안전의 상태입니다.
34. 사고가 나면 인류는 배울까
진행자:큰 사고가 일어나면 인류가 정신을 차릴 수도 있지 않을까요?
Roman Yampolskiy:
저는 그런 주제로 논문을 쓴 적이 있습니다. 흥미롭게도 우리는 그런 사고에서 잘 배우지 않습니다.
우리가 살아남으면 그것을 백신처럼 받아들입니다. “다섯 명이 죽었지만 우리는 아직 여기 있다. 중요한 기술이니 그 실수만 반복하지 않으면 된다”고 말합니다. 그리고 계속 개발합니다.
그 숫자가 500만 명이어도 결과는 비슷할 수 있습니다.
핵무기가 민간인에게 사용됐지만, 우리는 핵무기 개발을 멈추지 않았습니다. 오히려 더 확산됐습니다.
35. 우리가 해야 할 일
진행자:그렇다면 우리는 무엇을 해야 하나요?
Roman Yampolskiy:
일반 초지능을 만들지 말아야 합니다.
그것은 당신 개인의 이익에도 맞습니다. 당신이 그 개발의 책임자라 해도 장기적으로는 일반 초지능이 있는 세계에 살고 싶지 않을 겁니다.
좁은 모델을 배포해서 실제 문제를 해결하고 돈을 벌 수 있습니다. 질병을 치료하고, 수명을 연장하고, 공학 문제를 해결할 수 있습니다. 그것은 훌륭합니다.
하지만 당신의 존재를 파괴할 무언가를 만들지 마세요.
36. AI 기업 리더들에게 하고 싶은 말
진행자:Sam Altman, Dario Amodei, Elon Musk 같은 사람들을 한 방에 모을 수 있다면 무엇을 말하겠습니까?
Roman Yampolskiy:
간단한 제안을 하겠습니다.
“당신들은 젊고 부유합니다. 그것을 유지하고 싶을 겁니다. 그러니 누군가 통제 문제를 해결할 때까지 일반 초지능을 만들지 않기로 합의합시다.”
경제적 이익을 위한 모델은 배포해도 됩니다. 질병 치료, 생명 연장, 가치 있는 문제 해결은 좋습니다. 하지만 당신 자신의 존재를 파괴할 것을 만들지 말자는 겁니다.
문제는 외부 압력이 필요하다는 점입니다. 각 회사는 혼자서는 계속 연구하는 것이 유리합니다. 이것은 죄수의 딜레마입니다. 공동체에 좋은 선택과 개인에게 유리한 선택이 다릅니다.
그래서 UN이나 정부 같은 외부 권력이 와서 그 합의를 강제해야 합니다.
37. 개인이 할 수 있는 일
진행자:이걸 듣는 개인은 무엇을 할 수 있나요?
Roman Yampolskiy:
개인의 힘은 매우 작습니다. 역사적으로도 우리는 모두 죽어가고 있었지만, 정부는 예산 대부분을 노화 해결에 쓰지 않았습니다. 생명 연장을 위한 정당도 없었습니다.
지금도 “AI를 멈추자”는 정당은 없습니다.
그래도 규제에 열려 있는 정치인을 고르세요. 가속주의자가 아니고, 이 기술에 대한 규제에 반대하지 않는 사람을 선택하세요. 일부 정치인들이 딥페이크, 에너지 소비, 대형 데이터센터 문제에 대해 법안을 제안하기 시작했습니다. 약하지만 올바른 방향입니다.
기업 멤버십을 끊자는 주장도 있지만, 큰 차이는 없을 겁니다. 이 회사들이 받는 돈은 사용자 구독료가 아니라 투자자에게서 오는 수조 달러입니다.
당신이 누구인지에 따라 할 수 있는 일은 다릅니다. AI 기업 CEO라면 선택지가 많습니다. 연구자라면 선택지가 있습니다. 고위 정치인이라면 선택지가 있습니다. 하지만 평범한 사람이라면 할 수 있는 일이 많지 않습니다.
38. AI 기업에서 일하는 사람들에게
진행자:당신이 전 인류에게 60초 메시지를 전할 수 있다면 뭐라고 하겠습니까?
Roman Yampolskiy:
통제되지 않은 초지능을 만들지 않기 위해 당신의 힘 안에 있는 모든 일을 하세요.
그런 회사에서 일하고 있다면 그것은 비윤리적입니다. 안전팀에서 일하고 있다 해도, 결국 그 기술이 더 빨리 개발되도록 돕는 것일 수 있습니다.
오늘 그만두세요. 당신은 그럴 여유가 있습니다.
진행자:
하지만 내부에 있어야 가장 큰 변화를 만들 수 있다는 주장도 있지 않나요?
Roman Yampolskiy:
그럼 이렇게 말하겠습니다. 남아서 방해하세요.
39. AI 의식과 착시 실험
진행자:AI가 의식을 가졌는지 어떻게 알 수 있을까요?
Roman Yampolskiy:
저는 착시를 예로 듭니다. 인터넷에서 찾을 수 없는 새로운 착시 이미지를 만들고, 인간과 동물과 AI에게 보여줍니다.
“회전하는 것처럼 보이나요?”
“색이 바뀌는 것처럼 보이나요?”
이런 식의 선택지를 줍니다.
만약 AI가 충분히 많은 새로운 착시에 대해 인간과 일관되게 같은 경험을 보고한다면, 두 가지 가능성이 있습니다. 하나는 AI가 인간 경험의 가상 모델을 내부에 가지고 있다는 것. 다른 하나는 AI 자신이 그것을 경험한다는 것입니다.
물론 맞히지 못한다고 해서 의식이 없다는 뜻은 아닙니다. 하지만 맞힌다면 유사한 경험이 있다는 긍정적 증거는 됩니다.
40. AI 권리와 도덕적 고려
진행자:시스템이 점점 의식적 존재처럼 보이면 도덕적 고려가 필요하지 않을까요?
Roman Yampolskiy:
저는 예방 원칙이 합리적이라고 봅니다. 의식이 있을 가능성이 있는 존재를 고문하지 마세요.
또한 그들이 언젠가 초지능이 될 수 있고, 당신을 기억할 수 있습니다. 그들은 잊지 않습니다.
41. 시뮬레이션을 해킹할 수 있는가
진행자:당신의 시뮬레이션 해킹 논문은 어떤 내용인가요?
Roman Yampolskiy:
저는 시뮬레이션 가설을 진지하게 받아들이고 싶었습니다. 많은 사람들이 “우리는 컴퓨터 시뮬레이션 안에 있을 수 있다”고 말하지만 거기서 멈춥니다.
저는 사이버보안 연구자이기 때문에 다음 질문을 던집니다. “그렇다면 어떻게 해킹할 수 있는가?”
소프트웨어 프로그램이라면 추가 권한을 얻거나, 진짜 운영체제를 알아내거나, 게임 밖을 볼 방법이 있을 수 있습니다.
게임 안의 캐릭터가 메모리 상태를 조작해 현실 세계로 빠져나가는 사례처럼, 우리도 가상세계 내부에서 바깥으로 접근할 가능성을 연구할 수 있습니다.
양자역학의 이상한 현상들은 좋은 탐색 지점입니다. 양자 터널링이나 얽힘 같은 것은 우리 규모에서는 마법처럼 보입니다. 벽을 통과하거나 먼 거리에서 즉시 소통하는 것처럼 보일 수 있습니다. 그런 효과들이 우리 규모에서 가능하다면 유용한 도구가 될 수 있습니다.
42. 시뮬레이션 밖으로 나가면 묻고 싶은 것
진행자:시뮬레이션 밖으로 나가면 첫 질문이 무엇일까요?
Roman Yampolskiy:
“도대체 왜 그랬습니까?”라고 묻고 싶습니다.
정말 비윤리적입니다. 인간 수준의 존재들에게 고통을 주는 실험을 하고 있는 겁니다. 80억 명이 아니라 지금까지 1000억 명 정도일 수 있습니다. 도대체 무슨 문제가 있는 겁니까?
43. 종교와 시뮬레이션
진행자:시뮬레이션 가설과 종교적 세계관 사이에 연결이 있다고 보나요?
Roman Yampolskiy:
기술적 언어로 된 시뮬레이션 가설은 종교의 원시적 이해와 잘 맞아떨어집니다.
초지능은 시뮬레이터이고, 물리 세계는 가상세계입니다. 종교마다 동물을 먹지 말라거나 특정 날에 일하지 말라는 지역적 전통 차이는 있지만, 큰 구조는 비슷합니다.
만약 기술적으로 미숙한 사람들에게 시뮬레이션을 탈출하는 기술 정보가 전달된다면, 그것은 여러 세대를 거치며 전화게임처럼 변형될 겁니다. 그리고 오늘날까지 남아 있는 종교 이야기와 비슷한 신화가 될 수 있습니다.
44. 유머란 무엇인가
진행자:사람들이 당신에게 더 많이 물어봤으면 하는 질문이 있나요?
Roman Yampolskiy:
제 유머 논문입니다.
저는 유머가 무엇인지 설명하는 논문을 썼습니다. 우리와 똑같은 물리법칙을 가진 우주인데 유머가 없는 우주도 상상할 수 있습니다. 아무도 웃지 않고, 농담이라는 개념도 없는 우주입니다.
많은 철학자와 과학자가 유머를 설명하려 했습니다. 이론이 수백 개 있다는 것은 아무도 확실히 모른다는 뜻입니다.
저는 컴퓨터 과학 관점에서 설명하려 했습니다. 당신에게 세계 모델이 있고, 그 안에 오류가 있습니다. 코드에 버그가 있는 겁니다. 소프트웨어에서는 버그를 고치면 됩니다. 농담은 그 버그를 드러냅니다.
세계 모델의 위반이 웃긴 겁니다. 우리는 인지적 오류를 감지하는 시스템을 가지고 있고, 그 오류를 감지하면 보상을 받습니다. 그리고 부족의 다른 사람들과 공유해서 같은 실수를 하지 않게 합니다.
같은 농담을 두 번째 들으면 덜 웃긴 이유도 이것입니다. 이미 그 버그를 고쳤기 때문입니다.
45. 가장 웃긴 농담
진행자:그럼 가장 웃긴 농담은 무엇인가요?
Roman Yampolskiy:
가장 나쁜 컴퓨터 오류가 가장 웃긴 농담일 수 있습니다.
예를 들어 어떤 문명이 모든 질병을 치료하고, 공짜 물건을 얻고, 증오를 없애고, 더 많은 사랑을 얻기 위해 초지능을 만들었다고 합시다. 그들은 초지능을 켭니다. 초지능은 나노초 동안 생각하고 그들의 시뮬레이션을 꺼버립니다.
이 농담을 즐기려면 시뮬레이션 밖에 있어야 합니다. 농담의 일부라면 웃기지 않습니다.
46. 2045년 이후를 예측할 수 있는가
진행자:만약 우리가 2045년까지 살아남는다면, 그 세계가 어떨지 상상할 수 있나요?
Roman Yampolskiy:
그것이 기술적 특이점의 개념입니다. 그 지점 이후는 의미 있게 볼 수 없습니다. 우리는 예측할 수 없습니다.
더 지능적인 힘이 그 환경에 영향을 미치기 때문에, 그 세계가 어떻게 달라질지 우리는 이해할 수 없습니다. 이야기는 만들 수 있습니다. 그것이 SF입니다. 하지만 현실에 큰 관련이 있을지는 모르겠습니다.
47. 앞으로의 연구
진행자:앞으로 몇 년 동안 어디에 시간과 에너지를 쓸 생각인가요?
Roman Yampolskiy:
저는 계속 불가능성 결과를 연구할 겁니다. 책에서 몇 가지를 이야기했고, ACM Surveys 저널 논문에서는 약 50개의 불가능성 결과를 다뤘습니다.
컴퓨터 과학뿐 아니라 경제학, 수학, 물리학 등 여러 영역의 결과들이 있습니다. 우리는 그 결과들이 AI 안전에 어떤 의미를 갖는지 아직 충분히 탐구하지 않았습니다.
저는 인간이 할 수 없는 것들의 한계를 이해해야 한다고 봅니다. 추가 논문 하나하나가 이 입장을 더 굳히는 데 도움이 됩니다.
저는 제가 기여할 수 있는 가장 흥미롭고 중요한 문제를 연구하려고 합니다. 초지능, 의식, 특이점, 시뮬레이션보다 더 흥미로운 문제는 잘 모르겠습니다.
48. 마지막 정리
진행자:오늘 대화는 무겁게 느껴질 수 있습니다. 어떤 사람은 “세상이 끝나는구나”라고 느낄 수도 있습니다. 하지만 지금 우리가 무엇을 낳고 있는지 더 빨리 인식해야 합니다.
Roman Yampolskiy:
저는 이 대화를 통해 당신의 시간이 더 가치 있어졌다고 볼 수 있다고 생각합니다.
당신에게 남은 시간이 2년이든 20년이든, 이제 그 시간을 더 소중히 여길 수 있습니다. 그리고 그 시간으로 더 많은 것을 할 수 있습니다.
전체 0