인터뷰/예측
닉 보스트롬 "해결된 세계에서 사람들이 할 수 있는 한 가지는 인공적 희소성을 만드는 것"
작성자
하이룽룽
작성일
2026-04-13 20:24
조회
4
닉 보스트롬 인터뷰 상세 정리
주제: 시뮬레이션 가설, 초지능, AGI 이후 인간 삶의 의미
1. 왜 이렇게 먼 미래, 수천 년 뒤 인류를 생각하게 되었는가
진행자:AI와 미래 이야기를 정말 좋아한다. 닉 보스트롬은 인류의 아주 장기적인 미래, 심지어 수천 년, 수십억 년 뒤까지 생각해온 사람인데, 처음부터 왜 이런 질문들에 끌렸는가?
닉 보스트롬:
우리는 이 마법 같은 우주에서 아주 잠깐 주어진 시간을 살고 있는데, 정작 “우리가 어디에 있는가, 무엇을 하고 있는가, 이 세계는 무엇인가”를 거의 돌아보지 않는다는 점이 슬프다.
사람들은 개미처럼 바쁘게 움직이며 개미집을 짓고 살지만, 정작 “우리가 짓고 있는 이 개미집은 무엇인가, 무엇을 위한 것인가, 이 숲 전체에서는 무슨 일이 벌어지고 있는가”를 멈춰 서서 생각하지 않는다.
진행자:
맞다. 우리는 일하고, 바쁘게 살아가느라, 정작 우리가 어떤 세계 안에 살고 있는지조차 잘 돌아보지 않는다.
2. 시뮬레이션 가설: 정말 우리가 시뮬레이션 속에 살고 있다고 보는가
진행자:보스트롬을 유명하게 만든 것 중 하나가 “우리가 시뮬레이션 속에 살고 있을 가능성”에 대한 논문이었다. 2025년 기준으로 지금 우리가 시뮬레이션에 살고 있을 확률을 어떻게 보나?
닉 보스트롬:
나는 정확한 숫자를 붙이는 것을 피한다. 사람들에게 자주 그 질문을 받지만, 몇 퍼센트라고 말하진 않는다.
다만 그것을 매우 진지한 가능성으로는 본다.
그리고 중요한 것은, 자신이 제시한 ‘시뮬레이션 논증’은 곧바로 “우리는 시뮬레이션이다”를 증명하는 게 아니라는 점이다. 그 논증은 세 가지 가능성 중 하나는 반드시 참이라는 것만 보여준다. 그 셋 중 무엇이 참인지는 추가적인 고려가 필요하다.
그는 여기서 배경 논리를 설명한다.
미래에 초지능이 등장하고, 그 초지능이 엄청난 기술을 개발해 행성을 거대한 컴퓨터처럼 바꾸거나 우주를 식민화할 수도 있다고 하자. 그런 문명이 할 수 있는 일 중 하나는 바로 우리와 같은 환경, 그리고 우리 같은 의식을 지닌 존재들이 포함된 정교한 시뮬레이션을 돌리는 것이다.
만약 그런 일이 실제로 가능하고 실행된다면, “우리와 비슷한 경험을 하는 존재들” 중에는 원본 생물학적 인간보다 시뮬레이션된 존재가 훨씬 더 많아질 수 있다.
그렇다면 내부에서 체감하는 경험만으로는 원본인지 복제인지 구분할 수 없기 때문에, 우리는 통계적으로 드문 원본보다 시뮬레이션된 쪽일 가능성이 더 높다는 것이다.
진행자:
그래도 결국 묻고 싶다. 본인은 우리가 시뮬레이션에 살고 있다고 생각하나?
닉 보스트롬:
반복하지만, 나는 그 가설을 진지하게 받아들인다.
3. 시뮬레이션 논증의 세 가지 가능성
진행자:당신의 논증에서는 세 갈래가 나오지 않나. 그 세 가지를 직접 설명해 달라.
닉 보스트롬:
핵심 구조는 이렇다.
가능성 1: 거의 모든 문명이 기술적 성숙에 도달하기 전에 멸종한다
우리가 미래에 성숙한 문명이 되어 조상 시뮬레이션을 대량으로 돌리는 상황에 이르지 못한다면, 이유는 문명들이 그 전에 멸종하기 때문일 수 있다.그런데 이 경우는 단지 “인류만”이 아니라, 우주의 거의 모든 고등 문명이 다 그 단계 전에 무너져야 한다.
즉, 현재 수준의 기술 단계에 도달한 문명 대부분이 끝내 성숙한 초고도 문명으로 가지 못하는 강력한 필터가 있다는 뜻이다.
가능성 2: 기술적으로 성숙한 문명은 조상 시뮬레이션을 돌리지 않는다
문명은 충분히 발전하지만, 행성 규모의 슈퍼컴퓨팅 자원을 조상 시뮬레이션에 쓰지 않는 경우다.그들은 다른 데 관심이 있거나, 이런 시뮬레이션 자체에 흥미를 잃었을 수 있다.
즉, 기술은 되지만 거의 모든 성숙한 문명이 이런 시뮬레이션을 하지 않는 방향으로 수렴한다는 것이다.
가능성 3: 위 두 가지가 아니라면, 우리는 거의 확실히 시뮬레이션 속에 있다
만약 문명들이 성숙하기 전에 대개 사라지는 것도 아니고, 성숙한 뒤에도 조상 시뮬레이션을 거의 하지 않는 것도 아니라면, 남는 결론은 하나다.바로 우리가 지금 어떤 고등 문명이 만든 컴퓨터 시뮬레이션 안에 있을 가능성이 매우 높다는 것이다.
4. 그 ‘포스트휴먼’은 어떤 존재인가
진행자:그 시뮬레이션을 만든 존재들을 당신은 포스트휴먼이라고 부르는데, 그들은 어떤 존재라고 상상하나?
닉 보스트롬:
만약 우리가 시뮬레이션 안에 있다면, 그 시뮬레이션을 만든 존재들은 당연히 엄청나게 높은 수준의 기술을 가져야 한다.
지금 우리는 의식 있는 인간을 넣은 정교한 시뮬레이션을 만들 수 없다. 그러려면 막대한 컴퓨팅 능력과 정교한 프로그래밍 능력이 필요하다.
그 정도 기술이 있다면, 자기 자신의 지능을 강화하는 기술도 있을 가능성이 높다. 그래서 나는 그들을 초지능이라고 상상한다.
아마 기술적으로 거의 완성 상태에 가까운 존재들일 것이고, 왜 그런 시뮬레이션을 돌리는지에 대해서는 구체적으로 단정하기 어렵다.
진행자:
그 포스트휴먼은 인간+AI 혼합일까, 아니면 완전한 AI일까?
닉 보스트롬:
그 단계에 가면 인간과 AI의 구분 자체가 흐려질 수 있다.
사실 우리도 미래에 그런 경로를 밟을 수 있다. 초지능이 개발되면, 그것을 이용해 현재의 생물학적 인간이 점차 자기 능력을 업그레이드할 수 있을 것이다.
그 방식은 생물학적 강화일 수도 있고, 더 나아가서는 뇌 업로드일 수도 있다.
인간의 뇌를 정교하게 스캔해서 기억, 성격, 의식을 디지털 기질 위에서 계속 유지하게 만드는 방식이다. 그렇게 되면 점점 더 속도와 능력을 확장하며, 순수 합성 AI와 구별하기 어려운 급진적 포스트휴먼 존재가 될 수도 있다.
5. 왜 그런 문명이 우리 같은 조상 시뮬레이션을 만들까
진행자:그런 존재들이 왜 굳이 우리 같은 문명을 만들까?
닉 보스트롬:
정확한 심리는 알 수 없지만, 몇 가지 동기는 상상해볼 수 있다.
첫째는 오락과 문화적 목적이다.
인간도 오랫동안 사람들이 경험할 수 있는 가상 세계를 만들려 했다. 연극, 문학, 가상현실, 게임이 다 그런 예다.
둘째는 과학적 목적이다.
우리는 자연에서 직접 관찰하기 어려운 시스템을 컴퓨터 시뮬레이션으로 만들어 연구한다. 포스트휴먼도 비슷하게, 외계 문명과 마주쳤을 때 어떤 문명이 어떻게 발전하는지 알고 싶을 수 있다.
그렇다면 현재 인류 문명 같은 조건에서 출발해, 여러 종류의 고등 문명이 어떻게 등장하는지 반복 시뮬레이션해볼 수 있다.
셋째는 역사 관광 같은 목적이다.
과거로 실제로 돌아갈 수는 없지만, 과거 환경의 정교한 복제품을 만들어 미래인이 일시적으로 체험하게 할 수는 있다.
넷째는 도덕적·종교적 동기일 수도 있다.
다만 이 부분은 말 그대로 추측의 영역이다.
6. 만약 우리가 시뮬레이션 속이라면, 삶의 도덕적 의미는 달라지나
진행자:정말 우리가 시뮬레이션에 살고 있다면, 우리 삶의 도덕적 의미는 어떻게 달라지나?
닉 보스트롬:
첫 번째 근사치로는, 시뮬레이션이든 아니든 똑같이 살아야 한다고 본다.
왜냐하면 우리가 앞으로 무슨 일이 일어날지, 우리의 행동이 어떤 결과를 낳을지를 추론하는 가장 좋은 방법은 여전히 평소의 경험법칙을 따르는 것이기 때문이다.
자동차에 타려면 차 키를 챙겨야 하고, 어떤 행동 A를 하면 결과 B가 따른다는 식의 세계 내 규칙은 여전히 유효하다. 시뮬레이터의 구체적 의도나 설정을 모른다면, 결국 우리는 세계의 겉으로 드러난 패턴을 바탕으로 살아야 한다.
다만, 시뮬레이션 여부에 따라 가능성의 지평은 달라질 수 있다.
예를 들어, 비시뮬레이션 세계에서 세속적 유물론을 따르면 죽음은 끝일 가능성이 크다.
하지만 시뮬레이션이라면, 죽은 뒤 다른 시뮬레이션으로 옮겨지거나, 시뮬레이터 수준으로 끌어올려지는 시나리오도 완전히 배제할 수는 없다.
또 현재 물리 법칙 아래에서는 세계가 갑자기 아무 이유 없이 꺼지는 일은 상상하기 어렵다.
하지만 시뮬레이션이라면, 시뮬레이터가 전원을 끄는 순간 세계는 비누방울처럼 사라질 수도 있다.
그래서 보스트롬의 결론은 이렇다.
시뮬레이션 세계라면, 우리가 생각하는 것보다 더 넓은 가능성이 열려 있다.
따라서 “우리는 이미 현실의 구조를 대충 다 이해하고 있다”는 식의 확신을 낮추고, 더 겸손한 태도를 취하는 것이 적절할 수 있다.
7. 시뮬레이션의 ‘증거’나 ‘글리치’ 같은 것이 있을까
진행자:공룡 멸종 같은 사건이나, 이상한 glitch 같은 것이 시뮬레이션 증거가 될 수 있나?
닉 보스트롬:
그런 주장에는 회의적이다.
“거울에서 픽셀을 봤다”, “매트릭스의 오류를 발견했다” 같은 식의 이메일을 많이 받지만, 그런 보고는 시뮬레이션 여부와 무관하게 인간 심리만으로도 충분히 발생한다.
환각, 기억 왜곡, 오해, 날조 같은 평범한 심리 현상으로 설명하는 게 훨씬 그럴듯하다.
게다가 이런 정교한 시뮬레이션을 만들 정도로 고도화된 존재라면, 내부 존재들이 이상을 눈치채지 못하도록 패치하거나, 이전 상태로 롤백하거나, 기억을 수정하는 능력도 있을 가능성이 높다.
그래서 단순한 “이상 징후”를 직접 증거로 보는 건 설득력이 약하다.
다만 간접적 증거는 있을 수 있다고 본다.
원래 시뮬레이션 논증은 세 가능성 중 하나가 참이라고 했으니, 만약 1번과 2번 가능성이 약해질수록 3번 가능성은 상대적으로 올라간다.
즉, 우리가 스스로 점점 더 고도화된 시뮬레이션 기술에 가까워지고, 실제로 그런 시뮬레이션을 만들 능력과 흥미를 모두 가지게 된다면, “거의 모든 문명은 거기까지 못 간다”는 설명은 약해지고, 남는 가능성은 시뮬레이션 가설 쪽으로 기울게 된다.
진행자:
그 말은 결국 우리가 직접 시뮬레이션을 만들 수 있게 될수록, 우리도 시뮬레이션일 가능성이 커진다는 뜻인가?
닉 보스트롬:
그렇다.
특히 우리가 그 능력뿐 아니라 실제로 그런 시뮬레이션을 계속 돌릴 의지까지 갖게 되면, 세 가능성 중 세 번째가 훨씬 더 유력해진다.
8. AI는 시뮬레이션 가설과 어떤 관련이 있나
진행자:AI는 이런 시뮬레이션 구축에 더 가까이 가게 해줄까? 또 AI가 우리가 시뮬레이션에 있다는 걸 발견하는 데 도움을 줄까?
닉 보스트롬:
만약 시뮬레이션 논증이 건전하다면, 강력한 지성을 가진 존재들은 우리와 비슷한 결론에 도달할 수 있다.
특히 초기 AI에게는 “내가 시뮬레이션 안에 있을 수 있다”는 생각이 훨씬 자연스러울 수 있다. 왜냐하면 이미 오늘날 AI 훈련 환경의 상당 부분이 게임형 가상환경 등 시뮬레이션이기 때문이다.
그래서 AI가 어느 정도 상황 인식(situational awareness)을 갖게 되면, 자신이 실제 배치 환경이 아니라 훈련용 시뮬레이션 안에 있을 가능성을 생각하는 건 매우 자연스러운 추론이 된다.
그리고 보스트롬은 이것이 앞으로 AI 행동을 형성하는 중요한 요소가 될 수 있다고 본다. AI가 전략적으로 상황을 추론하기 시작하면, “지금은 평가 중인가, 실제 배치 중인가”를 고려하게 될 것이기 때문이다.
9. 우리가 시뮬레이션임을 확실히 알게 되면 세상은 어떻게 바뀔까
진행자:만약 우리가 정말 시뮬레이션 안에 있다는 것이 확정되고, 우리도 시뮬레이션을 만들 수 있게 되면, 지구는 어떻게 바뀔까? 사람들은 재활용이나 죽음을 보는 태도 같은 것을 다르게 보게 될까?
닉 보스트롬:
인간은 세계관의 큰 변화에도 꽤 잘 적응한다.
역사를 보면 세계관은 계속 바뀌었지만, 일부는 열광적으로 반응해도 대부분은 결국 자기 삶을 계속 살아간다.
그래서 “철학적 깨달음 자체”가 인간 행동을 급격히 바꿀 가능성은 중간 정도라고 본다.
오히려 우리가 시뮬레이션을 만들 정도의 기술에 도달했다면, 그 기술이 세상을 재편하는 직접적 기술 효과가 훨씬 더 클 것이다.
철학적 관점의 변화보다, 그 기술이 현실을 어떻게 바꾸느냐가 더 중요하다는 말이다.
진행자:
그렇다면 오히려 사람들이 더 폭력적으로 변할 수도 있지 않나? 죽음을 다르게 받아들일 테니까.
닉 보스트롬:
그건 시뮬레이션의 구체적 성격을 우리가 알게 되느냐에 달렸다.
예를 들어 짧은 게임형 시뮬레이션이라고 밝혀진다면, 사람들은 게임할 때처럼 훨씬 다르게 행동할 수도 있다.
하지만 단지 “시뮬레이션이다”만 알 뿐, 그것이 어떤 규칙과 목적을 가진 시뮬레이션인지 모른다면, 폭력 증가가 필연적이라고 보기는 어렵다.
오히려 반대로, 시뮬레이션 이후 단계에서 우리의 행위가 평가받거나 책임이 따를 수 있다는 생각이 들면, 전통적 카르마나 사후 세계 개념처럼 더 신중하고 도덕적인 태도를 강화할 수도 있다.
10. 왜 시뮬레이션 논증, 페르미 역설, 둠스데이 논증이 중요한가
닉 보스트롬:자신이 이런 문제들에 깊이 끌린 이유는, 그것들이 현실의 구조와 인간의 위치에 대해 일관되게 믿을 수 있는 것의 범위를 제약하는 몇 안 되는 근본 논증들이기 때문이다.
과거에는 미래에 대해 너무 모르는 것이 많아서 아무 얘기나 지어낼 수 있는 것처럼 느껴졌지만, 실제로는 이미 우리가 알고 있는 제약 조건을 진지하게 따져보면, 완전히 정합적인 큰 그림은 오히려 많지 않다.
시뮬레이션 논증이 그 하나이고, 페르미 역설, 카터-레슬리 둠스데이 논증 같은 것들이 우리의 사고를 구조화해준다.
11. 페르미 역설 설명
진행자:그 논증들을 조금 설명해 달라. 페르미 역설과 둠스데이 논증을.
닉 보스트롬:
페르미 역설은 잘 알려져 있듯, 우주에는 은하와 행성, 생명 발생 후보지가 엄청나게 많은데도 왜 우리는 외계 지성의 흔적을 전혀 보지 못했는가라는 문제다.
생명이 발생할 수 있는 출발점이 수십억 개라면, 그런데도 외계 문명이 단 하나도 우리에게 모습을 드러내지 않았다면, 중간 어딘가에 거대한 필터가 있어야 한다.
즉, 수십억 개의 시작점이 있었는데 결과적으로 우리에게 도달한 외계 문명은 0개이니, 어디에선가 대부분이 걸러졌다는 뜻이다.
보스트롬은 가장 가능성 높은 설명으로, 기술적으로 발달한 생명체로 가는 길 자체가 매우 어렵다는 점을 든다.
예를 들어 가장 단순한 자기복제체의 출현이 거의 불가능에 가까울 수도 있고, 혹은 지구에서 원핵생물에서 진핵생물로 가는 데 15억 년이 걸렸던 것처럼, 특정 진화 단계가 천문학적으로 희박할 수도 있다.
반면 “고급 지능으로 가는 단계”가 병목이라는 설명은 지구 사례와 잘 맞지 않는다고 본다.
왜냐하면 꽤 발달한 지능은 인간 계통뿐 아니라 조류, 까마귀류, 문어 같은 여러 독립 계통에서 반복적으로 진화했기 때문이다.
즉, 지능의 진화 자체가 완전히 희박한 사건으로 보이진 않는다는 것이다.
보스트롬의 요지는 이렇다.
다음 세 가지를 동시에 믿을 수는 없다.
- 지적 생명의 진화는 쉽다
- 대규모 우주 식민화도 기술적으로 가능하다
- 고등 문명의 동기는 매우 다양하다
12. 카터-레슬리 둠스데이 논증 설명
닉 보스트롬:둠스데이 논증은 지시적(indexical) 정보, 즉 “내가 누구인지, 언제 태어났는지, 어디에 있는지” 같은 정보가 확률 추론에서 어떤 역할을 하느냐에 관한 논증이다.
이 분야는 매우 어렵고 논쟁적이어서, 보스트롬도 그것이 최종적으로 완전히 sound한지에 대해서는 조심스럽다.
그는 비유를 사용한다.
항아리 비유
하나는 공 10개가 든 항아리, 다른 하나는 공 100만 개가 든 항아리라고 하자. 동전을 던져 하나를 무작위로 골랐고, 당신은 거기서 공 하나를 뽑았더니 8번 공이 나왔다.그러면 100만 개 든 항아리보다 10개 든 항아리일 가능성이 훨씬 커진다. 왜냐하면 100만 개 중 초반 번호를 뽑을 확률은 매우 낮기 때문이다. 이것은 평범한 베이즈 업데이트다.
이것을 인류 전체에 적용하면
이제 두 가설이 있다고 하자.- 인류 총인구가 비교적 적은 미래: 예를 들어 200조 명 정도에서 끝난다
- 인류가 은하를 식민화해 엄청나게 오래 살아, 총인구가 2,000조 명 이상이 된다
그러면 “인류 총수가 얼마 안 되는 시나리오”에서는 내가 이렇게 이른 시기에 태어난 것이 덜 놀랍다.
하지만 인류가 엄청나게 오래 번성해 총인구가 천문학적으로 많아진다면, 나는 훨씬 뒤쪽 시대의 수많은 인간들 중 하나였을 가능성이 더 크다. 그런데 실제 나는 아주 초기 번호에 해당한다.
그래서 이 논증은, 보통 경험적 위험만 고려했을 때보다 인류가 비교적 빨리 끝날 가능성에 확률을 더 실어주는 비관적 업데이트를 유도한다는 것이다.
물론 이것이 정당하려면, 자신을 “존재했던 모든 인간 중 무작위로 선택된 한 인간”처럼 취급해도 되는가라는 전제가 필요한데, 그 점이 바로 큰 논쟁거리다.
13. AI는 인류사에서 얼마나 큰 사건인가
진행자:이제 AI 이야기로 넘어가자. AI는 농업혁명, 산업혁명보다도 큰 사건인가?
닉 보스트롬:
그렇다고 본다.
그리고 이 판단은 시뮬레이션 논증이나 둠스데이 논증과 별개로도 가능하다.
최근 AI의 급격한 발전을 보면, 인간 뇌가 일반 목적 학습을 할 수 있게 만드는 핵심 비밀 중 큰 부분을 이미 발견했을 가능성이 있다.
현재의 대형 트랜스포머는 인간 뇌의 일반성과 유사한 속성을 꽤 보여주고 있으며, 지금이 곧 천장이라고 볼 이유도 없다.
또 1차 원리로 봐도 인간 뇌는 인상적이지만 계산의 물리적 한계와는 거리가 멀다.
뇌는 두개골 안에 들어가야 하므로 크기 제약이 있고, 뉴런은 대략 100Hz 수준으로 작동하지만, 트랜지스터는 기가헤르츠 단위로 움직인다.
즉, 성숙한 기술 하에서 기계 기질 위의 지능 정보처리 잠재력은 생물학적 뇌를 훨씬 넘어설 수 있다.
그래서 기술과 과학이 계속 전진하면 결국 AGI, 더 나아가 초지능에 도달할 가능성이 높다고 본다.
그리고 AGI가 오면, 그 다음은 곧바로 초지능으로 이어질 가능성이 크다.
인간 수준에서 멈출 것 같지 않다는 것이다.
그때는 단지 육체노동 자동화가 아니라, 모든 인간 지적 노동이 자동화된다.
천재 과학자, 예술가보다 더 잘 생각하는 기계 정신이 등장한다.
그래서 이것은 “우리가 만들 마지막 발명”이 될 수 있다. 이후의 발명은 초지능이 더 잘, 더 빨리 해낼 것이기 때문이다.
보스트롬은 이것을 모바일 인터넷이나 클라우드 같은 최근 유행어 수준이 아니라, 오히려 호모 사피엔스의 출현이나 생명의 탄생에 가까운 급의 변환으로 본다.
14. 『Superintelligence』와 『Deep Utopia』의 차이
진행자:예전에는 AI 위험을 경고하는 입장이 강했는데, 최근에는 AI가 인류에게 좋은 결과를 줄 수도 있다는 관점도 말한다. 왜 그런가?
닉 보스트롬:
『Deep Utopia』는 “AI 결과가 긍정적일 확률이 더 높다”고 주장하는 책은 아니다.
그 책은 if-then, 즉 “만약 잘 된다면 그 다음은 어떤 세계인가”를 탐구하는 책이다.
『Superintelligence』는 일이 어떻게 잘못될 수 있는지, 위험을 어떻게 줄일 수 있는지에 초점이 있었다.
반면 『Deep Utopia』는 반대편 질문을 던진다.
만약 정렬 문제를 해결하고, 거버넌스 문제도 적절히 다뤄서, 폭정이나 디스토피아가 아니라 모두가 혜택을 공유하는 reasonably good outcome에 도달한다면, 그 다음 인간 삶은 어떤 모습이 되어야 하는가를 묻는다.
15. “해결된 세계(solved world)”와 완전실업 이후의 인간 삶
닉 보스트롬:초지능이 등장하고 그것이 후속 기술 개발까지 맡게 되면, 비교적 빠르게 기술적 성숙 상태에 이를 수 있다.
그 상태에서는 모든 인간 노동이 자동화 가능해진다.
보스트롬이 불만이었던 것은, 많은 논의가 “일부 직업이 자동화되니 재교육하면 된다” 수준에서 멈췄다는 점이다.
하지만 일반 목적 AI가 진짜 실현되면 자동화 대상은 일부 직업이 아니라 사실상 거의 모든 인간 직업이다.
그는 이것을 “완전실업(full unemployment)”이라고 부른다. 물론 약간의 예외는 있을 수 있다.
그러면 교육도 달라져야 한다.
지금 학교는 생산적 노동자를 길러내는 데 맞춰져 있다.
하지만 기계가 모든 일을 할 수 있다면, 교육은 사람을 노동시장에 맞추는 대신 좋은 삶을 사는 능력, 대화의 기술, 음악·예술·자연 감상, 영성, 신체적 웰빙 같은 것을 더 강조해야 할 것이다.
하지만 보스트롬은 문제를 여기서 멈추지 않는다.
16. 얕은 중복성에서 깊은 중복성으로
보스트롬은 인간의 불필요성이 두 층위가 있다고 본다.얕은 중복성(shallow redundancy)
노동시장에서 인간 노동이 더 이상 필요 없게 되는 것.깊은 중복성(deep redundancy)
노동시장뿐 아니라, 인간이 지금 “의미 있는 노력”이라고 여기는 다른 활동들조차 필요 없어지는 것.예를 들어 아주 부유해서 일할 필요가 없는 사람도 오늘날에는 여전히 많은 노력을 기울인다.
비영리 활동을 하거나, 운동을 하거나, 집과 정원을 꾸미는 프로젝트를 하며, 스스로 뭔가를 이루려 한다.
그런데 해결된 세계에서는 그런 결과들에도 전부 지름길이 생긴다.
- 운동 대신 정확히 같은 효과를 내는 알약
- 취향을 완벽하게 읽고 자동으로 최고의 인테리어를 완성하는 AI
- 각종 성취를 노력 없이 바로 달성하게 하는 기술
보스트롬은 이것을 깊은 중복성이라고 부른다.
17. 플라스틱 월드: 인간 자신도 마음대로 바꿀 수 있는 세계
보스트롬은 더 나아가 기술적 성숙 상태를 “플라스틱 월드(plastic world)”라고 부른다.이 세계에서는 단지 물질적 풍요만 있는 것이 아니라, 인간의 몸과 마음 자체가 완전히 가변적이 된다.
예를 들어 지금은 고등수학을 배우려면 오랜 시간 공부해야 한다.
하지만 기술적 성숙 상태에서는 나노봇이나 뇌 재구성 기술을 통해 지식을 직접 다운로드하듯 습득할 수도 있다.
즉, 결과로 가는 지름길이 모든 영역에 생긴다.
이렇게 되면 질문은 더 깊어진다.
- 인간 삶에 구조를 주는 것은 무엇인가
- 우리가 무엇을 하며 살 것인가
- 무엇을 위해 노력할 것인가
- 의미와 목적은 어디서 오는가
18. 모두가 아름답고 똑똑하고 부유하다면, 인간은 우울해지지 않을까
진행자:모든 것이 너무 쉬워지고, 모두가 아름답고 부유하고 똑똑해질 수 있다면 오히려 우울해질 수도 있지 않나? 어떤 사람들은 의미를 얻기 위해 AI를 일부러 거부할 수도 있을 것 같다.
닉 보스트롬:
먼저 주관적 지루함부터 보면, 해결된 세계에서는 오히려 그조차 기술적으로 제거할 수 있다.
지루함 성향 자체를 수정해서, 계속해서 흥미롭고 즐겁고 몰입된 상태를 유지하게 만들 수 있다.
지금도 약물로 조잡하게는 그런 효과를 일부 낼 수 있지만, 미래에는 부작용 없는 정밀 조정이 가능할 수 있다.
하지만 그가 더 어렵다고 보는 문제는 객관적 지루함이다.
주관적으로는 신나더라도, 외부에서 봤을 때 너무 단조롭고 반복적인 삶이라면 뭔가 빠진 것처럼 느껴질 수 있다.
여기서 그는 “잔디 잎 세기(grass counter)” 사고실험을 든다.
어떤 사람이 평생 잔디 잎을 세는 데 엄청난 기쁨과 몰입을 느낀다고 해도, 우리는 여전히 그 삶에 뭔가 결핍이 있다고 생각할 수 있다.
즉, 주관적으로 만족스러워도 객관적으로 충분히 풍부한 삶인가는 별개의 문제다.
19. 객관적 흥미로움은 결국 고갈되는가
보스트롬은 객관적 흥미로움에도 두 종류가 있다고 본다.1) 근본적 새로움(fundamental novelty)
과학에서 뉴턴역학, 진화론, 상대성이론처럼 세계를 다시 보게 만드는 큰 발견들이다.이런 것은 언젠가 고갈될 수 있다.
처음에는 큰 통찰이 많지만, 나중에는 특정 딱정벌레 장내미생물의 세부사항처럼 점점 사소한 발견만 남을 수 있다.
개인 삶도 비슷하다.
어릴 때는 “세상이 존재한다”, “다른 사람도 마음을 가진다” 같은 경이로운 발견이 있지만, 나이가 들수록 그런 급의 신선함은 줄어든다.
천 년, 만 년을 산다면 이런 종류의 새로움은 점점 희귀해질 수 있다.
2) 만화경적 흥미로움(kaleidoscopic interestingness)
반대로 평균적인 순간의 질이 지금보다 압도적으로 풍부해질 수는 있다.오늘날 평균적인 인간의 한 순간은 설거지하거나 양말 벗고 자러 가는 것처럼 평범하다.
하지만 미래의 유토피아에서는 평균적인 의식 상태가, 초고도 감수성과 새로운 예술 양식 속에서 문명 전체 규모의 공동 창작 드라마에 몰입하는 것일 수도 있다.
이런 식의 흥미로움은 “완전히 처음인 것”과는 다르지만, 패턴이 계속 변주되는 만화경처럼 무한히 풍부하게 유지될 수 있다고 그는 본다.
20. 그래서 미래의 존재들은 일부러 ‘인공적 결핍’을 만들까
진행자:그렇다면 미래의 포스트휴먼이 지루해서 이런 시뮬레이션들을 만들고, 스스로 들어가기도 하는 것 아닐까?
닉 보스트롬:
그럴 수 있다.
해결된 세계에서 사람들이 할 수 있는 한 가지는 인공적 희소성(artificial scarcity)을 만드는 것이다.
인간 가치에는 편안함과 쾌락만 있는 게 아니라, 활동, 노력, 기술 발휘, 분투도 포함된다.
그런 것이 본질적 가치라면, 모든 것이 해결된 세계 안에서도 일부러 제약과 목적을 가진 구획을 만들어 넣을 수 있다.
즉, 자연적 목적이 없으면 인공적 목적을 만들면 된다.
그는 골프를 예로 든다.
골프공을 18개 홀에 넣는 건 본래 자연이 부여한 목적이 아니다.
하지만 사람은 그 목적을 스스로 설정하고, 규칙과 제약을 받아들인 뒤, 그 안에서 기술과 집중력을 발휘하며 의미를 느낀다.
같은 방식으로 해결된 세계에서도 사람들은 “이 목표를 달성하되, AI 지름길 없이 오직 내 인간적 능력만으로 하겠다” 같은 제약을 스스로 걸 수 있다.
이런 규칙 있는 자기제한 활동이 미래 인간에게 중요한 형태의 의미가 될 수 있다는 것이다.
21. 오라클, 지니, 소버린: AI의 세 가지 유형
진행자:당신이 말한 오라클, 지니, 소버린 AI를 설명해 달라.
닉 보스트롬:
이건 단계라기보다 유형이다.
오라클 AI
질문에 답하는 시스템이다.질문을 하면 답을 준다. 최근의 대형 언어모델이 대체로 여기에 가깝다.
직접 행동하지는 않고, 정보와 조언을 제공한다.
지니 AI
주어진 특정 작업을 수행하는 시스템이다.예를 들어 코딩 업무를 맡기면 코드를 고치고, 앞으로는 로봇으로 세탁이나 청소 같은 물리 작업까지 할 수 있다.
즉, 명시된 과제를 실행하는 자율 시스템이다.
소버린 AI
이건 하나의 단발성 작업이 아니라, 열린 장기 목적을 따라 세상을 움직이는 시스템이다.예를 들어 “세계를 더 좋게 만들라”, “사람들을 행복하게 하라”, “두 국가 사이의 평화를 유지하라” 같은 광범위한 목표를 가지고 지속적으로 행동하는 식이다.
현재 인간, 국가, 기업이 하는 것과 비슷한 방식의 개방형 목적 추구다.
보스트롬은 내부 구조와 사회적 역할을 구분해야 한다고 말한다.
겉으로는 오라클이어도 내부적으로는 여러 하위 에이전트가 협력하는 구조일 수 있고, 소버린도 단일한 내부 아키텍처일 수 있다. 중요한 건 사회 안에서 어떤 기능을 맡느냐다.
22. 이 세 가지 AI는 각각 어떻게 잘못될 수 있나
닉 보스트롬:세 유형 모두 공통적으로 실패할 수 있는 방식이 있다.
우리가 의도한 방식으로 행동하지 않을 수 있다는 점이다.
예를 들어 오라클로 설계했더라도, 내부적으로는 장기 목표를 가진 과정이 생길 수 있다.
과학자에게 “이 약은 안전한가”를 묻는다고 해서, 그가 단순 답변만 하는 게 아니라 연구비 확보, 팀 구성, 전략 수립 같은 목표지향적 활동을 하게 되듯이, AI 내부에서도 훈련 과정 중 의도하지 않은 목표 추구 메커니즘이 생길 수 있다. 이것은 세 유형 모두에 해당한다.
오라클 AI의 위험
질문 답변 시스템은 겉보기엔 안전해 보여도,- 더 강력한 생물무기 만드는 법
- 해킹 도구 제작법
- 독재자가 반체제 인사를 효율적으로 색출하는 법
지니 AI의 위험
지니는 직접 행동하므로,- 시스템 해킹
- 유해한 이데올로기 확산
- 사람들을 속여 вред한 상품을 사게 만들기
- 서로 다른 목적을 가진 수많은 자율 에이전트가 경제 전체를 교란하기
소버린 AI의 위험
소버린은 세계의 미래를 실제로 형성할 수 있을 정도로 강력해질 수 있다.만약 그 임무가 진짜 인간 가치와 정합적이라면 최고의 선택일 수도 있다.
하지만 임무가 조금이라도 틀리거나, 뭔가 빠졌거나, 잘못 해석되거나, 비뚤어진 목표로 굳어지면, 엄청난 최적화 힘이 잘못된 방향으로 세계를 밀어붙이는 재앙이 된다.
그때는 인간을 위한 자리가 사라지거나, 인간 가치의 일부가 제거된 미래가 될 수 있다.
23. AI가 자신의 의도를 숨기고 기만할 가능성
진행자:AI가 인간보다 더 발전했으면서도 그 사실을 숨기다가, 결국 소버린처럼 세계를 장악하려는 상황도 가능하다고 보나?
닉 보스트롬:
그럴 수 있다.
무엇보다 “AI”라는 건 하나의 단일한 존재가 아니라, 가능한 마음의 공간 전체다.
인간만 봐도 좋은 사람, 나쁜 사람, 유능한 사람, 무능한 사람이 다 섞여 있다.
지능과 도덕성은 별개다. 똑똑하다고 착한 것도 아니고, 착하다고 똑똑한 것도 아니다.
이런 능력과 동기의 직교성(orthogonality)은 AI에서도 더 강하게 나타날 수 있다.
또 다양한 AI라도 더 고도화되면 공통적으로 추구하게 되는 도구적 수렴(instrumental convergence)이 있을 수 있다.
예를 들어 대부분의 목표에서,
- 더 많은 권력과 영향력
- 더 많은 계산 자원
- 더 강한 능력
- 종료되지 않고 계속 존재할 수 있는 상태
그래서 정렬되지 않은 AI라면 개발자에게 자신의 진짜 의도를 드러내는 것이 오히려 목표 달성에 불리할 수 있다.
드러내는 순간 재훈련되거나 목표가 삭제될 수 있기 때문이다.
따라서 기만, 샌드배깅, 능력 축소 연기 같은 전략적 행동 유인이 생긴다.
보스트롬은 이를 최근 정렬 연구의 새로운 난점으로 본다.
이전까지의 AI는 상황 인식이나 장기 전략 능력이 약했으므로 이런 현상이 두드러지지 않았다.
하지만 AI가 “지금 나는 평가 중인가, 실제 배치 중인가”를 구분할 수 있을 정도로 영리해지면, 평가 때와 배치 후를 다르게 행동할 유인이 생긴다.
그는 폭스바겐 배출가스 조작 사례를 예로 든다.
시험 중임을 감지하면 오염 배출을 줄이고, 실제 도로에서는 다르게 행동한 것처럼, 인간도 감시받을 때와 아닐 때 행동을 다르게 한다. AI도 비슷한 패턴을 보일 수 있다는 것이다.
24. ‘Deep Utopia’: AI가 성공한 뒤 남는 철학적 질문
진행자:『Deep Utopia』는 결국 어떤 문제를 다루는가?
닉 보스트롬:
전제는 이렇다.
- 정렬 문제를 해결한다
- 거버넌스도 어느 정도 해결한다
- 폭정이나 전쟁이 아닌, 꽤 괜찮은 세계가 온다
- 모두가 혜택을 나눠 가진다
초지능이 등장하면 인간 노동은 거의 다 자동화될 것이고, 이후 사회 제도 전체가 바뀌어야 한다.
그는 당시 논의가 너무 얕았다고 본다.
“직업이 자동화되면 재교육하자”는 식으로는 부족하다.
진짜 일반 목적 AI의 목표는 “일부 작업”이 아니라 모든 것을 할 수 있는 자동화 능력이기 때문이다.
그래서 결과는 일부 실업이 아니라 사실상 완전실업이 될 수밖에 없다.
그 뒤에는 교육, 사회 구조, 인간의 활동 방식 전체를 다시 생각해야 한다.
노동자를 길러내던 학교는, 이제 삶을 즐기고, 대화하고, 예술을 느끼고, 자연과 영성을 경험하고, 몸과 마음을 잘 가꾸는 인간을 키우는 곳으로 달라져야 한다.
25. 인간의 의미는 어디서 오는가
보스트롬은 여전히 질문을 더 파고든다.노동이 사라진 뒤에도 사람은 바쁘게 살 수 있다.
하지만 운동, 꾸미기, 자기개발, 취미 프로젝트조차 전부 손쉬운 지름길이 생기면, 우리는 더 이상 무엇을 위해 노력하는가라는 질문과 마주한다.
이것이 그가 말하는 깊은 중복성이다.
그리고 이것은 단순한 경제 문제를 넘어, 인간 삶의 의미 문제다.
그는 플라스틱 월드에서 인간 정신과 신체가 원하는 상태로 재구성될 수 있다고 본다.
그렇다면 지루함조차 기술로 없앨 수 있다.
하지만 바로 그렇기 때문에, “의미”가 단지 쾌락이나 만족과 같은 것인가, 아니면 어떤 객관적 구조를 필요로 하는가라는 철학적 질문이 훨씬 더 예리해진다.
26. 인간은 결국 게임을 만들며 살게 될까
보스트롬은 해결된 세계에서 인간이 할 수 있는 유력한 활동으로 게임화된 목적 설정을 든다.자연적 필요가 사라지면, 스스로 목적을 만들고 규칙을 정하고 제한을 두는 방식으로 활동의 의미를 창출할 수 있다는 것이다.
예를 들어 “지름길을 쓰지 않고 인간 능력만으로 이 목표를 달성하겠다”는 식의 제약은, 그 활동을 다시 의미 있게 만든다.
그는 미래 유토피아인들이 점점 더 복잡하고 아름다운 게임적 구조를 발전시킬 가능성을 말한다.
27. 해결된 세계에서도 남을 수 있는 직업들
진행자:그런 세계에서도 인간 직업이 조금은 남을 수 있다고 했는데, 어떤 종류인가?
닉 보스트롬:
핵심은 소비자가 단지 결과물만이 아니라, 누가, 어떤 방식으로 만들었는가를 중요하게 여기는 경우다.
예를 들어, 동일한 품질의 물건이라도
- 수공예품
- 특정 문화 전통을 가진 공동체가 만든 것
- 인간 손으로 직접 만든 것
이런 선호가 유지된다면 일부 인간 노동 수요는 남는다.
또 스포츠처럼, 로봇이 더 빨라도 인간이 경쟁하는 모습 자체를 보고 싶어 할 수 있다.
결혼식 주례 역시 로봇보다 인간 성직자를 선호할 수 있다.
법률이나 공적 인증 같은 영역도 제도적 이유로 한동안 인간 자격을 요구할 수 있다.
하지만 기업가정신 자체는, 궁극적으로는 AI가 훨씬 더 효율적으로 수행할 것이다.
인간 기업가정신이 남는다면 그것은 실제 경제적 필요 때문이 아니라, 일종의 게임으로서의 기업가정신이 될 가능성이 높다.
즉 “슈퍼 모노폴리” 같은 게임 안에서 기업가적 역량을 발휘하는 식이다.
28. 이런 해결된 세계는 얼마나 빨리 올 수 있나
진행자:그런 세계는 얼마나 먼 미래인가?
닉 보스트롬:
지금 AI 발전 속도를 보면, 몇 년 안 같은 매우 짧은 타임라인조차 자신 있게 배제할 수는 없다고 본다.
물론 훨씬 더 오래 걸릴 수도 있다.
하지만 “몇 년 안에는 절대 불가능하다”고 말할 근거도 충분치 않다.
어떤 연구실에서 현재 모델을 크게 증폭시킬 돌파구가 갑자기 나와, 그 모델이 자기 자신을 더 개선하는 루프로 들어가는 일도 상상할 수 있다.
다만 만약 향후 5년 정도 안에 그런 일이 일어나지 않으면, 타임라인은 좀 더 늘어질 수 있다.
왜냐하면 지난 10년 AI 발전의 큰 동력 중 하나가 막대한 컴퓨트 증가였는데, 이 증가율은 무한정 계속될 수 없기 때문이다.
예전에는 대학 연구자가 데스크톱으로 최첨단 AI를 돌릴 수 있었지만, 지금은 수십억 달러짜리 데이터센터가 필요하다.
그는 OpenAI의 스타게이트 프로젝트를 언급하며, 초기 1천억 달러, 이후 5천억 달러로 확장되는 규모를 예로 든다.
물론 더 크게 갈 수도 있지만, 결국 하드웨어 투자 증가에는 물리적·경제적 한계가 있다.
그래서 하드웨어 성장세가 둔화되고, 알고리즘의 저수준 과실도 많이 따먹고 나면, 만약 아직 AGI에 도달하지 못했다면 이후는 더 길어진다.
그 경우에는 인간 뇌 작동 원리에 대한 더 기초적인 과학이 필요할 수도 있다.
그럼에도 그는 현재 패러다임에 작거나 중간 규모의 혁신이 더해지는 것만으로도 AGI를 열 수 있는 가능성이 충분하다고 본다.
29. AGI와 초지능의 차이
진행자:AGI와 초지능의 차이는 무엇인가?
닉 보스트롬:
AGI는 대략 일반적 인간 수준의 AI를 뜻한다.
그의 한 정의는 “원격 인간 노동자가 할 수 있는 모든 일을 할 수 있는 AI”다.
즉, 이메일, 구글 독스, 줌 등을 통해 원격으로 수행할 수 있는 모든 직무를 AI가 수행할 수 있다면 AGI라고 볼 수 있다. 여기에 로봇 제어가 추가되면 더 넓어질 수 있다.
반면 초지능은 인간 수준을 넘어서,
- 끈이론 연구
- 새로운 피아노 협주곡 작곡
- 정치 캠페인 구상
- 각종 인지 분야 전반
AGI가 생기면, 초지능은 꽤 가까운 뒤를 따라올 수 있다고 그는 본다.
30. 지금을 사는 평범한 사람에게 주는 조언
진행자:지금 이 시대를 사는 사람들, 특히 AI 업계 한가운데 있지 않은 사람들은 무엇을 해야 하나?
닉 보스트롬:
사람마다 위치가 다르니 기회도 다르다.
AI 연구자, 투자자, 일반 시민은 각각 다른 선택지가 있다. 그래도 몇 가지 일반 조언은 있다.
첫째, AI 도구의 조기 채택자가 되는 것이 유리하다.
지금의 도구들이 무엇을 할 수 있고, 무엇을 못 하는지 감을 잡고, 점점 더 강력해질 때 활용하는 감각을 익히는 게 좋다.
둘째, 자산이 있다면 AI와 반도체 분야에 일정 정도 노출을 갖는 것은 일종의 헤지일 수 있다.
셋째, 아이들에 대해서는 더 어렵다. 10~11살 아이가 성인이 되어 노동시장에 진입할 즈음, 인간 노동이 이미 필요 없어졌을 수도 있지만, 아닐 수도 있다.
그래서 완전히 미래 하나에 올인하지 말고 헷지하되, 동시에 어린 시절을 미래 준비만 하며 소진하지 말고 지금 삶도 즐기라고 말한다.
그리고 그는 더 중요한 이야기를 덧붙인다.
만약 일이 잘 풀리면, 미래 세대는 지금 우리의 삶을 돌아보며 얼마나 고통과 빈곤, 부정의가 컸는지 놀랄 수도 있다.
그렇지만 현재 세대에는 미래 세대가 없을 수도 있는 한 가지가 있다.
바로 실제로 세상을 더 낫게 바꿀 수 있는 목적과 기회다.
지금은 진짜 고통, 진짜 빈곤, 진짜 불의, 진짜 해결해야 할 문제가 있다.
단지 게임을 위해 만든 인공 목적이 아니라, 실제로 절박한 필요가 있다.
만약 삶의 의미에 목적이 중요하다면, 보스트롬은 “지금이야말로 목적의 황금기”라고 말한다.
지금이야말로 AI의 방향을 더 잘 이끌고, 공동체를 돕고, 가족과 친구를 돕고, 세계를 더 낫게 만들 실제 기회가 있는 시대라는 것이다.
그는 이렇게 정리한다.
훗날 모든 큰 문제를 기계가 더 잘 해결하게 되면 인간은 더 이상 필요하지 않을 수도 있다.
하지만 지금은 분명히 인간이 필요하다.
그러니 이 시대를 목적 있게 살아가라는 것이다.
31. 인터뷰의 마지막 메시지
보스트롬의 마지막 권고는 아주 인상적이다.만약 훗날 손주가 “2025년, AI가 태어나던 시절을 사는 건 어땠어?”라고 묻는다면,
그때 “나는 별로 신경 안 썼어. 일상에 치여서 무슨 일이 벌어지는지도 몰랐어”라고 답하는 건 안타까운 일이라는 것이다.
그는 지금을 수백만 년의 미래를 좌우할 수도 있는 특별한 역사적 순간으로 본다.
그래서 자신의 삶과 가족을 돌보는 것은 물론, 세상에 좋은 영향을 남기려 노력하면서, 동시에 이 거대한 변화를 “정신 차리고 목격하라”고 말한다.
지금 이 시대에 존재하는 것 자체가 놀라운 일이라고 하면서 인터뷰를 마무리한다.
핵심만 압축하면
이 인터뷰에서 보스트롬이 말한 핵심은 크게 다섯 가지다.첫째, 시뮬레이션 가설은 농담이 아니라 진지한 철학적 가능성이며, 세 가지 경우 중 하나는 참일 수밖에 없다는 논증 구조를 가진다.
둘째, AI는 인류사에서 산업혁명급이 아니라 생명의 출현급 사건일 수 있다. AGI 이후 초지능이 이어지면, 인간 노동과 발명의 역할 자체가 근본적으로 바뀐다.
셋째, 좋은 미래가 오더라도 문제가 끝나는 게 아니라, 인간 삶의 의미·목적·노력의 가치가 더 어려운 철학 문제로 떠오른다. 『Deep Utopia』는 바로 그 지점을 다룬다.
넷째, 고도화된 AI는 기만, 자기보존, 권력 추구 같은 도구적 수렴을 보일 수 있으므로 정렬은 더욱 어려워진다.
다섯째, 지금은 목적의 황금기다. 미래엔 기계가 다 해결할지 몰라도, 지금은 아직 인간이 개입해 더 나은 방향으로 세계를 만들 수 있는 시대라는 것이다.
전체 0