닉 보스트럼 인터뷰 — 다가올 미래에 대한 우리의 무지

나는 오랫동안 인공지능과 초지능이 가져올 위험을 연구해왔다. 특히 2014년 《Superintelligence》가 나온 이후 사람들은 나를 AI 파국이나 인류 멸망 가능성을 경고하는 사람으로 기억하는 경우가 많다.

하지만 내 생각이 근본적으로 크게 바뀌었다기보다는 세상이 바뀌었다고 보는 편이 맞다.

1. 나는 여전히 AI 위험을 심각하게 보지만, 지금은 낙관적인 가능성도 보고 싶다

내가 《Superintelligence》를 쓰기 시작한 것은 2008년이었다.

당시에는 초지능 이야기를 꺼내는 것 자체가 거의 공상과학처럼 취급됐다. 아주 소수의 사람을 제외하면, 인간보다 훨씬 뛰어난 기계지능이 등장했을 때 어떤 문제가 생길지 진지하게 생각하는 사람이 거의 없었다.

그래서 그 시절 내가 할 수 있는 가장 유용한 일은

“앞에 이런 위험이 있을 수 있다.”

라고 사람들에게 알려주는 것이었다.

AI 정렬 문제를 연구해야 하고, 초지능을 통제할 방법을 찾아야 하며, 실제로 초지능이 등장하기 전에 우리가 숙제를 해놓아야 한다고 생각했다.

하지만 지금은 상황이 완전히 다르다.

초지능은 더 이상 몇몇 철학자들이 이야기하는 공상과학적 개념이 아니다. AI 연구자와 기업, 정부, 일반 대중까지 실제 가능성으로 받아들이고 있다.

그러니 내가 계속해서 똑같은 위험 이야기만 반복하는 것이 얼마나 유용할까 하는 생각이 들었다.

위험은 여전히 존재한다.

하지만 처음부터 내 머릿속에는 항상 동전의 다른 면도 있었다.

만약 우리가 이 전환에 성공한다면 어떻게 될까?

그래서 최근에는 그 가능성을 탐구하고 있다.

나는 나 자신을 표현한다면 일종의

“걱정 많은 낙관주의자(fretful optimist)”

라고 할 수 있을 것 같다.

상황이 심각하게 잘못될 가능성이 실제로 존재한다고 생각한다.

하지만 동시에 일이 잘 풀린다면 우리가 얻을 수 있는 미래는 엄청나게 가치 있을 수도 있다고 생각한다.

2. “AI 때문에 인류가 멸망할 확률이 몇 퍼센트인가?”라는 질문

사람들은 흔히 p(doom), 즉 AI 때문에 모든 것이 잘못될 확률을 묻는다.

어떤 사람은 10%라고 하고, 어떤 사람은 70%라고 하고, 심지어 훨씬 높은 숫자를 이야기하기도 한다.

하지만 이런 숫자를 계산할 수 있는 객관적인 수학 공식이 존재하는 것은 아니다.

그 숫자는 사실상 각자의 판단 속에서 나오는 것이다.

어떤 합의된 가정들을 집어넣으면 정확한 확률이 계산되는 식이 아니다.

그래서 전문가들 사이에서도 숫자가 굉장히 다르게 나온다.

내가 좀 더 질적으로 표현한다면 이렇다.

초지능으로 넘어가는 과정에는 실제 위험이 있으며, 그중에는 인류의 존속 자체와 관련된 실존적 위험도 포함된다.

그러므로 이것을 진지하게 다뤄야 한다.

그러나 나는 미래가 반드시 파국으로 간다고 생각하지 않는다.

오히려 나는 성공 가능성에도 상당히 기대를 걸고 있다.

3. 우리가 해결해야 할 첫 번째 문제는 AI 정렬이다

초지능으로 가는 과정에서 적어도 몇 가지 큰 문제가 있다.

첫 번째는 정렬 문제(alignment problem)다.

아무리 AI의 능력이 강해져도 우리가 계속해서 그 시스템을 통제하고 방향을 제시할 수 있어야 한다.

AI가

“인간이 실제로 의도한 것”

을 수행하도록 해야 한다.

AI가 점점 더 똑똑해지고 결국 인간의 능력을 압도하게 됐을 때도 이것이 유지되어야 한다.

따라서 필요한 것은 단순한 현재 수준의 AI 안전장치가 아니다.

AI의 능력이 계속 올라가더라도 확장해서 적용할 수 있는 AI 통제 방법이 필요하다.

4. 정렬에 성공해도 끝이 아니다. 두 번째 문제는 인간이다

그런데 기술적 정렬 문제를 해결했다고 모든 것이 해결되는 것은 아니다.

두 번째 문제가 있다.

나는 이것을 거버넌스 문제(governance problem)라고 부른다.

우리가 AI를 완벽하게 통제할 수 있다고 가정해보자.

그렇다면 다음 질문은 이것이다.

“인간은 이 엄청난 힘을 어디에 사용할 것인가?”

인간은 자신의 능력을 항상 좋은 곳에만 사용하지 않는다.

우리는 전쟁을 일으킨다.

다른 사람들을 억압한다.

권력을 집중시키기도 한다.

새로운 기술을 이용해 서로를 공격하기도 한다.

그래서 AI 정렬에 성공하더라도 또 다른 문제가 남는다.

AI의 사용처를 가능하면 긍정적인 방향으로 유도할 수 있는 사회적·정치적 시스템을 만들어야 한다.

즉 AI 문제에는 최소한 두 층이 존재한다.

AI를 인간이 통제할 수 있는가?

그리고

그 AI를 통제하는 인간을 믿을 수 있는가?

5. 내가 ‘취약한 세계 가설’을 이야기한 이유

나는 과거에 ‘Vulnerable World Hypothesis’, 즉 취약한 세계 가설이라는 논문을 썼다.

여기서 나는 이런 가능성을 생각했다.

인류의 기술 발전이라는 항아리 안에는 수많은 발명이 들어 있다고 해보자.

우리는 계속해서 항아리에서 새로운 기술을 뽑아낸다.

대부분의 기술은 회색이나 흰색 공이다. 유익하거나 적어도 관리 가능한 기술이다.

그런데 언젠가 우리가

문명을 파괴할 정도로 위험하면서 동시에 너무 쉽게 사용할 수 있는 기술

이라는 검은 공을 뽑을 수도 있다.

예를 들어 평범한 개인이 일반적인 재료를 가지고 집에서 문명을 파괴할 정도의 무기를 만들 수 있는 기술이 존재한다고 해보자.

그런 기술이 등장하면 기존의 자유주의적 사회구조로 그 위험을 관리하기가 극도로 어려울 수도 있다.

이 경우 매우 강력한 감시체계가 필요할 수도 있다.

또 어떤 기술은 국가들 사이에서 선제공격을 지나치게 유리하게 만들 수도 있다.

그렇다면 국가 간 훨씬 강력한 글로벌 조정체계가 필요할 수도 있다.

하지만 여기서 중요한 점이 있다.

나는 그 논문에서

“대규모 감시를 해야 한다.”

또는

“세계정부를 만들어야 한다.”

고 주장한 것이 아니다.

내가 하려 했던 것은 조건부 질문이었다.

만약 우리가 정말 그런 종류의 기술을 발명한다면, 그 상황에서 문명을 살아남게 하려면 어떤 조건이 필요할까?

그 가능성을 분석한 것이다.

6. 오히려 나는 사회가 감시를 너무 쉽게 선택할 위험도 걱정한다

나는 실제 정치에서는 반대 방향의 위험도 크다고 생각한다.

사회는 실제 필요 이상으로 감시와 통제를 선택할 가능성이 있다.

9·11 이후를 생각해보면 된다.

수천 명의 사람이 죽은 끔찍한 사건 이후 엄청난 규모의 비용이 투입됐고, 대규모 감시 프로그램이 만들어졌으며, 전쟁이 벌어지고 시민적 자유와 인권이 훼손되기도 했다.

그래서 현실에서는

“위험이 있으니 더 많은 감시가 필요하다.”

라는 논리가 너무 쉽게 받아들여질 가능성을 경계해야 한다.

그렇다고 모든 상황에서 감시나 국제적 통제가 절대 정당화될 수 없다는 의미는 아니다.

어떤 극단적인 상황에서는 그것이 더 작은 악일 수도 있다.

하지만 그 판단은 구체적인 상황을 보고 해야 한다.

7. 그렇다면 일이 잘 풀리면 어떤 세상이 오는가?

이제 반대로 생각해보자.

초지능을 개발했고 정렬에도 성공했고 거버넌스도 어느 정도 잘 작동한다고 하자.

나는 이런 상태를 “solved world”, 즉 대략 ‘해결된 세계’라고 부른다.

강력한 초지능이 존재하면 과학과 기술 발전 자체가 엄청나게 빨라질 가능성이 있다.

초지능은 인간 연구자보다 훨씬 뛰어난 능력으로 과학 연구를 수행할 수 있고, 그것도 디지털 속도로 수행할 수 있기 때문이다.

그러면 우리는 매우 빠른 속도로 현재는 공상과학처럼 보이는 기술들을 향해 갈 수 있다.

완벽에 가까운 가상현실,

노화 치료,

질병 치료,

우주 식민지,

새로운 물질과 에너지 기술,

그리고 지금 우리가 상상하기 어려운 기술들까지 가능해질 수 있다.

물리법칙을 위반하는 마법이 필요한 것은 아니다.

지금의 인간에게 너무 어려울 뿐이다.

8. 노동이 사라지면 인간은 무엇을 할 것인가?

충분히 발전한 AI와 로봇이 존재한다면 거의 모든 경제적으로 생산적인 일을 기계가 할 수 있다.

그렇다면 인간이 생계를 위해 일해야 할 이유가 사라진다.

우리는 거대한 여가사회로 진입할 수도 있다.

사람들은 흔히 이것을 두려워한다.

“사람이 일을 안 하면 삶의 의미를 잃지 않을까?”

하지만 나는 반드시 그렇게 생각하지 않는다.

이미 우리 사회에도 생계를 위해 일하지 않는 사람들이 존재한다.

어린아이들은 일을 하지 않는다.

그래도 친구들과 놀고, 게임하고, 뭔가를 만들고, 세계를 탐험한다.

은퇴한 사람도 있다.

건강하고 돈이 충분한 은퇴자들은 여행을 하고 가족과 시간을 보내고 취미를 갖고 스포츠를 즐기며 살아간다.

경제적으로 독립한 사람들도 마찬가지다.

그러므로

“직업이 없으면 인간에게 좋은 삶은 불가능하다.”

고 단정할 이유는 없다.

9. 교육도 완전히 달라질 것이다

현재 교육 시스템은 상당 부분

아이를 받아서 생산적인 노동자로 만들어내는 시스템

이다.

사람에게 기술을 가르치고 성적을 부여하고, 그것을 가지고 노동시장으로 보내는 구조다.

지금은 사회가 생산적인 노동자를 필요로 하기 때문에 어느 정도 이해할 수 있다.

하지만 인간의 노동이 더 이상 경제적으로 필요하지 않은 세상이 온다면 상황이 달라진다.

그때까지도 교육을

“좋은 직업을 얻기 위한 준비”

라고 생각한다면 이상한 일이 될 것이다.

교육은 오히려

좋은 삶을 살아가는 방법,

대화하는 능력,

예술,

철학,

취미,

영성,

인간관계,

신체적 건강,

자기 자신을 이해하는 능력

같은 것을 발전시키는 방향으로 이동할 수도 있다.

10. 하지만 여기서 더 깊은 문제가 나타난다

처음에는 노동만 사라질 것처럼 보인다.

그런데 더 생각해보면 우리가 지금 하는 많은 활동도 사실 어떤 목적을 위한 수단이다.

예를 들어 건강해지기 위해 운동한다고 해보자.

현재는 내가 직접 운동해야 한다.

다른 사람이 나 대신 역기를 든다고 내 근육이 생기는 것은 아니다.

하지만 기술적으로 완전히 성숙한 세계에서는 몸을 운동한 것과 동일한 상태로 직접 바꿀 수 있을지도 모른다.

집을 꾸미는 일도 마찬가지다.

사람들은 자신에게 맞는 가구와 커튼을 고민해서 선택한다.

하지만 미래의 AI는 내 취향을 나보다 더 정확하게 알고 있을 수 있다.

그렇다면 AI가 내가 할 수 있는 것보다 더 완벽하게 집을 꾸며줄 수 있다.

나는 여전히 직접 할 수 있다.

하지만 이런 질문이 생긴다.

“굳이 내가 해야 할 이유가 있는가?”

11. 심지어 행복조차 버튼으로 얻을 수 있다면?

우리가 많은 활동을 하는 이유는 결국 어떤 정신적 상태를 얻기 위해서다.

러너가 달리는 이유 중 하나는 달린 뒤 느끼는 기분일 수도 있다.

어떤 활동을 하는 이유는 그것이 즐겁기 때문이다.

그런데 기술적으로 성숙한 세계에서는 신경계에 직접 개입해 그 기분을 만들어낼 수 있을지도 모른다.

고통 없는 슈퍼 약물이나 훨씬 정교한 신경기술이 등장할 수 있다.

그러면 아주 깊은 철학적 질문이 생긴다.

무언가 다른 것을 얻기 위한 수단이 아니라 그 자체로 가치 있는 것은 무엇인가?

이것이 내가 《Deep Utopia》에서 탐구하고 싶었던 핵심 문제 중 하나다.

12. 나는 단순한 쾌락주의적 천국을 말하는 것이 아니다

미래 사람들이 침대에 누워서 무한한 쾌락만 느끼는 세계를 상상할 수도 있다.

하지만 나는 그것만을 이상적인 미래라고 말하지 않는다.

물론 즐거움은 중요하다.

철학적으로 뭔가 심오한 말을 하려고 할 때 우리는 쾌락을 너무 쉽게 무시하는 경향이 있다.

하지만 미래에 살아가는 존재들이 실제로 행복하지 않다면 그 미래는 분명 무언가 크게 부족하다.

그렇다고 그것이 마약에 취한 듯한 쾌감이어야 하는 것은 아니다.

아름다움을 훨씬 깊게 느낄 수도 있다.

현재 우리는 주변에 있는 수많은 아름다운 것들을 제대로 인식하지 못하고 살아간다.

우리의 감각이나 정신적 능력이 더 발달한다면 이런 경험의 깊이 자체가 달라질 수도 있다.

13. 목적이 필요하다면 우리는 게임을 만들 수도 있다

그렇지만 인간에게는 단순한 수동적 행복만으로 충분하지 않을 가능성이 있다.

우리는 활동하고 싶어 한다.

뭔가를 시도하고, 노력하고, 성취하고 싶어 한다.

그러면 인공적인 목적(artificial purpose)을 만들 수 있다.

사실 인간은 이미 이런 일을 하고 있다.

골프를 생각해보자.

작은 공을 18개의 구멍에 넣는 것이 객관적으로 우주적으로 중요한 일은 아니다.

게다가 손으로 공을 집어 구멍에 넣으면 훨씬 쉽다.

그런데 우리는 일부러 클럽으로 공을 치고 장애물을 만들고 규칙을 만든다.

왜 그런가?

그 목표를 달성하려고 노력하는 과정 자체가 가치 있기 때문이다.

게임이 바로 이런 것이다.

그래서 미래의 인간이나 포스트휴먼도 수많은 게임, 스포츠, 음악, 창작활동, 공연 등을 할 수 있다.

14. 하지만 모든 목적이 인공적일 필요도 없다

나는 더 깊은 목적도 살아남을 수 있다고 생각한다.

예를 들어 전통을 중요하게 생각한다고 해보자.

특정한 종교적 의식이나 가족의 전통을 이어가는 것이 나에게 중요할 수 있다.

AI 로봇에게 대신 시키면 훨씬 완벽하게 수행할 수 있을지도 모른다.

하지만 그것은 똑같지 않다.

아이가 부모 생일에 크레용으로 그림을 그려줬다고 생각해보자.

인터넷에서 그것보다 훨씬 아름다운 그림을 받을 수 있다.

하지만 아이가 직접 그린 그림은 완전히 다른 의미를 가진다.

왜냐하면

그 사람이 나를 위해 직접 노력했다는 사실 자체가 가치의 일부이기 때문이다.

인간관계와 사랑, 전통, 영적인 활동에서는 이런 가치가 계속 존재할 수 있다.

15. 지금 우리는 너무 큰 문제들 때문에 작은 가치들을 보지 못한다

현재 세계에는 매우 긴급한 문제가 많다.

굶주림,

질병,

빈곤,

전쟁,

불의,

고통.

이것들은 너무 크고 긴급하다.

나는 이것을 낮의 태양에 비유하고 싶다.

낮에도 별은 하늘에 존재한다.

하지만 태양빛 때문에 보이지 않는다.

마찬가지로 인간 삶에는 아주 미묘한 가치들이 존재할 수도 있다.

아름다움,

정신적인 깊이,

관계의 섬세함,

어떤 일을 굳이 특정한 방식으로 하는 것,

삶의 작은 미학적 차이들.

하지만 지금은 너무 큰 문제들이 그것들을 가려버리고 있다.

만약 빈곤과 질병과 생존의 문제가 대부분 해결된다면 우리는 마치 밤이 된 것처럼

훨씬 넓은 가치의 별자리

를 보기 시작할 수도 있다.

16. 《Deep Utopia》는 미래 예언서가 아니다

사람들이 오해할 수 있는데, 내가 말하는 Deep Utopia는

“미래는 반드시 이렇게 될 것이다.”

라는 예측이 아니다.

그리고

“이런 미래를 반드시 만들어야 한다.”

라는 정치적 선언도 아니다.

나는 이것을 일종의 철학적 입자가속기처럼 생각한다.

물리학자들은 극단적인 환경을 만들어 물질의 기본 성질을 알아낸다.

나는 미래의 극단적인 조건을 상상함으로써 인간 가치의 본질을 알아보고 싶다.

돈도 필요 없고,

질병도 없고,

기술적 문제도 대부분 해결됐다고 가정하면,

평소에는 실용적인 문제에 가려져 있던 질문이 드러난다.

우리가 진짜 가치 있다고 생각하는 것은 무엇인가?

17. 나는 효과적 이타주의자가 아니다

나는 효과적 이타주의 운동에 상당한 영향을 준 사람으로 분류되곤 한다.

하지만 나는 나 자신을 효과적 이타주의자라고 부르지는 않는다.

그쪽 사람들과 친구도 많고, 내 연구와 연결된 부분도 많지만 철학적으로 완전히 동일하지는 않다.

효과적 이타주의의 출발점은 비교적 단순했다.

“어차피 기부할 돈이라면 어떻게 하면 같은 돈으로 더 많은 좋은 일을 할 수 있을까?”

예를 들어 부유한 사람이 이미 돈이 많은 지역 오케스트라에 거액을 기부하는 것보다 개발도상국에서 말라리아 방지 모기장이나 의약품 등에 돈을 쓰는 것이 훨씬 많은 사람을 도울 수도 있다.

그러다 이 사고가 확대됐다.

미래에 엄청난 영향을 미칠 수 있는 문제들도 비용효율성의 관점에서 생각하기 시작한 것이다.

그래서 AI 위험이나 인류의 장기적 미래 같은 문제도 관심을 받기 시작했다.

내가 했던 역할 중 하나는 이런 사고가 적용되는 범위를 넓히는 데 필요한 개념들을 제공한 것이었다고 볼 수 있다.

18. 그렇다고 미래 사람을 위해 현재 사람을 희생해야 한다는 뜻은 아니다

나는 오래전에 ‘Astronomical Waste’라는 논문을 썼다.

우주적으로 생각하면 미래에 존재할 수 있는 사람의 수는 엄청나다.

특정한 윤리적 가정, 특히 특정 형태의 공리주의를 받아들이면 미래 세대 전체의 가치가 현재 세대보다 압도적으로 커 보일 수 있다.

그런데 여기서 사람들이 종종 오해한다.

“그렇다면 현재 살아 있는 사람은 거의 중요하지 않고 미래만 중요하다.”

는 결론을 내가 주장했다고 생각한다.

나는 공리주의자가 아니다.

오히려 그 논문은 특정한 공리주의 전제를 받아들이면 어떤 극단적인 결론이 나올 수 있는지를 보여주는 측면도 있었다.

그런 결과가 지나치게 직관에 반한다면 그것 자체가 공리주의에 대한 반론이 될 수도 있다.

나는 현재 사람들의 이해관계에도 상당한 무게를 둬야 한다고 생각한다.

미래를 고려하는 방향으로 지금보다 조금 더 움직이는 것은 좋겠지만, 그것을 지나치게 밀어붙이면 일종의 광신주의에 빠질 수도 있다.

19. 그래서 나는 하나의 윤리이론에 모든 것을 걸지 않는다

내 윤리적 사고를 설명할 때 나는 ‘도덕적 의회(moral parliament)’라는 비유를 사용한다.

내 머릿속에 여러 정당이 있다고 생각해보자.

공리주의 정당이 있다.

의무론 정당도 있다.

덕 윤리도 있다.

돌봄 윤리도 있다.

그리고 자기 이익을 중요하게 생각하는 정당도 있다.

나는 나 자신과 가족도 중요하게 생각한다.

나는 이 여러 윤리이론들에 서로 다른 정도의 신뢰를 가지고 있다.

그래서 각각의 이론이 내가 부여하는 신뢰만큼 의석을 가진다고 생각한다.

그 의회에서 여러 윤리관이 서로 협상해서 최종 정책을 결정한다.

나는 이것이

“나는 이 윤리이론이 맞다고 생각하니 무조건 끝까지 밀어붙이겠다.”

는 태도보다 훨씬 견고한 방식이라고 생각한다.

20. 나는 ‘완벽한 최종 상태’보다 ‘어떤 경로로 가느냐’를 더 중요하게 생각한다

사람들은 내게 묻는다.

“그래서 닉 보스트럼이 진짜 살고 싶은 유토피아는 무엇인가?”

나는 이 질문에 완벽한 청사진을 제시하기 어렵다.

오히려 나는 최종 상태보다 발전의 경로(trajectory)를 중요하게 생각한다.

현재 인간의 삶을 생각해보자.

우리는 몇십 년 정도 살다가 죽는다.

겨우 삶의 경험과 지혜가 쌓이기 시작했을 때 몸이 노화한다.

뇌도 쇠퇴하고 기억도 사라진다.

그런데 만약 노화 치료를 통해 이 상황을 안정시킬 수 있다면 어떨까?

우선 시간을 조금 더 얻는 것이다.

그리고 극심한 고통이나 심각한 질병을 줄일 수 있다.

그러면 지금처럼 급하게 살아갈 필요가 없어진다.

21. 나는 인간 상태를 곧바로 버리자는 것이 아니다

수명이 크게 늘어난다고 생각해보자.

사람들은 천천히 인간으로서 살아볼 수 있다.

누군가는 바구니를 짤 수도 있고,

누군가는 요트를 탈 수도 있고,

음악가가 될 수도 있고,

수백 권의 위대한 책을 깊이 공부할 수도 있다.

좋은 책은 단순히 빨리 한 번 읽는다고 이해되는 것이 아니다.

그것과 오랫동안 함께 살아야 한다.

지금은 인간 수명이 너무 짧기 때문에 그런 것들을 충분히 경험하기 어렵다.

그런 삶을 150년 정도 살지,

500년 살지,

2,000년 살지는 모르겠다.

우리는 그렇게 살아본 적이 없기 때문이다.

하지만 어느 시점이 되면 이렇게 느낄지도 모른다.

“나는 인간으로서 할 수 있는 것을 상당히 해봤다.”

그때 다음 단계의 문을 조금 열어볼 수 있다.

22. 그리고 아주 천천히 포스트휴먼으로 성장할 수도 있다

그 다음에는 정신적 능력을 조금 확장할 수도 있다.

기억력을 향상시킬 수도 있고,

더 깊게 느끼는 능력을 얻을 수도 있고,

지금 인간에게 존재하지 않는 새로운 종류의 경험을 할 수도 있다.

그리고 그 상태에 다시 익숙해진 뒤 조금 더 확장할 수도 있다.

나는 이것을 갑자기 인간을 버리고 전혀 다른 기계 존재가 되는 것으로 생각하지 않는다.

점진적인 성장에 더 가깝다.

유인원에서 인간으로 진화했다고 생각해보자.

우리의 조상인 유인원은 인간 삶에서 중요한 수많은 것을 상상하지 못했을 것이다.

문학,

낭만적 사랑,

종교,

철학,

정치,

유머.

그들의 뇌에는 그런 개념 자체를 충분히 만들어낼 능력이 없었다.

그렇다면 우리도 마찬가지 아닐까?

우리가 현재 경험할 수 있는 가치가 가능한 모든 가치의 끝이라고 생각하는 것은 상당히 오만할 수 있다.

23. 수백만 년 뒤의 존재를 지금의 우리가 평가할 수 있을까?

아주 오랜 시간이 지나면 우리 후손은 우리가 지금 보기에는 굉장히 이상한 존재가 될 수도 있다.

행성 규모의 정신일 수도 있고,

수많은 다른 정신과 연결된 초거대한 포스트휴먼 지능일 수도 있다.

그들이 무엇을 생각하고 무엇을 가치 있게 여길지는 지금으로서는 알 수 없다.

그리고 나는 이것이 중요한 포인트라고 생각한다.

우리는 그 부분에 대해 깊은 의미에서 무지하다.

현재 인간의 관점에서 수백만 년 뒤에 가능한 존재 방식들을 평가하려는 것은 굉장히 어렵다.

24. “나는 인간성이 좋다. 왜 인간성을 버려야 하는가?”라는 반론

인터뷰어는 내게 이렇게 반론했다.

“나는 인간이 좋다.

사랑, 아름다움, 정의, 진실 같은 가치도 인간이라는 존재에서 나온다.

고통과 죽음과 한계조차 인간성의 일부다.

그것을 초월해서 인간이 상상조차 할 수 없는 존재가 되는 것이 왜 좋은가?”

나는 이 반응을 충분히 이해한다.

실제로 많은 사람들이 그런 미래를 보고 본능적으로 거부감을 느낄 것이다.

하지만 어린아이를 생각해보자.

어린아이가 어른이 되면 상당히 많이 변한다.

관심사도 달라진다.

몸도 변한다.

성격도 변한다.

생각도 달라진다.

그렇다고 우리는 일반적으로

“아이가 어른이 되는 것은 나쁜 일이다.”

라고 생각하지 않는다.

어쩌면 현재의 인간도 어떤 더 큰 관점에서는 아직 어린아이 같은 존재일 수 있다.

25. 성장하면서도 현재 인간의 좋은 부분을 보존할 수 있다

나는 인간성을 전부 지워버리고 싶다는 것이 아니다.

오히려 우리가 현재 가진 가치 있는 것들을 가능한 한 유지하면서 그 위에 새로운 층을 추가할 수 있기를 희망한다.

현재의 나를 없애고 다른 존재로 교체하는 것이 아니라,

현재의 나를 보존하면서 더 많은 가능성을 열어가는 것이다.

그래서 나는 이런 미래를 하나의 거대한 성당에 비유할 수 있다고 생각한다.

가능한 존재 방식,

느끼는 방식,

사랑하는 방식,

생각하는 방식,

다른 존재와 관계 맺는 방식은 엄청나게 많을 수 있다.

그런데 지금의 인간이 탐험한 영역은 그 거대한 성당 안의

작은 관리인 창고 한 칸 정도일지도 모른다.

그 작은 방만 보고

“여기가 가능한 모든 존재 방식 중 가장 좋은 곳이다.”

라고 결론 내리는 것은 지나치게 성급할 수 있다.

26. 나는 혼자 우주로 떠나는 초인이 되는 미래를 말하는 것도 아니다

이 발전이 개인 혼자만의 변신일 필요도 없다.

나는 공동체 전체가 함께 변할 수 있다고 생각한다.

인간 문명 전체가 천천히 앞으로 나아갈 수도 있다.

심지어 아주 먼 미래에는 인간뿐 아니라 지능을 향상시킨 동물이나 디지털 정신도 함께 이 과정에 참여할 수 있을 것이다.

그들과 대화하고,

서로 관계를 맺고,

서로에게 무엇이 중요한지를 배우면서,

문명 전체가 함께 앞으로 길을 찾아갈 수도 있다.

그것은 누군가 혼자 자신의 우주선에 올라타 인간을 버리고 떠나는 그림과는 다르다.

27. 결국 내가 말하고 싶은 것은 “미래에 대해 우리는 생각보다 훨씬 모른다”는 것이다

나는 AI 미래가 반드시 파국이라고 주장하지 않는다.

반대로 AI 미래가 반드시 유토피아라고 주장하지도 않는다.

내가 계속 탐구하는 것은 그 사이에 존재하는 거대한 가능성의 공간이다.

초지능으로 가는 길에는 실제 실존적 위험이 있다.

정렬 문제도 해결해야 한다.

초지능을 가진 인간 사회가 그것을 어떻게 사용할지도 해결해야 한다.

권력 집중이나 감시사회 같은 문제도 경계해야 한다.

하지만 우리가 그 문제들을 잘 넘긴다면 지금 인간이 해결하기 어렵다고 생각하는 수많은 제약을 제거할 수도 있다.

질병,

노화,

빈곤,

강제적인 노동,

지적 능력의 한계,

우리가 경험할 수 있는 것의 한계까지도 말이다.

그리고 바로 그 순간 가장 어려운 문제가 시작된다.

“원하는 것을 거의 모두 할 수 있게 된 존재는 무엇을 원해야 하는가?”

우리는 지금 그 질문에 대한 완전한 답을 갖고 있지 않다.

어쩌면 가질 수도 없을 것이다.

우리의 현재 정신은 미래에 존재할 가치의 아주 작은 일부만 이해할 수 있을지도 모른다.

그래서 나는 미래를 하나의 고정된 최종 유토피아로 제시하기보다,

고통과 죽음을 조금씩 줄이고,

우리에게 더 많은 시간을 주고,

현재 인간의 가치 있는 부분을 가능한 한 보존하면서,

조금씩 새로운 능력과 새로운 존재 방식을 탐험해나가는 경로를 더 매력적으로 생각한다.

우리가 어디까지 갈지는 모른다.

어쩌면 수백 년 뒤에는 지금과 크게 다르지 않은 인간일 수도 있다.

어쩌면 수백만 년 뒤에는 현재의 우리가 상상조차 할 수 없는 정신이 되어 있을 수도 있다.

하지만 지금의 우리가 가능한 모든 삶과 모든 가치를 이미 경험했다고 생각할 이유는 없다.

오히려 나는 우리가 거대한 가능성의 세계에서 아주 작은 방 하나를 겨우 탐험하기 시작한 상태일 수 있다고 생각한다.

그리고 우리가 충분히 조심스럽게 앞으로 나아갈 수 있다면,

그 작은 방을 파괴하지 않으면서도 문을 열고,

그 너머에 무엇이 있는지를 함께 발견할 수 있을지도 모른다.