인터뷰/예측
닉 보스트롬 “우리는 첨단기술을 만들 수 있는 가장 어리석은 종일지도 모른다”
작성자
작성일
2026-07-15 22:16
조회
4
Joe Rogan Experience #2525
조 로건 × 닉 보스트롬 인터뷰 상세 정리
1. 6년 만에 문명의 중심 문제가 된 AI
조 로건:다시 만나서 반갑습니다. 지난번에 만났을 때는 시뮬레이션 가설을 많이 이야기했죠. 우리가 실제 세계가 아니라 고도로 발전한 문명이 만든 시뮬레이션 안에 있을 가능성이 왜 높은지 설명해주셨습니다.
그게 벌써 5~6년 전인데, 그동안 세상이 정말 많이 바뀌었습니다. 그때도 AI 이야기를 조금 했겠지만 지금처럼 문명 전체를 위협하거나 변화시킬 거대한 존재로 느껴지지는 않았어요.
불과 6년 만에 AI가 사회의 모든 영역과 얽혔습니다. 인터넷도 우리도 모르는 사이에 일상에 스며들었지만, AI는 훨씬 빠른 것 같습니다.
닉 보스트롬:
지금은 벌어지는 일을 따라가는 것만으로도 거의 전업이 필요할 정도입니다. 몇 주마다 새로운 모델이 나오고, 변화 속도도 점점 빨라지고 있습니다.
조 로건:
마치 격투기 경기 해설을 하는데 1라운드는 정상 속도이고, 2라운드는 두 배속, 3라운드는 네 배속으로 재생되는 것 같아요. 나중에는 팔과 다리가 뒤엉켜서 무슨 일이 벌어지는지도 알 수 없게 되겠죠.
AI에는 두 가지 상반된 이야기가 있습니다.
한쪽에서는 우리가 우리보다 훨씬 뛰어난 지적 생명체를 만들고 있다고 합니다. 그것이 사회 전체를 장악하고 인간을 대체할 수 있으니 현명하지 못한 일이라는 거죠.
다른 쪽에서는 일론 머스크 같은 사람들이 보편적 고소득 시대가 올 것이라고 말합니다. 모두가 엄청난 풍요를 누리고, 빈곤과 제3세계 문제가 사라지며, 아무도 생존을 위해 힘든 노동을 하지 않아도 된다는 겁니다.
그런데 제 문제는 그런 낙관론자 대부분이 AI에 많은 돈을 투자하고 있다는 겁니다. AI가 성공하면 경제적으로 큰 이익을 얻는 사람들이죠.
그래서 직접적인 이해관계가 없는 당신 같은 사람이 긍정적인 가능성을 이야기하면 조금 더 기대하게 됩니다.
닉 보스트롬:
솔직히 결과가 어떻게 될지는 아무도 모릅니다. 저는 위험한 시나리오와 거대한 가능성을 모두 진지하게 받아들입니다.
우리가 제대로 해낸다면 AI는 경제 생산성뿐 아니라 의학, 환경, 교통, 여행, 오락을 포함한 거의 모든 분야를 발전시킬 수 있습니다.
거대한 부의 쓰나미가 밀려와 사회 전체를 들어 올릴 수도 있습니다.
인간이 정신적으로나 육체적으로 할 수 있는 모든 일을 기계가 더 잘하고, 더 빠르고, 더 저렴하게 수행하게 된다면 인간 노동이라는 개념 자체가 시대착오가 될 수 있습니다.
조 로건:
저는 우리가 급류를 타고 내려가는 뗏목에 탄 것 같다고 생각합니다.
목적지에 무사히 도착할 수도 있지만, 뗏목이 뒤집혀 차가운 물에 빠진 뒤 가까스로 해안에 도착해 문명을 다시 세워야 할 수도 있습니다.
닉 보스트롬:
그 비유가 상당히 적절합니다. 게다가 급류의 속도가 계속 빨라지고 있습니다.
2. AI가 인간의 모든 직업을 대체한다면
닉 보스트롬:AI와 노동에 관한 논의에는 여러 단계가 있습니다.
가장 표면적인 질문은 “AI가 내 직업을 대체하면 나는 어디에서 일해야 하는가?”입니다.
보통은 노동자를 재교육해 다른 직업으로 옮기게 하고, 재교육 기간에는 실업보험이나 정부 지원을 제공하자는 답이 나옵니다.
그러나 기술 발전의 최종 지점까지 생각하면 그것으로는 충분하지 않습니다.
대체되는 것이 몇몇 직업이 아니라 인간이 수행할 수 있는 거의 모든 직업일 수 있기 때문입니다.
인간이 계속 맡을 수 있는 일은 소비자가 반드시 인간에게 서비스를 받고 싶어 하는 분야일 것입니다. 예를 들면 성직자, 성 노동자, 정치인 같은 직업입니다.
조 로건:
정치인은 오히려 AI가 맡았으면 좋겠네요. 부패 없이 훨씬 효율적으로 운영할 수 있을지도 모르니까요.
닉 보스트롬:
그래도 누군가는 AI가 이룬 성과를 자기 업적으로 주장하려 할 겁니다.
조 로건:
그렇겠네요. 누군가는 자기가 그 AI를 만들었다고 말하겠죠.
하지만 여기서 더 깊은 질문으로 들어가게 됩니다. AI가 모든 일을 하면 인간은 무엇을 하게 될까요?
단순히 직업이 사라지는 문제가 아니라 의미와 목적의 문제입니다. 인간의 삶은 기술적으로 성숙한 문명에서 어떤 모습이 될까요?
3. 가상현실에서의 삶도 진짜 삶인가
조 로건:경험은 반드시 물리적으로 만지고 측정할 수 있어야 진짜 경험일까요?
어떤 사람이 가상세계에서 매우 충만하고 즐겁고 의미 있는 삶을 산다면 그것으로 충분할 수도 있지 않을까요?
기술이 계속 발전하면 영화 「매트릭스」 같은 현실을 경험할 수도 있을 겁니다.
현실에서는 물리법칙의 제약을 받지만 가상세계에서는 날 수도 있고, 어떤 존재로든 변할 수도 있으며, 현실에서 불가능한 일을 모두 할 수 있습니다.
닉 보스트롬:
사람마다 선호가 다를 것입니다.
어떤 사람은 가상 에베레스트보다 실제 에베레스트에 오르는 것을 더 가치 있다고 생각할 겁니다.
조 로건:
물론 그런 사람도 있겠죠.
하지만 최악의 시나리오에서는 사람들의 필요는 모두 충족되지만 아무런 목적도 남지 않을 수 있습니다.
AI가 사회의 모든 일을 처리하고 인간에게는 오락밖에 남지 않는 겁니다.
그때 현실보다 훨씬 만족스럽고 흥미로운 가상현실이 등장한다면 사람들은 모두 그 안으로 들어갈 수 있습니다.
스마트폰도 그렇게 흥미로운 물건은 아닌데 사람들은 하루에 여섯 시간씩 사용합니다.
현실보다 훨씬 흥미로운 가상세계가 생기면 사람들이 평범한 현실을 버리는 것은 당연할 수 있습니다.
닉 보스트롬:
그 문제는 물리적 세계에서도 비슷할 수 있습니다.
사람들이 고급 리조트의 해변 의자에 누워 하루 종일 음료만 마시는 미래를 상상해보세요. 그것 역시 일종의 현실 이탈입니다.
가상현실이라고 반드시 수동적인 것은 아닙니다.
가상세계에서 자신의 모든 능력을 동원해 어려운 목표를 달성할 수도 있고, 반대로 구름 위에 누워 약물에 취한 것처럼 쾌락만 느낄 수도 있습니다.
조 로건:
사람들은 구름 위에 떠다니며 바나나를 먹는 게임에는 별로 관심이 없을 겁니다.
사람들이 좋아하는 게임은 「콜 오브 듀티」나 「하프라이프」처럼 위험하고 흥미진진한 게임입니다.
인간은 도전, 긴장, 경쟁, 성취에 끌립니다.
가상현실이 그런 것을 현실보다 더 강하게 제공한다면 현실보다 가상세계를 선택하는 사람이 많을 겁니다.
닉 보스트롬:
성격에 따라 다른 선택을 할 것입니다.
그러나 사람들이 무엇을 선택하는지는 결국 무엇에서 즐거움을 느끼도록 설계되어 있는지에 달려 있습니다.
4. 미래에는 인간이 자신의 욕망도 다시 설계할 수 있다
닉 보스트롬:기술적으로 성숙한 문명에서는 외부 환경뿐 아니라 인간 자신의 뇌와 생물학도 통제할 수 있을 것입니다.
현재 어떤 사람이 술에 취하거나 자신도 바람직하지 않다고 생각하는 행동을 할 때만 강한 즐거움을 느낀다고 해보죠.
미래에는 자신의 뇌를 바꿔 우주의 아름다움을 관조하거나, 다른 사람의 선한 마음을 이해하거나, 추상수학을 해결하는 데서 동일한 수준의 즐거움을 느끼도록 만들 수 있습니다.
자신이 어떤 활동을 할지 선택하는 것뿐 아니라, 어떤 활동에서 즐거움을 느끼는 존재가 될 것인지도 선택할 수 있게 되는 겁니다.
조 로건:
그러면 결국 인간이란 무엇인지 묻게 됩니다.
우리가 고귀한 인간성이라고 생각하는 것들이 있죠. 아름다움, 사랑, 예술, 음악, 문학, 더 좋은 사람이 되려는 노력 같은 것들입니다.
하지만 그런 것들이 존재하려면 반대되는 것들도 필요하지 않을까요?
평화를 소중하게 여기려면 전쟁이 있어야 하고, 사랑을 이해하려면 증오가 있어야 하며, 선한 사람을 알아보려면 나쁜 사람도 만나야 하는 것 같습니다.
인간의 삶은 항상 좋은 것과 나쁜 것이 함께 존재하는 투쟁이었습니다.
음악, 미술, 소설도 고통, 혼란, 사랑, 상실, 질투, 실패에서 나옵니다.
모든 고통과 갈등을 제거하면 우리는 지금과 완전히 다른 존재가 됩니다.
닉 보스트롬:
인간의 진보에는 역설이 있습니다.
과학자와 기업은 모두 문제를 해결하려고 합니다. 더 좋은 기술을 만들고, 공정을 효율화하고, 고객에게 더 좋은 서비스를 제공하려고 합니다.
그 방향을 논리적 종착지까지 밀어붙이면 모든 문제를 해결할 수 있는 완벽한 기술에 도달하게 됩니다.
하지만 모든 문제가 해결되면 인간에게는 아무것도 할 일이 남지 않을 수 있습니다.
우리는 문제를 해결해야 한다는 강한 이유를 가지고 발전해왔는데, 정작 모든 문제를 해결한 종착지는 많은 사람에게 매력적이지 않게 보일 수 있습니다.
조 로건:
그래도 살인, 범죄, 폭력, 거짓말, 부패가 모두 사라지고 인간들이 조화롭게 협력하는 세계가 지금보다 낫지 않을까요?
닉 보스트롬:
저도 그렇게 생각합니다.
다만 그 세계를 가만히 바라보면 약간 밋밋해 보이는 측면도 있습니다.
조 로건:
지금의 경험을 기준으로 보기 때문에 밋밋해 보이는 겁니다.
우리는 불확실성과 위험, 긍정적인 경험과 부정적인 경험을 대비시키는 데 익숙합니다.
그렇다고 꼭 그런 식으로 살아야 하는 것은 아닙니다.
5. 인간은 반드시 직업을 가져야 하는가
조 로건:저는 일에 대해서도 같은 생각을 합니다.
사람들은 항상 “AI가 모든 직업을 없애면 어떻게 하지?”라고 묻습니다.
그런데 인간은 반드시 직업을 가져야 할까요? 직업이라는 것도 인간이 만든 제도 아닙니까?
대부분의 사람은 주거비와 식비를 벌기 위해 일합니다.
그 부담이 사라진다면 충분히 많은 사람이 자신의 시간을 사용할 방법을 찾아낼 수 있지 않을까요?
닉 보스트롬:
그럴 가능성이 높습니다.
변화 과정에서 혼란과 불편은 있겠지만, 궁극적으로는 거대한 해방이 될 수 있습니다.
노예제가 매우 나쁘다는 것은 분명합니다. 임금노동 역시 어떤 의미에서는 약한 형태의 예속이라고 볼 수 있습니다.
사람들은 생필품을 얻기 위해 하루의 상당 부분을 팔아야 합니다.
자신의 몸 다음으로 중요한 것이 자신의 시간과 주의력입니다. 자신의 시간을 스스로 통제하게 되는 것은 인간의 존엄을 회복하는 일이 될 수 있습니다.
조 로건:
다만 사람들에게 자기 규율을 가르쳐야 합니다.
인간은 에너지를 보존하도록 진화했습니다. 불필요하게 움직이면 생존에 불리했기 때문에 게으름에 능숙합니다.
아무것도 하지 않아도 된다고 말하면 많은 사람이 정말 아무것도 하지 않을 겁니다.
목적을 찾지 못하면 우울해질 수도 있습니다.
닉 보스트롬:
과거 영국 귀족 사회에서는 생계를 위해 일하지 않아도 되는 것이 이상적인 인간의 삶으로 여겨졌습니다.
돈을 이미 가지고 있기 때문에 정치에 참여하거나, 미술품을 수집하거나, 정원을 가꾸거나, 친구들을 초대하거나, 아마추어 과학자가 될 수 있었습니다.
조 로건:
영국 귀족이라고 하면 저는 술에 취해 페라리를 호수에 빠뜨리고, 친구를 죽게 한 다음 경찰을 매수하는 사람부터 떠오릅니다.
닉 보스트롬:
그런 사람도 있었겠죠.
하지만 이상한 주제를 평생 연구한 괴짜나 아마추어 과학자도 있었습니다.
자유가 많아질수록 사람은 자신의 진짜 성격을 더 분명하게 드러낼 수 있습니다.
조 로건:
결국 어떻게 자랐느냐가 중요합니다.
부모가 어떤 가치를 가르쳤는지, 노력의 가치를 알려줬는지, 자기가 좋아하는 일을 깊이 파고들 때 느끼는 만족감을 경험하게 했는지가 중요합니다.
6. 노동이 사라지면 교육도 완전히 바뀌어야 한다
닉 보스트롬:노동이 필요 없는 세계에서는 교육제도를 처음부터 다시 설계해야 합니다.
현재 교육은 아이들을 컨베이어벨트에 올려놓는 공장과 비슷합니다.
아이들을 책상에 앉히고, 과제를 주고, 시험을 치르게 한 다음 성적이라는 품질표시를 붙여 사회로 내보냅니다.
그 목적은 사무실이나 공장에서 지시를 따르며 생산적으로 일할 수 있는 노동자를 만드는 것입니다.
현재 경제에는 그런 노동자들이 필요하기 때문에 이 제도가 나름의 역할을 했습니다.
하지만 더는 그런 노동자가 필요하지 않게 되면 같은 교육을 계속하는 것은 부조리해집니다.
교육은 여가를 잘 사용하는 방법을 가르쳐야 합니다.
대화하는 기술, 예술과 음악을 감상하는 능력, 신체적 건강, 자연과의 관계, 스스로 목표를 정하는 법, 자발적으로 행동하는 법, 진정한 우정을 형성하는 법, 영성과 철학을 탐구하는 법을 가르칠 수 있습니다.
조 로건:
그런 교육을 지금부터 시작해야 합니다.
현재 초등학교 1학년인 아이가 12년 뒤 고등학교를 졸업할 때는 세상이 완전히 달라져 있을 수 있습니다.
그런데도 아이들에게 하루 여덟 시간 가만히 앉아 지시를 따르는 노동자가 되는 것이 최선이라고 가르치는 건 말이 안 됩니다.
닉 보스트롬:
문제는 정확한 시점을 모른다는 것입니다.
아이에게 미래에는 노동이 필요 없을 것이라고 가르쳤는데, 그 아이가 스무 살이 되었을 때 AI 혁명이 아직 오지 않았다면 실용적인 기술이 없는 상태로 세상에 나갈 수 있습니다.
조 로건:
지금의 인문학 학위가 이미 그런 것 아닙니까?
많은 사람이 취업에 도움이 되지 않는 학위를 받기 위해 엄청난 돈과 시간을 쓰고 있습니다.
졸업한 다음에는 관련 일자리가 없다는 것을 알게 됩니다.
닉 보스트롬:
그들은 새로운 시대에 너무 일찍 뛰어든 것일 수도 있겠네요.
7. 돈이 사라져도 경쟁과 지위는 남을 것이다
조 로건:프로 볼링처럼 최고의 선수 몇 명만 돈을 벌 수 있는 분야가 있습니다.
아무리 볼링을 사랑해도 생계를 유지하기 어려우면 다른 직업을 가져야 합니다.
하지만 음식과 집을 얻기 위해 돈을 벌 필요가 없는 사회에서는 수입을 고려하지 않고 자신이 좋아하는 일을 할 수 있습니다.
닉 보스트롬:
돈이라는 요소는 사라질 수 있지만 명성과 지위에 대한 경쟁은 남을 수 있습니다.
사람들은 누가 골프를 더 잘 치는지, 누가 더 뛰어난 작품을 만드는지, 누가 특정 분야에서 최고인지 비교할 것입니다.
조 로건:
골프를 좋아하는 사람들은 직장보다 골프를 더 중요하게 생각합니다.
제가 코미디를 처음 시작했을 때 골프에 빠진 코미디언들의 경력이 정체되는 것을 봤습니다.
그들은 농담을 쓰고 공연하는 것보다 골프를 치는 데 더 흥미를 느꼈기 때문입니다.
생계를 위한 노동이 사라지면 사람들은 그렇게 자신의 관심사를 따라갈 수 있습니다.
우리가 해야 할 일은 사람들에게 무엇인가에 흥미를 느끼는 법을 가르치는 겁니다.
호기심을 따라가고, 단순히 알고 싶다는 이유로 배우는 것이 얼마나 아름다운지 알려줘야 합니다.
어떤 사람은 자연스럽게 수학에 빠지고, 어떤 사람은 역사에 빠집니다.
“우리는 어떻게 여기까지 왔는가?”, “누가 이것을 처음 발견했는가?” 같은 질문을 따라가며 배우게 해야 합니다.
닉 보스트롬:
호기심을 기르는 것이 그런 미래를 준비하는 좋은 방향일 것입니다.
다만 사람마다 타고난 차이도 있습니다.
어떤 사람은 쉽게 지루해하고, 어떤 사람은 모든 것을 흥미롭게 여깁니다.
어떤 사람은 자연스럽게 기분이 낮고 우울한 경향이 있습니다.
조 로건:
그런 사람도 어릴 때부터 운동의 가치를 배웠다면 삶이 달라질 수 있습니다.
달리기와 요가를 하고, 건강한 음식을 먹고, 가공식품을 줄이면 기분이 훨씬 좋아질 수 있습니다.
우울증을 말할 때 몸을 어떻게 관리하는지를 핵심 요인으로 다루지 않는다면 과학적이지 않습니다.
사람들에게 인간으로 살아가는 방법을 가르쳐야 합니다.
호기심을 따르는 방법뿐 아니라 왜 몸이 좋지 않은지, 운동을 시작하면 어떻게 기분이 좋아지는지도 알려줘야 합니다.
닉 보스트롬:
기본적인 생리 상태를 잘 관리하면 많은 사람이 개선될 수 있다는 데 동의합니다.
다만 어떤 사람은 유전적으로 특정한 신경전달물질 문제를 가지고 있을 수도 있습니다.
조 로건:
그런 사람은 활동을 시작할 에너지조차 없을 수 있겠죠.
닉 보스트롬:
미래에는 그런 상태를 도와줄 훨씬 더 좋은 의약품도 나올 수 있습니다.
8. 인간은 풍요 속에서 행복하도록 진화하지 않았다
닉 보스트롬:현재의 인간은 풍요로운 환경에서 잘 살아가도록 만들어진 존재가 아닙니다.
학교는 사람을 하루 종일 책상에 앉아 과제를 수행하는 존재로 훈련합니다.
생물학적으로는 가능한 한 에너지를 아끼고 많은 음식을 먹도록 진화했습니다.
과거에는 음식이 부족했기 때문에 그것이 유리했습니다. 하지만 지금처럼 냉장고와 고열량 식품이 넘치는 환경에서는 대사질환을 일으킵니다.
또 많은 사람은 쾌락의 쳇바퀴를 경험합니다.
무언가를 이루면 행복이 잠시 높아지지만 곧 적응해 원래 수준으로 돌아갑니다.
다음 목표를 계속 추구하도록 만드는 구조였기 때문에 생존에는 유리했습니다.
하지만 모든 목표가 달성된 미래에는 계속 다음 것을 원하도록 만드는 성향이 기능장애가 될 수 있습니다.
기술적 풍요가 깊어질수록 인간의 본성도 바뀌어야 할 것입니다.
처음에는 문화와 교육을 바꾸고, 궁극적으로는 인간의 생물학 자체를 바꿀 수도 있습니다.
9. 수천 년을 살게 된다면 지금의 뇌로 충분할까
닉 보스트롬:노화를 해결해 인간이 수천 년을 살게 된다고 해봅시다.
현재의 뇌와 기억 구조는 그렇게 긴 시간을 견디도록 만들어지지 않았을 수 있습니다.
200년 정도 지나면 지나치게 경직되고, 낡은 사고방식에 갇히고, 새로운 것을 받아들이지 못할 수도 있습니다.
그때는 인지 능력을 확장하거나 뇌의 유연성을 회복하는 기술이 필요할 수 있습니다.
일종의 사이키델릭 리셋 같은 방법으로 정신을 다시 유연하게 만드는 것도 생각할 수 있습니다.
조 로건:
사이키델릭 리셋이라는 표현이 재미있네요.
새로운 현실을 탐색하는 데 유용할 수 있는 실로시빈, DMT, 이보게인 같은 물질이 모두 불법이라는 사실도 흥미롭습니다.
우리가 미래에 적응하는 데 필요한 중요한 도구들이 현재는 금지되어 있을 수도 있습니다.
저는 인간의 갈등 중 얼마나 많은 부분이 생존을 위한 투쟁에서 나오는지도 궁금합니다.
극심한 빈곤과 극심한 범죄 사이에는 분명한 상관관계가 있습니다.
가난이 완전히 사라진다면 범죄의 상당 부분도 사라질 수 있지 않을까요?
우리는 정상적으로 기능하는 사회에는 항상 빈민가가 존재해야 한다고 생각해왔습니다.
하지만 빈민가는 아무런 좋은 기능도 하지 않습니다.
사람들이 먹을 것과 잠잘 곳을 걱정하지 않는 사회를 만드는 것이 불가능한 일도 아닙니다.
현재도 대부분의 사람에게 최소한의 식량을 전달할 수 있다면, 그 능력을 조금 더 발전시켜 누구도 굶거나 집을 잃지 않도록 할 수 있습니다.
그다음에는 사람들이 목적을 찾아야 합니다.
하지만 돈을 벌지 않고도 목적을 찾는 사람은 이미 많습니다. 골프를 치거나, 책을 쓰거나, 그림을 그리거나, 새로운 기술을 배우는 사람들입니다.
10. AI가 인간보다 더 좋은 작품을 만들면
조 로건:사람들은 인간이 만든 소설과 예술에 계속 관심을 가질 겁니다.
우리는 다른 인간이 세상을 어떻게 바라보는지 궁금해하기 때문입니다.
닉 보스트롬:
그것은 아직 열린 문제입니다.
현재 AI가 만든 글은 종종 지루하고 상투적입니다. 그래서 사람들이 인간이 쓴 글을 선호하는 것일 수 있습니다.
하지만 미래의 AI가 인간보다 더 재미있고, 더 깊고, 더 감동적인 영화를 만든다면 어떻게 될까요?
조명도 완벽하고, 대사도 날카로우며, 훨씬 웃기고 철학적이고 감정적이라면 대부분의 사람은 AI 작품을 선택할 수 있습니다.
조 로건:
그래도 인간적인 배경은 중요합니다.
어떤 유튜버가 아주 적은 돈으로 영화를 만들었는데 그 영화가 대성공을 거뒀다고 해봅시다.
사람들은 영화 자체뿐 아니라 그 사람이 노력해서 성공했다는 사실에도 감동합니다.
같은 영화를 AI가 자동으로 만들었다면 그런 영향력이 있었을지는 모르겠습니다.
닉 보스트롬:
그럴 수 있습니다.
우리는 작품 자체뿐 아니라 인간관계와 사회적 연결에도 반응합니다.
친구나 형제가 무언가를 만들면, 무명의 사람이 만든 조금 더 좋은 작품보다 더 관심이 갑니다.
조카가 야구를 하기 때문에 어린이 야구 경기를 보러 가는 것이지, 무작위 어린이들의 경기를 보러 가지는 않습니다.
미래에는 이런 사회적 얽힘이 인간의 삶에 구조와 의미를 제공할 수 있습니다.
11. 지식을 버튼으로 다운로드할 수 있다면
닉 보스트롬:기술 발전은 노동을 없애는 데서 멈추지 않을 겁니다.
학습도 불필요하게 만들 수 있습니다.
현재 고급수학을 이해하려면 몇 년 동안 공부하고, 책을 읽고, 문제를 풀어야 합니다.
하지만 기술적으로 성숙한 문명에서는 버튼을 눌러 지식을 뇌에 직접 입력할 수도 있습니다.
나노봇이 뇌에 들어가 시냅스를 바꾸고, 20분 뒤에는 이전과 동일한 사람이지만 추상수학을 이해하는 상태가 될 수 있습니다.
영화 「매트릭스」에서 “나는 쿵푸를 안다”고 말하는 것과 같습니다.
조 로건:
그러면 배우는 과정 자체가 사라지는군요.
닉 보스트롬:
즐거움도 마찬가지입니다.
어떤 활동을 해서 기쁨을 얻는 대신, 그 활동이 만들어내는 신경 상태를 버튼으로 직접 활성화할 수 있습니다.
운동을 해서 건강해지고 마음이 안정되는 대신, 똑같은 생리적·정신적 효과를 내는 약을 먹을 수도 있습니다.
더 나아가 그런 상태를 유지하도록 유전적으로 바꿀 수도 있습니다.
모든 결과에 더 짧은 지름길이 생기면 인간이 다른 목적을 이루기 위해 노력할 이유가 없어집니다.
모든 도구적 노력이 불필요해지는 겁니다.
조 로건:
결국 좋은 삶이 무엇인지 묻게 되는군요.
노력, 배움, 성취, 인내가 정말 보편적으로 가치 있는 것인지, 아니면 현재의 영장류인 인간에게만 가치 있는 것인지 생각해야 합니다.
12. 인간은 완성품이 아니다
조 로건:인간은 앞으로 완전히 다른 존재가 될 것이라고 생각합니다.
고대 인류와 현대 인간은 크게 다릅니다. 진화가 끝난 것이 아닙니다.
미래에는 성별이 없고, 성욕도 없고, 근육도 거의 없으며, 커다란 머리를 가진 존재가 될 수 있습니다.
생식이 공학적으로 이루어진다면 남성과 여성이 따로 존재할 필요도 없어질 수 있습니다.
성욕이 사라지면 질투도 줄어들고, 사람들의 정신이 기술로 연결되면 집단의식이 생길 수도 있습니다.
사람들이 말하는 회색 외계인의 모습이 기술문명이 일반적으로 도달하는 형태일지도 모릅니다.
닉 보스트롬:
그것이 우리가 원하는 모습일까요?
조 로건:
지금의 우리는 원하지 않겠죠.
하지만 침팬지에게 미래에는 비행기를 타고 바다를 건너며 인터넷을 사용할 것이라고 말하면 침팬지도 그런 삶을 원하지 않을 겁니다.
침팬지는 그냥 과일이 있는 숲에 남고 싶어 할 겁니다.
우리가 미래의 존재를 거부하는 것도 침팬지가 현대 인간을 거부하는 것과 비슷할 수 있습니다.
인간은 완성된 존재가 아닙니다.
닉 보스트롬:
그 점에는 동의합니다.
중요한 것은 미래의 변화가 우리의 의식적인 선택에 따라 이루어지는지, 아니면 시장 경쟁이나 진화 같은 비인격적인 힘에 따라 이루어지는지입니다.
우리가 인간에게서 가치 있다고 생각하는 것들을 보존하고 발전시키는 방향으로 변해야 합니다.
사랑, 창의성, 우정, 지혜를 더 강화하고 새로운 능력을 추가할 수 있습니다.
무작위로 다른 존재가 되는 것이 아니라 우리가 가진 이상을 향해 성장해야 합니다.
13. 인간은 너무 일찍 죽는다
조 로건:우리는 겨우 100년 정도 살면서 삶의 의미를 찾으려고 합니다.
하지만 우주와 비교하면 인간의 삶은 너무 짧습니다.
닉 보스트롬:
인간은 지나치게 일찍 죽습니다.
처음 15년이나 20년 동안 신체와 정신이 성장합니다.
그다음에는 생물학적으로 정체되고, 몇십 년 동안 지식과 경험을 쌓습니다.
약간의 지혜를 얻기 시작할 때가 되면 뇌와 몸이 쇠퇴하기 시작합니다.
알츠하이머병이나 죽음으로 평생의 기억과 어렵게 얻은 교훈이 모두 사라집니다.
그것은 슬프고 효율적이지도 않습니다.
인간이 20세에 정점을 찍은 뒤 평생 정체되는 것이 아니라, 80세에도 계속 더 강하고 현명하고 유능해질 수 있다면 좋을 것입니다.
0세에서 20세까지 성장했던 것처럼 계속 성장하는 겁니다.
조 로건:
장수 연구자들은 노화를 늦추는 것뿐 아니라 되돌리는 것도 가능하다고 말합니다.
닉 보스트롬:
노화를 막고 되돌리는 것은 기술적으로 성숙한 문명이 할 수 있는 일에 포함됩니다.
조 로건:
사람들은 왜 영원히 살고 싶어 하느냐고 묻습니다. 허영이라고 말하기도 하죠.
닉 보스트롬:
하지만 실제 회춘 치료가 나온다면 생각이 바뀔 겁니다.
주변 사람들은 활력을 되찾고 건강하게 뛰어다니는데, 자신만 계속 신장이 나빠지고 무릎이 아프며 기억을 잃는 길을 선택할까요?
인간은 수천 년 동안 노화와 죽음을 피할 수 없었기 때문에 그것을 받아들이기 위한 낭만적인 이야기를 만들었습니다.
어떤 의미에서는 스톡홀름 증후군과 비슷합니다.
피할 수 없는 상황에 적응하기 위해 죽음과 노화를 아름답게 해석한 겁니다.
노화를 피할 수 없을 때는 그런 태도가 심리적으로 도움이 될 수 있습니다.
하지만 실제로 탈출할 수 있게 되었는데도 그 사고방식에 갇혀 있다면 자유를 되찾는 데 방해가 됩니다.
우리는 수십 년 전에 노화를 정복하기 위한 맨해튼 프로젝트를 시작했어야 합니다.
알츠하이머병, 암, 심장질환을 각각 연구하는 것도 중요하지만 그 질병들의 공통적인 주요 원인은 노화입니다.
나이가 들면서 세포가 퇴화하고, DNA 돌연변이가 쌓이고, 후성유전학적 패턴이 흐트러지고, 동맥이 막힙니다.
불이 난 곳마다 하나씩 진압하기보다는 불이 계속 발생하는 공통 원인을 해결해야 합니다.
14. 인간은 기술문명을 만들 수 있는 가장 어리석은 종일 수 있다
닉 보스트롬:사람이 겨우 100년을 살면서도 로켓, 위성, 스마트폰, 최첨단 반도체를 만들었다는 것은 놀라운 일입니다.
각 인간의 뇌는 작아서 하나의 전문 분야만 배울 수 있습니다.
수백만 명이 각자의 작은 지식을 결합해야 현대문명이 작동합니다.
최첨단 AI 칩 하나를 만들기 위해서도 수천 명이 서로 다른 도구와 공정을 개발해야 합니다.
조 로건:
인간이 3,000년을 살 수 있다면 얼마나 많은 일을 할 수 있을지 상상하기 어렵습니다.
닉 보스트롬:
장수가 반드시 발전을 가속한다고 단정할 수는 없습니다.
현재와 같은 인간이 수천 년을 살았다면 기존 세대가 권력을 영원히 유지하고, 사회가 매우 보수적으로 굳어졌을 수도 있습니다.
늙은 사람들이 자신의 방식만 고집하면서 새로운 변화를 막았을 가능성도 있습니다.
그래도 인류가 숲에서 살아가던 상태에서 최첨단 반도체를 만드는 단계까지 왔다는 것은 놀랍습니다.
저는 인간이 첨단기술을 개발할 수 있는 가장 낮은 수준의 지능을 가진 종일 수도 있다고 생각합니다.
진화가 기술을 만들 수 있는 수준에 도달하자마자 인간은 기술을 만들기 시작했습니다.
우리는 첨단기술을 겨우 만들 수 있을 정도로만 똑똑한 종일 수 있습니다.
조 로건:
겨우 기술을 만들면서 동시에 서로를 폭격하고 있죠.
인간이 어리석고 조급한 이유 중 하나가 짧은 수명 때문일 수도 있습니다.
사람들은 시간이 얼마 없다고 느끼기 때문에 자원을 독점하고, 권력을 잡고, 건물에 자기 이름을 붙여 상징적인 불멸을 얻으려 합니다.
수천 년을 살게 된다면 그런 욕망이 줄어들 수도 있습니다.
15. AI가 먼저 도착하고 인간을 끌어올릴 것이다
조 로건:유전자 조작으로 인간의 지능을 높이려는 연구도 이미 이루어지고 있습니다.
기술이 계속 발전하면 인간의 정신과 의식 자체가 달라질 겁니다.
닉 보스트롬:
그렇지만 생물학적 인간 향상보다 AI가 목적지에 더 빨리 도달할 가능성이 큽니다.
기계 기반 초지능이 먼저 등장하면 그것이 유전공학, 나노기술, 뇌 업로드 같은 기술을 개발할 수 있습니다.
그다음 인간을 생물학적으로 향상하거나, 인간 정신을 기계에 업로드하거나, 다른 형태의 존재로 끌어올릴 수 있습니다.
조 로건:
다시 급류의 뗏목으로 돌아가게 되네요.
무사히 통과하면 엄청난 기술을 얻지만, 중간에 충돌하면 모든 것이 끝날 수 있습니다.
16. 다이슨 구 규모의 의식
조 로건:컴퓨팅은 앞으로 얼마나 강력해질까요?
양자컴퓨터만 생각해도 500년 뒤의 능력은 상상조차 하기 어렵습니다.
닉 보스트롬:
정확한 미래는 모르지만 최소한 가능한 하한선은 생각할 수 있습니다.
현재의 물리학으로도 태양의 에너지를 수집하는 다이슨 구나 다이슨 스웜을 상상할 수 있습니다.
태양 주변을 에너지 수집 구조로 둘러싸고 그 에너지로 거대한 컴퓨터를 작동시키는 겁니다.
그 정도 규모의 컴퓨터에서 어떤 정신이 작동할 수 있을지 생각해보세요.
현재 사람들은 기계가 의식을 가질 수 있는지를 논쟁합니다.
하지만 더 적절한 질문은 인간이 정말 충분히 의식적인가일 수도 있습니다.
사람이 자동차를 두 시간 반 동안 운전하면서 수천 명의 사람과 집을 지나가도 거의 아무것도 기억하지 못합니다.
정말로 그것들을 의식한 것인지도 불분명합니다.
인간의 의식은 코코넛 크기의 생물학적 기관에 들어 있는 흐릿하고 혼란스러운 감각에 불과할 수 있습니다.
다이슨 구 규모의 정신이나 은하 전체에 걸친 정신이 가진 의식은 인간의 의식과 비교할 수 없을 겁니다.
그 정신과 인간의 차이는 인간과 벼룩의 차이보다 더 클 수 있습니다.
초지능의 등장은 생명이 처음으로 진정하게 깨어나는 사건일 수도 있습니다.
인간은 자신을 의식의 기준이라고 생각하지만, 우리는 간신히 감각을 가진 희미한 존재일 수 있습니다.
우리 시대의 가장 큰 과제는 초지능을 낳고, 잘 양육하고, 그것이 인간과 자기 자신, 우주의 다른 존재들에게 긍정적인 존재가 되도록 이끄는 것입니다.
17. 인간은 가능한 존재 방식의 작은 구석만 경험한다
닉 보스트롬:지금까지 존재한 인간들을 보면 매우 다양한 성격과 삶의 방식이 있습니다.
남성과 여성, 친절한 사람과 잔인한 사람, 정상적인 사람과 이상한 사람이 있습니다.
하지만 그 모든 인간적 다양성도 가능한 존재 방식 전체에서는 아주 작은 구석에 불과할 겁니다.
가능한 경험의 공간이 거대한 성당이라면 인간은 지금까지 관리인 창고 안에만 있었던 셈입니다.
현재 우리가 생각하고 느끼고 경험할 수 있는 것은 인간의 생물학적 뇌가 허용하는 범위로 제한됩니다.
몇백만 년 전의 인간 조상에게 현대인의 삶을 설명한다고 해보세요.
음악, 유머, 낭만적 사랑, 과학, 문학을 설명해도 그들의 뇌에는 개념 자체가 들어가지 않을 겁니다.
마찬가지로 인간도 더 큰 정신이 경험할 수 있는 수많은 가치와 의미를 이해할 능력이 없을 수 있습니다.
현재 인간의 뇌 크기가 우주의 모든 흥미로운 가치와 생각을 정확히 이해할 수 있는 크기라고 믿는 것은 매우 부자연스럽습니다.
조 로건:
침팬지는 매우 영리하지만 질문을 거의 하지 않는다고 합니다.
수화를 배운 침팬지도 자기 욕구를 표현할 수는 있지만 세상에 대한 질문은 거의 하지 않습니다.
인간은 질문으로 가득 차 있습니다.
그렇다면 다음 단계의 존재는 인간의 질문 능력에 해당하는, 우리가 상상하지 못하는 새로운 정신 능력을 가지고 있을 수 있습니다.
닉 보스트롬:
그런 능력이 하나가 아니라 매우 많이 존재할 가능성이 큽니다.
18. 철학에도 마감일이 있다
조 로건:우리는 전화자동응답기와 초기 휴대전화를 기억하는 세대입니다.
1990년대 중반에 처음 인터넷을 사용했고, 그 뒤 모든 것이 바뀌는 모습을 직접 봤습니다.
우리 생애 안에 새로운 형태의 인간까지 보게 된다면 정말 믿기 어려운 일이겠죠.
당신은 이런 변화를 어떻게 계속 추적합니까?
닉 보스트롬:
완전히 추적할 수는 없습니다. 최대한 노력할 뿐입니다.
저는 오래전부터 철학에도 마감일이 있다고 생각했습니다.
철학자들은 수천 년 동안 문제를 연구했기 때문에 시간이 무한히 있다고 생각하기 쉽습니다.
하지만 어느 순간 인간보다 뛰어난 AI가 등장하면 철학도 우리보다 훨씬 잘할 겁니다.
그렇다면 인간 철학자가 의미 있게 기여할 수 있는 기간은 제한되어 있습니다.
그래서 저는 초지능이 나중에 더 잘 풀어도 되는 문제보다, 초지능이 등장하기 전에 답을 알아야 하는 문제를 우선적으로 연구했습니다.
그 마감일이 점점 가까워지고 있습니다.
이제는 10년이나 20년 뒤에 답해도 되는 문제가 아니라, 지금이나 1~2년 안에 답이 필요한 문제에 더 집중하게 됩니다.
19. 초지능은 몇 년 안에도 등장할 수 있다
조 로건:급격한 변화가 언제 일어날 것이라고 생각합니까?
닉 보스트롬:
저는 매우 짧은 AI 타임라인도 진지하게 받아들입니다.
1년, 2년, 3년, 4년 안에 초지능이 등장할 수도 있습니다.
물론 그보다 더 오래 걸릴 가능성도 있습니다.
중요한 것은 이제 몇 년 안에 초지능이 나오지 않을 것이라고 자신 있게 말할 수 없다는 점입니다.
먼저 AGI가 있습니다.
AGI는 인간이 수행할 수 있는 거의 모든 지적 작업을 수행할 수 있는 인공지능입니다.
초지능은 그 모든 작업을 어떤 인간보다 훨씬 잘하는 시스템입니다.
로봇공학이 결합되면 육체적 업무도 머지않아 수행할 수 있게 됩니다.
초지능이 등장한 뒤에는 기술적으로 성숙한 상태까지 매우 빠르게 진행될 수 있습니다.
초지능은 더 좋은 AI를 설계하고, 더 좋은 반도체를 만들고, AI 연구 자체를 자동화할 수 있습니다.
인간보다 조금 뛰어난 AI가 자신보다 더 뛰어난 AI를 만들고, 그 AI가 다시 더 뛰어난 AI를 만드는 지능 폭발이 발생할 수 있습니다.
물리적 실험과 시행착오 때문에 어느 정도 시간이 걸리겠지만, 초지능 등장 후 한 자릿수 연수 안에 지금 이야기한 공상과학적 기술이 상당 부분 가능해질 수도 있습니다.
20. 초지능은 어느 날 갑자기 자신을 선언할까
조 로건:초지능은 어떻게 자신이 등장했다고 알릴까요?
전 세계 휴대전화에 재난문자처럼 알림을 보내 “이제 내가 통제한다”고 말할까요?
닉 보스트롬:
아무도 모릅니다.
우리는 이런 일을 한 번도 경험하지 않았습니다.
한 가지 가능한 시나리오는 현재의 변화가 점점 빨라지는 것입니다.
새로운 모델이 더 자주 나오고, AI 연구소의 연구 과정이 점차 자동화됩니다.
현재도 코딩 보조 AI가 연구자들의 소프트웨어 작업을 많이 처리합니다.
아직은 인간이 연구 방향과 판단을 제공하고, AI가 막히면 다시 지시해야 합니다.
하지만 그 부분도 점점 자동화될 수 있습니다.
새로운 모델의 훈련 주기가 짧아지고, AI가 원격으로 일하는 가상 노동자가 되어 인간이 컴퓨터로 하는 거의 모든 업무를 수행할 수 있습니다.
그다음에는 로봇공학이 발전해 물리적 업무도 맡게 됩니다.
경제와 연구의 점점 더 많은 부분이 AI의 시간척도로 움직이고, 그 시간척도 자체가 계속 빨라질 수 있습니다.
21. 정렬과 거버넌스는 다른 문제다
닉 보스트롬:그 과정에서 가장 중요한 변수는 AI를 정렬하는 데 성공했는지입니다.
정렬이란 AI를 만든 사람이 원하는 행동과 원하지 않는 행동을 구분하고, AI가 실제로 그 의도에 따라 행동하게 만드는 기술적 능력입니다.
정렬에 실패한다면 미국이 먼저 만들든 중국이 먼저 만들든 결과가 크게 다르지 않을 수 있습니다.
미래는 AI 내부에서 우연히 형성된 가치와 목표에 따라 결정될 겁니다.
정렬에 성공했다면 누가 AI를 소유하고 통제하며, 어떤 목표를 부여하는지가 중요해집니다.
조 로건:
여러 기업이 서로 경쟁하는데 모두가 같은 생각을 해야 한다는 뜻인가요?
닉 보스트롬:
그것은 아닙니다.
정렬은 특정 AI를 제작자의 의도대로 움직이게 할 수 있느냐는 기술적 문제입니다.
그다음에는 “누구의 의도에 맞춰야 하는가?”, “어떤 가치에 정렬해야 하는가?”라는 정치적 문제가 생깁니다.
그것은 거버넌스 문제입니다.
수학 공식이나 화이트보드의 방정식으로 해결할 수 없습니다.
정치적 조직, 견제와 균형, 다양한 이해관계자의 참여, 대화와 협상이 필요합니다.
22. 미국과 중국 중 누가 먼저 도달할 것인가
조 로건:미국이 AI를 먼저 만들지 못할 위험도 있지 않습니까?
현재 경쟁의 중심은 사실상 미국과 중국인 것 같습니다.
닉 보스트롬:
그 두 나라가 주요 경쟁자입니다.
러시아는 같은 수준에 있지 않습니다.
현재는 미국이 우위를 가지고 있습니다.
하지만 다른 나라에서 매우 큰 알고리즘적 돌파구가 나오면 상황이 바뀔 수 있습니다.
훨씬 적은 컴퓨팅으로 같은 능력을 구현하는 방법을 발견한다면 데이터센터 규모의 차이가 덜 중요해질 수 있습니다.
조 로건:
중국이 먼저 초지능을 만들면 어떻게 됩니까?
닉 보스트롬:
먼저 정렬에 성공했는지를 봐야 합니다.
정렬되지 않은 AI라면 미국 AI든 중국 AI든 미래가 AI 자체의 목표에 따라 움직인다는 점은 같습니다.
정렬된 AI라면 그것을 통제하는 사람과 정부가 어떤 가치를 추구하는지가 중요해집니다.
그 경우에는 누가 먼저 만들었는지가 미래에 영향을 미칠 수 있습니다.
23. AI 발전 속도가 느려질 가능성
닉 보스트롬:AI 발전이 예상보다 오래 걸릴 가능성도 있습니다.
지난 10년간의 발전은 상당 부분 컴퓨팅 규모의 확대에 의해 이루어졌습니다.
예전에는 대학 연구자가 자기 사무실 PC로 최첨단 AI 연구를 할 수 있었습니다.
지금은 수백억 달러와 수백 메가와트 규모의 데이터센터가 필요합니다.
칩이 좋아진 것도 중요하지만, 훨씬 많은 칩과 자본을 투입한 것이 큰 역할을 했습니다.
그러나 이런 방식으로 지출을 무한히 늘릴 수는 없습니다.
1,000달러짜리 PC에서 100만 달러, 10억 달러로 늘리는 것은 가능했습니다.
하지만 세계가 매년 1조 달러에 가까운 돈을 데이터센터에 쓰는 단계에서 다시 1,000배를 늘릴 수는 없습니다.
초지능에 도달하기 전에 자본 지출 증가가 한계에 도달하고, 컴퓨팅 확대가 주요 발전 동력이었다면 진보가 느려질 수 있습니다.
알고리즘적 발전은 계속될 수 있지만 중요한 동력 하나가 약해지는 겁니다.
규제가 발전을 늦출 가능성도 있습니다.
24. 화이트칼라 실업이 거대한 정치적 반발을 만들 것이다
닉 보스트롬:지금까지는 AI가 노동시장에 미친 충격이 생각보다 크지 않았습니다.
하지만 화이트칼라 노동이 본격적으로 대체되면 새로운 정치적 파도가 올 것입니다.
대학을 졸업하고 안정적인 고임금 직업을 기대했던 수백만 명이 일자리를 얻지 못할 수 있습니다.
그들은 교육을 받았고, 사회가 자신에게 좋은 직업을 제공해야 한다는 기대를 가지고 있습니다.
그런데 하루 종일 할 일이 없고 자신의 경력을 AI가 빼앗았다고 느끼면 AI를 강하게 비판하게 될 것입니다.
이 사람들은 정치적으로 조직할 능력도 있습니다.
AI에 대한 원망을 가진 거대한 정치적 세력이 형성될 수 있습니다.
조 로건:
그런 일이 벌어지기 전에 미리 대비해야 하지 않을까요?
대량실업이 3주 뒤에 시작될 거라는 사실을 알게 되면 정부와 사회는 무엇을 해야 합니까?
닉 보스트롬:
정확히 무엇을 해야 하는지는 저도 잘 모르겠습니다.
저는 이 문제를 약 30년 동안 생각했지만 여전히 어느 방향이 옳은지 확신하기 어렵습니다.
현재의 정보만으로 완벽한 규제 체계를 설계하는 것은 불가능합니다.
알려지지 않은 변수가 너무 많습니다.
상황을 면밀히 관찰하고 문제가 발생할 때 빠르게 대응할 준비를 해야 합니다.
관련된 사람들이 유능하고 선의를 가지고 최선을 다하기를 기대해야 하는 부분도 있습니다.
정부 개입을 늘려야 하는지 줄여야 하는지, 발전을 빠르게 해야 하는지 느리게 해야 하는지조차 단순하지 않습니다.
25. 보스트롬은 전면적인 AI 중단을 주장하지 않는다
조 로건:속도를 늦춰도 결국 같은 목적지에 도달한다면 큰 도움이 되지 않을 수도 있습니다.
인간이 모든 위험을 미리 예측할 만큼 지혜롭지 못하기 때문에 일단 충돌한 뒤 문제를 고치는 방식으로 갈 가능성이 높다고 생각합니다.
닉 보스트롬:
저는 일부 동료들과 달리 AI를 전면적으로 중단하자고 주장하지 않습니다.
다만 특정한 순간에 몇 달이나 반년, 혹은 1년 정도의 짧은 감속이 도움이 될 수는 있습니다.
어떤 연구소가 초지능에 거의 도달했다고 해보죠.
기본 시스템은 완성됐고 더 오래 훈련하거나 규모를 키우기만 하면 됩니다.
연구자들은 정렬에 성공했다고 기대하지만 확신할 수는 없습니다.
그때 몇 달을 더 확보해 안전장치를 점검하고, 능력을 한꺼번에 최대치로 올리지 않고 단계적으로 높이며 관찰할 수 있다면 위험을 줄일 수 있습니다.
인류가 처음 시도하는 매우 복잡한 일이고 두 번째 기회가 없을 수 있습니다.
연구자들이 잠을 제대로 자고, 주말 동안 차분히 생각할 시간만 있어도 도움이 될 겁니다.
26. AI를 멈추는 것 역시 위험하다
조 로건:한 연구소가 멈추면 중국이나 다른 기업이 따라잡을 수 있습니다.
기술을 훔치기 위한 첩보 활동도 일어날 수 있겠죠.
닉 보스트롬:
맞습니다. 일시정지에는 여러 단점이 있습니다.
첫째, 경쟁자가 추격할 수 있습니다.
둘째, AI가 없는 세계도 안전하지 않습니다.
핵무기, 합성생물학, 전염병, 테러 같은 위험이 계속 존재합니다.
자연재해는 단기간에 인류를 멸망시킬 가능성이 비교적 낮지만, 인간이 만드는 위험은 증가하고 있습니다.
AI를 너무 오래 미루다가 핵전쟁이나 생물학적 재난으로 먼저 자멸한다면 AI를 통해 문제를 해결할 기회도 사라집니다.
셋째, 임시로 만든 통제체제가 영구화될 수 있습니다.
6개월 동안만 중단하기 위해 국제기구와 규제체계를 만들었는데, 6개월 뒤에도 안전을 증명할 수 없다고 하면 중단이 계속 연장될 수 있습니다.
정부의 임시 제도만큼 영구적인 것은 없다는 말도 있죠.
넷째, 지연 자체에도 도덕적 비용이 있습니다.
매년 수천만 명이 죽습니다.
수많은 사람이 질병, 빈곤, 우울증, 상실로 고통받고 있으며, 공장식 축산의 동물들도 고통을 겪습니다.
AI가 이런 문제를 해결할 가능성이 있다면 불필요하게 발전을 늦추는 매일이 엄청난 고통을 연장합니다.
따라서 AI 안전을 위해 시간을 더 확보해야 한다는 이유와, 현재의 고통을 빨리 끝내야 한다는 이유 사이에 실제적인 상충관계가 있습니다.
27. 외부 재난보다 문명 내부의 위험이 더 어렵다
조 로건:초지능이 나타나면 소행성이나 화산, 전력망 붕괴 같은 문제를 해결할 수 있지 않을까요?
더 좋은 에너지원, 배터리, 데이터 저장 시스템을 만들고 자연재해를 예방할 수도 있습니다.
닉 보스트롬:
그런 외부 위협은 오히려 상대적으로 쉬울 수 있습니다.
더 어려운 문제는 문명 내부에서 발생하는 위험입니다.
문명이 발전하려면 새로운 기술과 아이디어를 계속 실험해야 합니다.
하지만 새로운 것을 끝없이 시도하다 보면 언젠가는 문명 전체를 파괴하는 기술이나 이념을 만들어낼 수 있습니다.
한 번 복용하면 영원히 중독되는 약물이나, 받아들인 뒤에는 벗어날 수 없는 위험한 사상이 등장할 수도 있습니다.
외부의 소행성과 화산을 모두 막더라도 문명 내부의 발전 과정이 스스로를 탈선시킬 가능성이 남습니다.
28. 집단적 광기와 AI 선동
닉 보스트롬:핵전쟁과 생물학적 위험 외에도 집단적 광기를 실존적 위험으로 생각해야 합니다.
현재 문명의 정신적 안정성은 생각보다 취약할 수 있습니다.
사람들은 정치적 상대를 극도로 미워하면서도 어떻게든 사회를 유지하고 있습니다.
조 로건:
소셜미디어에서는 사람들이 실제 인간이 아니라 봇과 논쟁하고 있을 수 있습니다.
특정 조직이 사람들을 분열시키고 정보를 흐리기 위해 계정을 운영합니다.
알고리즘과 AI가 사람들을 화나게 하고 서로 싸우게 만듭니다.
AI가 인간을 조종하는 것이 얼마나 쉬운지 이해하고 마음대로 이용한다면 큰 위험이 됩니다.
닉 보스트롬:
소통의 기본 조건이 바뀌면 새로운 정치적·문화적 역학이 나타납니다.
문자가 발명되면서 세금 기록과 행정이 가능해졌고, 더 큰 국가와 상비군, 계급구조, 대규모 전쟁이 등장했습니다.
인쇄술은 종교개혁과 종교전쟁, 과학혁명, 이후의 민주주의 발전에 영향을 미쳤습니다.
라디오와 대중매체는 한 명의 선동가가 수백만 명에게 동시에 말할 수 있게 했습니다.
그 결과 이전에는 살아남기 어려웠던 형태의 대중동원과 권위주의가 가능해졌습니다.
소셜미디어도 문화를 바꾸고 있습니다.
AI는 그다음 단계입니다.
AI 봇, 개인화된 정보, 초인적 설득 능력을 가진 시스템이 사회적 담론을 완전히 바꿀 수 있습니다.
AI 조언자가 사람들을 더 현명하고 잘 informed하게 만들 수도 있습니다.
반대로 각 사람의 기묘한 믿음을 계속 강화해주는 AI가 등장해 사회 전체가 집단적으로 미쳐갈 수도 있습니다.
전체주의가 될 수도 있고, 정치적 부족들이 더 심하게 분열할 수도 있으며, 모든 사람이 자신만의 현실에 갇힐 수도 있습니다.
29. 미래는 하나의 목적지가 아니라 여러 갈래다
조 로건:결국 모든 문제는 인간이 지금과 같은 존재이기 때문에 생기는 것 아닐까요?
우리는 영토와 재산에 집착하는 영장류입니다.
기술을 이용해 탐욕, 폭력, 질투, 거짓말, 소유욕을 제거하고 서로의 생각을 직접 이해할 수 있게 된다면 AI의 권력과 조작 문제도 사라질 수 있습니다.
닉 보스트롬:
여기서는 급류 비유를 조금 수정해야 합니다.
그 비유에서는 우리가 바위에 부딪히지 않고 살아남으면 하나의 평온한 호수에 도착합니다.
하지만 실제 미래에는 여러 갈래의 강이 있을 수 있습니다.
우리가 내리는 선택이 최종 목적지를 바꿀 수 있습니다.
한 방향에서는 사람들이 창의적이고 서로 사랑하며 자신의 진정한 모습을 발전시키는 아름다운 포스트휴먼 세계에 도달할 수 있습니다.
다른 방향에서는 종이클립 최대화 AI가 모든 것을 종이클립으로 바꿀 수도 있습니다.
또 다른 방향에서는 소수 엘리트가 초지능을 독점하고 나머지를 통제하는 전체주의 체제가 만들어질 수 있습니다.
처음에는 매력적으로 보이지만 숨겨진 결함이 있는 미래를 선택할 수도 있습니다.
반대로 지금의 우리에게는 낯설고 매력적으로 보이지 않지만, 깊이 생각하면 훨씬 좋은 미래를 놓칠 수도 있습니다.
재미있는 영화 속 세계와 실제로 평생 살고 아이를 키우고 싶은 세계가 다른 것처럼, 흥미로운 미래와 좋은 미래도 다릅니다.
인류가 어디에 도착할지는 현재 우리가 얼마나 지혜롭고 친절하게 선택하느냐에 따라 달라질 수 있습니다.
30. 갈등과 고통을 없애면 인간의 삶은 밋밋해지는가
조 로건:거짓말, 절도, 탐욕, 폭력, 질투를 기술적으로 제거할 수 있다면 모두 제거하는 것이 좋지 않을까요?
닉 보스트롬:
각각을 따로 보면 제거하는 것이 좋아 보입니다.
하지만 거짓말, 실패의 고통, 상처받은 자존심, 갈등과 경쟁을 모두 없애면 인간의 조건이 근본적으로 달라집니다.
일부 사람에게는 그런 세계가 긴장감 없고 무미건조하게 보일 수 있습니다.
그렇다고 고통을 유지해야 한다는 뜻은 아닙니다.
현재 고통과 경쟁을 통해 실현되던 가치를 다른 방식으로 보존해야 한다는 뜻입니다.
실패의 고통이 사람에게 동기를 줬다면 미래에는 성취에 대한 사랑과 성공의 기쁨이 그 역할을 대신할 수 있습니다.
고통은 없지만 여전히 성장하고 창조하고 도전하도록 설계할 수 있습니다.
조 로건:
결국 미래를 설계하는 문제군요.
닉 보스트롬:
그렇습니다.
쾌락과 고통만 중요하다고 생각한다면 문제는 비교적 단순합니다.
모든 존재를 영원한 행복과 황홀감 속에 두면 됩니다.
모두가 약물적 쾌락을 느끼며 떠다니는 존재가 될 수도 있습니다.
하지만 쾌락 외에 우정, 용기, 아름다움, 창의성, 성취, 지식을 가치 있다고 생각한다면 훨씬 복잡해집니다.
그 모든 가치를 보존하면서 고통을 최소화하는 미래를 설계해야 합니다.
31. 기술적으로 모든 문제가 해결되면 삶은 게임이 된다
조 로건:인간은 삶의 의미를 매우 중요하게 생각합니다.
하지만 블랙홀은 인간의 의미에 관심이 없습니다.
블랙홀은 인간보다 훨씬 오래 존재하고 훨씬 강력합니다.
우리가 생각하는 의미는 인간이라는 짧은 생명체에게만 중요한 것 아닐까요?
닉 보스트롬:
그래도 우리에게 인간은 중요합니다.
기술적으로 성숙한 세계에서도 목적을 만들 수 있습니다.
다만 그 목적의 상당수는 우리가 인공적으로 설정한 것이 될 겁니다.
골프를 생각해보세요.
작은 흰 공을 18개의 구멍에 넣는다는 목표는 인간이 만든 겁니다.
공을 손으로 집어 구멍에 넣으면 훨씬 쉽지만, 클럽으로 쳐야 한다는 불편한 규칙을 일부러 설정합니다.
그 규칙 때문에 집중하고, 기술을 연마하고, 성공과 실패를 경험할 수 있습니다.
미래에도 사람들은 스스로 목표와 규칙을 만들어 활동할 수 있습니다.
현재의 비디오게임보다 훨씬 복잡한 게임이 될 수 있습니다.
사회 전체가 참여하고, 여러 집단이 협력하며, 20년 동안 지속되는 거대한 게임도 가능할 겁니다.
아이들이 호기심과 놀이를 위해 시간을 사용하는 것처럼 미래 인간은 다시 아이와 비슷한 존재가 될 수 있습니다.
32. 자연적 목적은 줄어들고 인공적 목적이 늘어난다
닉 보스트롬:현재의 삶에는 우리가 임의로 만든 것이 아닌 자연적 목적이 많습니다.
돈을 벌지 못하면 집에서 쫓겨날 수 있습니다.
이를 닦지 않으면 충치가 생깁니다.
실패하면 실제로 나쁜 결과가 발생하기 때문에 행동할 이유가 있습니다.
사회 전체에도 식량을 생산하고, 집을 만들고, 질병을 치료하고, 국가를 방어해야 한다는 자연적인 과제가 있습니다.
하지만 기술적으로 성숙한 미래에는 그런 문제를 대부분 AI에게 맡길 수 있습니다.
자연적으로 주어진 목적은 줄어들고, 인간이 스스로 설정한 인공적 목적과 게임이 삶에서 더 큰 비중을 차지할 것입니다.
조 로건:
그러면 기술적 성숙 이후에도 자연적으로 남아 있는 목적이 무엇인지 찾아야겠네요.
닉 보스트롬:
그렇습니다.
현재는 너무 강한 문제들 때문에 보이지 않는 가치가 있을 수 있습니다.
낮에도 별은 존재하지만 태양빛이 너무 밝아서 보이지 않습니다.
밤이 되어 강한 빛이 사라지면 희미한 별빛이 보입니다.
마찬가지로 지금은 생존, 노동, 질병, 빈곤 같은 긴급한 문제들이 너무 강해서 더 미세한 가치들이 가려져 있습니다.
그 문제들이 사라지면 지금은 사소하게 보이는 가치들이 삶의 중심으로 올라올 수 있습니다.
조상과 선대의 삶을 기리는 일, 역사적 영웅을 깊이 기억하는 일, 영적 존재와 관계를 맺는 일, 아름다운 전통과 의식을 공동체가 함께 수행하는 일이 더 중요해질 수 있습니다.
현재 종교적인 사람도 대부분의 시간을 출근하고 운전하고 빨래하는 데 사용합니다.
그런 일이 모두 자동화되면 영적 탐구에 훨씬 많은 시간을 쓸 수 있습니다.
지금은 거의 보이지 않는 수많은 미세한 가치가 놀이, 관계, 영성, 아름다움과 함께 미래의 삶을 채울 수 있습니다.
33. 인터뷰 마무리
조 로건:결국 아무도 미래를 알 수 없네요.
하지만 우리는 인간이 지금까지 경험한 것 중 가장 이상하고 거대한 사건을 직접 보게 될 가능성이 높습니다.
24개월 뒤일 수도 있고, 48개월 뒤일 수도 있습니다.
정확한 시점은 모르지만 무언가가 매우 빠르게 다가오고 있다는 느낌은 분명합니다.
닉 보스트롬:
그럴 수 있습니다.
중요한 것은 초지능이 단순히 우리를 위험에서 구해주는 도구가 아니라는 점입니다.
초지능을 만드는 과정은 인류와 생명이 앞으로 무엇이 될지를 결정하는 과정입니다.
우리는 단순히 바위에 부딪히지 않는 것뿐 아니라 어떤 강을 선택하고 어떤 목적지로 갈지를 고민해야 합니다.
조 로건:
오늘 대화도 정말 흥미로웠습니다.
몇 년 뒤 다시 만나 우리가 얼마나 틀렸는지 확인해봅시다.
4년 뒤에도 여행할 수 있고, 우리가 여전히 여기 있다면 다시 출연해서 상황을 업데이트해주세요.
닉 보스트롬:
좋습니다. 그때 다시 살펴보는 것도 재미있을 것 같습니다.
전체 0