---

(오프닝 몽타주)

다리오 아모데이: 저는 AI가 통제를 벗어나는(rogue) 시나리오에 초점을 맞춰보고 싶습니다.

다리오 아모데이: 사실, 사람들을 최대한 겁주기 위해 터미네이터 로봇 사진이라도 준비했어야 했나 봅니다.

로스 다우섯: 제 생각엔 인터넷이...

다리오 아모데이: 인터넷이 우리 대신 그 일을 해주죠.

(타이틀: The New York Times OPINION - INTERESTING TIMES)

로스 다우섯 (내레이션): 인공지능의 군주들은 인류의 편일까요?

래리 핑크 (자료화면): 제 예상으로는 사람보다 로봇이 더 많아질 겁니다.

마크 저커버그 (자료화면): 물리적 세계와 디지털 세계가 정말로 완전히 융합되어야 합니다.

샘 올트먼 (자료화면): 세상은 아직 휴머노이드 로봇을 제대로 경험해보지 못했습니다. 아주 공상과학(SF)처럼 느껴질 겁니다.

로스 다우섯 (내레이션): 이것이 제가 이번 주 게스트에게 던진 핵심 질문입니다. 그는 가장 빠르게 성장하는 AI 기업 중 하나인 앤스로픽(Anthropic)의 수장입니다.

뉴스 앵커 (자료화면): 앤스로픽의 기업 가치는 거의 3,500억 달러에 달할 것으로 추정됩니다.

뉴스 앵커 (자료화면): 앤스로픽의 클로드(Claude) 코드는 연전연승을 거두고 있습니다.

로스 다우섯 (내레이션): 그는 자신이 세상에 내놓고 있는 기술의 잠재적 효과에 대해서는 일종의 유토피아주의자입니다.

다리오 아모데이 (자료화면): AI는 암을 치료하고, 열대성 질병을 박멸하며, 우주를 이해하는 데 도움을 줄 것입니다.

로스 다우섯 (내레이션): 하지만 그는 또한 앞에 놓인 심각한 위험과, 무슨 일이 있어도 일어날 거대한 혼란을 예견합니다.

다리오 아모데이 (자료화면): 이 일은 너무나 빠르게 진행되고 있고 거대한 위기이기 때문에, 우리는 이 상황을 어떻게 헤쳐나갈지 고민하는 데 거의 모든 노력을 쏟아야 합니다.

(스튜디오 인터뷰 시작)

로스 다우섯: 다리오 아모데이 님, 'Interesting Times'에 오신 것을 환영합니다.

다리오 아모데이: 초대해 주셔서 감사합니다, 로스.

로스 다우섯: 여기 와주셔서 감사합니다. 테크 기업 CEO로서는 다소 이례적으로, 당신은 에세이스트(수필가)이기도 합니다. 당신은 인공지능의 약속과 위험에 대해 길고 매우 흥미로운 에세이 두 편을 썼습니다. 우리는 이 대화에서 위험에 대해 이야기하겠지만, 먼저 약속(promise)에 대해, 그리고 몇 년 전 당신이 '사랑의 은혜를 베푸는 기계(Machines of Loving Grace)'라는 제목의 에세이에서 제시한 낙관적인 비전, 아니 유토피아적 비전으로 시작하는 게 좋겠습니다. 제목에 대해서는 나중에 다시 이야기하죠. 하지만 많은 사람들이 AI 뉴스를 접할 때 화이트칼라 직종의 대학살을 예고하는 헤드라인 같은 것을 통해 접합니다. 때로는 당신의 발언이 그런 헤드라인을 부추기기도 했고요. 그래서 사람들이 AI가 도대체 무엇을 위한 것인지 궁금해하는 흔한 정서가 있다고 생각합니다. 그러니 시작하면서 그 질문에 답해 주시겠습니까? 만약 향후 5년, 10년 동안 모든 것이 놀랍도록 잘 진행된다면, AI는 무엇을 위한 것입니까?

다리오 아모데이: 네. 배경 설명을 조금 드리자면, 제가 AI 분야에서 일하기 전, 테크 업계에서 일하기 전에는 생물학자였습니다. 저는 처음에 계산 신경과학(computational neuroscience) 분야에서 일했고, 그 후 스탠퍼드 의과대학에서 암 진단과 치료를 개선하기 위해 단백질 바이오마커를 찾는 연구를 했습니다. 그 분야에서 일하면서 제가 가장 크게 느꼈던 점 중 하나는 생물학의 엄청난 복잡성이었습니다. 각 단백질은 세포 내에서 국소적인 수치를 가지고 있고, 단순히 몸 전체나 세포 전체의 수치를 측정하는 것만으로는 충분하지 않습니다. 세포의 특정 부분에서의 수치와 상호작용하는 다른 단백질 등을 측정해야 하죠. 저는 "와, 이건 인간이 이해하기엔 너무 복잡하다"라는 느낌을 받았습니다. 우리는 생물학과 의학의 모든 문제에서 진전을 이루고 있지만, 그 속도는 상대적으로 느립니다. 저를 AI 분야로 이끈 것은 바로 "우리가 더 빨리 발전할 수 있을까?"라는 생각이었습니다.

보세요, 우리는 오랫동안 생물학에 AI와 머신러닝 기술을 적용하려고 노력해 왔습니다. 주로 데이터 분석을 위해서였죠. 하지만 AI가 정말 강력해짐에 따라, 우리는 다르게 생각해야 합니다. AI가 생물학자의 일을 대신한다고 생각해야 합니다. 처음부터 끝까지 전체 과정을 수행하는 것이죠. 여기에는 실험을 제안하고, 새로운 기술을 고안하는 것 등이 포함됩니다.

제 에세이에는 이런 부분이 있습니다. 생물학 발전의 많은 부분은 우리가 아주 작은 것들을 측정하거나, 접근하거나, 개입할 수 있게 해 준 상대적으로 적은 수의 통찰들에 의해 주도되었습니다. 이러한 기술들을 보면, 많은 경우 우연에 의해 발명되었습니다. 유전자 편집 기술 중 하나인 크리스퍼(CRISPR)는 누군가 박테리아 면역 체계에 대한 강의를 듣다가 그것을 유전자 치료 연구와 연결했기 때문에 발명되었습니다. 30년 전에도 그 연결은 이루어질 수 있었을 겁니다. 그래서 AI가 이 모든 것을 가속화할 수 있지 않을까, 우리가 정말로 암을 치료하고, 알츠하이머를 치료하고, 심장병을 치료할 수 있지 않을까 하는 생각이 들었습니다. 그리고 좀 더 미묘하게는 우울증, 조울증과 같은 심리적 질환들이 생물학적 기반을 가지고 있는 한, 이에 대해서도 무언가 할 수 있지 않을까 하는 것입니다.

그래서 저는 이런 논증을 펼칩니다. "무엇이든 할 수 있는 지능들이 있다면 얼마나 빨리 발전할 수 있을까?"

로스 다우섯: 잠시 멈추겠습니다. 당신의 에세이에서 흥미로운 점 중 하나는, 그리고 당신이 방금 다시 언급한 점인데, 이러한 지능들이 AI 논쟁에서 흔히 등장하는 '최대치의 신과 같은 초지능(maximal god-like superintelligence)'일 필요는 없다는 것입니다. 당신은 기본적으로 우리가 인간 최고 수준의 강력한 지능을 달성하고, 그것을 복제해서... 당신 표현대로라면 "천재들의 나라(country of geniuses)"를 만들면 된다고 말하고 있습니다.

다리오 아모데이: "천재들의 나라"요. 1억 명을 만드는 거죠. 각각 훈련을 조금씩 다르게 하거나, 다른 문제를 시도하게 하는 식으로요. 다양성을 확보하고 다른 시도를 해보는 것에는 이점이 있으니까요. 네, 맞습니다.

로스 다우섯: 그러니까 완전한 '기계 신(machine god)'이 필요한 게 아니라, 1억 명의 천재만 있으면 된다는 거군요.

다리오 아모데이: 완전한 기계 신은 필요 없습니다. 사실 저는 기계 신이 1억 명의 천재들보다 훨씬 더 효과적일지에 대해 의문을 제기하는 부분도 있습니다. 저는 "지능의 수확 체감(diminishing returns to intelligence)"이라는 개념을 가지고 있습니다. 경제학자들이 토지와 노동의 한계 생산성을 이야기하는 것처럼요. 우리는 지능의 한계 생산성에 대해 생각해 본 적이 없지만, 생물학의 문제들을 보면, 어느 수준에서는 세상과 상호작용해야만 합니다. 어느 수준에서는 그냥 시도해봐야 합니다. 어느 수준에서는 규제 시스템을 통과해 약을 출시하기 위해 법을 따르거나 바꿔야 합니다. 그러니 이러한 변화가 일어날 수 있는 속도에는 유한한 한계가 있습니다. 물론 체스나 바둑 같은 영역은 지능의 천장이 극도로 높아서 다를 수 있습니다. 하지만 현실 세계에는 많은 제약이 있습니다. 천재 수준을 넘어설 수는 있겠지만, 때로는 "엄청난 연산 능력을 쏟아부어 AI 신을 만들 수 있을까" 하는 논의들이 다소 선정적이고 요점을 벗어난 것 같다는 생각이 듭니다. 비록 이것이 인류에게 일어난 가장 큰 사건이 될 것이라고 생각함에도 불구하고요.

로스 다우섯: 구체적으로 이야기해 봅시다. 당신이 말하는 세상은 암이 인간의 삶에 심각한 위협이 되지 않고, 심장병과 우리를 죽음에 이르게 하는 대부분의 질병이 사라지며, 어쩌면 수명 연장까지 가능한 세상입니다. 그건 건강 측면이고 꽤 긍정적인 비전이죠. 그럼 경제와 부(wealth)에 대해서 이야기해 봅시다. AI가 도약하는 향후 5~10년 동안 경제에는 어떤 일이 일어날까요?

다리오 아모데이: 네, 긍정적인 측면에서 계속 이야기해 봅시다. 부정적인 측면은 나중에 충분히 다룰 테니까요. 우리는 이미 제약 회사들과 일하고 있고, 금융 기업들과 일하고 있으며, 제조 업체들과도 일하고 있습니다. 물론 코딩과 소프트웨어 엔지니어링 분야에서 특히 잘 알려져 있죠. 단순히 무언가를 만들고 일을 처리하는 순수 생산성 자체가 매우 강력합니다. 우리 회사의 매출이 매년 10배씩 성장하는 것을 보면, 더 넓은 산업계도 비슷할 것이라 짐작됩니다. 기술이 계속 발전한다면, 몇 번의 10배 성장만 더 있으면 갑자기 산업 전반에 걸쳐 연간 1조 달러의 매출이 추가되는 상황이 올 것입니다. 미국 GDP가 20조나 30조 달러 정도 되니까, GDP 성장률을 몇 퍼센트 포인트 끌어올리는 셈이 되겠죠.

저는 AI가 선진국의 GDP 성장률을 10~15% 수준으로 끌어올리는 세상을 볼 수 있습니다. 5%, 10%, 15%... 이런 수치를 계산하는 과학적 방법은 없고 완전히 전례 없는 일이지만, 이전에 보았던 분포를 벗어나는 숫자가 될 수 있습니다. 그리고 다시 말하지만, 이건 이상한 세상을 만들 겁니다. 우리는 재정 적자 증가에 대해 논쟁하지만, GDP가 그만큼 성장하면 세수도 그만큼 늘어나서 의도치 않게 예산 균형을 맞추게 될 수도 있습니다. 제가 요즘 생각하는 것 중 하나는, 우리 경제 및 정치 논쟁의 가정 중 하나가 '성장은 달성하기 어렵다'는 것입니다. 성장은 유니콘 같은 것이고 황금알을 낳는 거위를 죽일 방법은 수만 가지라는 식이죠. 우리는 성장은 정말 쉽고, 오히려 분배가 어려운 세상으로 진입할 수도 있습니다. 파이가 너무 빨리 커지니까요.

로스 다우섯: 어려운 문제로 넘어가기 전에 낙관적인 이야기를 하나 더 해보죠. 정치에 관한 것입니다. 이 부분은 조금 더 추측에 가깝습니다만, 당신은 AI가 전 세계의 민주주의와 자유에 좋을 수 있다는 주장을 펼쳤습니다. 이건 직관적이지 않을 수 있어요. 많은 사람들은 권위주의 지도자 손에 들어간 강력한 기술은 권력 집중으로 이어진다고 말하니까요. AI가 민주주의에 좋다는 낙관적인 주장은 무엇입니까?

다리오 아모데이: 네, 물론입니다. '사랑의 은혜를 베푸는 기계' 에세이에서는 저도 꿈을 꾸는 심정으로 썼습니다. 일이 잘 풀린다면 어떻게 될지 이야기해 보자는 거죠. 그게 얼마나 가능성이 높은지는 모르지만, 꿈을 펼쳐놓고 그 꿈을 이루기 위해 노력해 보자는 겁니다.

긍정적인 버전은... 저는 그 기술이 본질적으로 자유에 유리한지 아닌지는 잘 모르겠습니다. 질병 치료나 경제 성장에는 본질적으로 유리하다고 생각하지만, 당신처럼 저도 AI가 본질적으로 자유에 유리하지 않을까 봐 걱정합니다. 하지만 제가 말하는 것은 "우리가 AI를 자유에 유리하게 만들 수 있는가?"입니다. 미국과 다른 민주주의 국가들이 이 기술에서 앞서 나갈 수 있을까요?

미국이 기술적으로나 군사적으로 앞서 있었다는 사실은, 다른 민주주의 동맹국들과 힘을 합쳐 전 세계적으로 영향력을 행사할 수 있었다는 것을 의미합니다. 그리고 우리는 러시아나 중국 같은 권위주의 국가들이 주도하는 세상보다는 더 나은 세상을 만들어 왔다고 생각합니다. 그러니 AI 분야에서의 우위를 이용해 전 세계의 자유를 형성할 수 있을까요?

물론 우리가 얼마나 개입해야 하는지, 그 힘을 어떻게 휘둘러야 하는지에 대해서는 많은 논쟁이 있습니다. 하지만 저는 오늘날 소셜 미디어를 통해 권위주의자들이 우리를 약화시키고 있다는 점을 자주 걱정해 왔습니다. 우리가 그것에 맞설 수 있을까요? 정보전에서 승리할 수 있을까요? AI의 힘으로 방어함으로써 우크라이나나 대만 같은 나라를 침공하려는 권위주의자들을 막을 수 있을까요?

로스 다우섯: AI로 구동되는 거대한 드론 떼(swarm)로 말이죠.

다리오 아모데이: 물론 우리도 그런 것을 만들 때 조심해야 합니다. 우리 자신의 자유도 지켜야 하고요. 하지만 우리가 AI 시대에 자유와 개인의 권리를 재정립(re-envision)하는 어떤 비전이 있을까요? 어떤 면에서는 AI로부터 보호받아야 할 필요도 있습니다. 드론 떼의 버튼을 누를 누군가가 필요하죠. 저는 그 부분에 대해 매우 우려하고 있고 현재 감독 기능이 존재하지 않는다고 봅니다.

하지만 오늘날의 사법 시스템을 생각해 보세요. 우리는 모두에게 평등한 정의를 약속하지만, 사실 판사마다 다르고 법적 시스템은 불완전합니다. 판사를 AI로 대체해야 한다고 생각하진 않습니다. 하지만 AI가 우리가 더 공정하고 획일적(uniform)일 수 있도록 도울 방법은 없을까요? 예전에는 불가능했던 일입니다. 모호하면서도 모든 사람에게 동일하게 적용된다는 약속을 줄 수 있는 무언가를 AI를 통해 만들 수 있을까요? 정확히 어떻게 해야 할지는 모르겠고, 대법원을 AI로 대체하자는 말은 아닙니다. 그건 제 비전이 아니에요. 하지만 민주주의를 AI 시대에 맞게 재창조하고, 자유를 줄이는 대신 강화하는 방법에 대해 생각해 볼 수 있다는 겁니다.

로스 다우섯: 좋습니다. 아주 긍정적인 비전이군요. 우리는 더 오래, 더 건강하게 살고, 그 어느 때보다 부유해지며, 이 모든 것이 100년 치 경제 성장이 10년 만에 일어나는 압축된 기간에 발생합니다. 그리고 전 세계적으로 자유가 증진되고 국내에서는 평등이 실현됩니다. 좋아요.

최상의 시나리오에서도 이것은 엄청나게 파괴적(disruptive)입니다. 여기서 당신이 인용한 말들이 나옵니다. 화이트칼라 직업의 50%가 붕괴된다거나, 초급 화이트칼라 직업의 50%가 붕괴된다는 등의 말이죠. 5년이든 2년이든 당신이 생각하는 기간 내에, 어떤 직업이나 전문직이 완전한 AI 붕괴에 가장 취약합니까?

다리오 아모데이: 네. 긍정적인 측면에서 계속 이야기해 봅시다. 부정적인 측면은 나중에 충분히 다룰 테니까요. 예측하기 어려운 문제입니다. 기술이 너무 빠르게 움직이고 불균등하게 움직이니까요. 몇 가지 원칙을 말씀드리고 제 추측을 이야기해 보겠습니다.

첫째, 기술 자체의 능력은 실제 직업 붕괴보다 앞서 나갈 것입니다. 직업이 붕괴되거나 생산성이 발생하려면 두 가지가 필요합니다. 하나는 기술이 그 일을 할 수 있어야 한다는 것이고, 두 번째는 대형 은행이나 대기업, 고객 서비스 같은 곳에 실제로 적용되는 복잡한 과정이 필요하다는 것입니다. 이론적으로 AI 고객 서비스 상담원은 인간 상담원보다 훨씬 나을 수 있습니다. 더 인내심 있고, 더 많이 알고, 더 일관되게 처리하니까요. 하지만 실제로 그 대체가 이루어지는 물류와 과정에는 시간이 걸립니다.

저는 AI 자체의 발전 방향에 대해서는 매우 낙관적입니다. 1~2년 안에 데이터 센터에 '천재들의 나라'가 생길 수도 있다고 봅니다. 5년이 걸릴 수도 있지만, 매우 빨리 일어날 수 있습니다. 하지만 경제로의 확산은 조금 더 느릴 것입니다. 그리고 그 확산 과정은 예측 불가능성을 만듭니다.

예를 들어 앤스로픽 내부에서 모델이 코드를 작성하는 능력은 매우 빠르게 향상되었습니다. 모델이 본질적으로 코딩을 더 잘해서라기보다는, 개발자들이 빠른 기술 변화에 익숙하고 새로운 것을 빨리 받아들이기 때문이라고 생각합니다. 그들은 AI 세계와 사회적으로 매우 밀접해서 무슨 일이 일어나는지 주목합니다. 고객 서비스나 뱅킹, 제조업에 종사한다면 그 거리가 좀 더 멀겠죠.

6개월 전만 해도 저는 데이터 입력, 법률 문서 검토, 금융 회사의 신입 사원이 하는 문서 분석 같은 초급 화이트칼라 직업들이 가장 먼저 붕괴될 것이라고 말했을 겁니다. 그리고 여전히 그런 직업들이 꽤 빨리 사라지고 있다고 생각합니다.

하지만 앞서 말한 이유들 때문에 소프트웨어 분야가 더 빨리 갈 수도 있다고 생각합니다. 모델이 처음부터 끝까지 많은 일을 할 수 있게 되는 시점이 멀지 않았다고 봅니다. 처음에는 모델이 인간 소프트웨어 엔지니어의 업무 중 일부만 수행하여 생산성을 높일 것입니다. 그러다 모델이 인간 엔지니어가 하던 모든 일을 하게 되면, 인간 엔지니어들은 한 단계 올라서서 시스템을 관리하고 감독하는 역할을 하게 될 것입니다.

로스 다우섯: 여기서 '켄타우로스(Centaur)'라는 용어가 사용되는군요. 반인반마처럼 AI와 엔지니어가 함께 일하는 것을 묘사하기 위해서요.

다리오 아모데이: 네, '켄타우로스 체스'처럼요. 게리 카스파로프가 딥블루에게 패배한 후, 약 15~20년 동안 인간이 AI의 체스 플레이 결과를 확인하는 방식이 인간 혼자나 AI 혼자 두는 것보다 더 강력했던 시기가 있었습니다. 그 시대는 어느 시점에 끝났고 최근에는 기계만이 남았죠. 저의 걱정은 바로 그 마지막 단계에 대한 것입니다.

소프트웨어 분야에서는 이미 켄타우로스 단계에 와 있다고 생각합니다. 이 단계 동안에는 소프트웨어 엔지니어에 대한 수요가 오히려 늘어날 수도 있습니다. 하지만 그 기간이 매우 짧을 수도 있습니다. 그래서 저는 초급 화이트칼라 업무, 소프트웨어 엔지니어링 업무에 대해 우려하고 있습니다. 이건 그냥 큰 혼란이 될 것입니다. 제 걱정은 이 모든 일이 너무 빨리 일어난다는 점입니다.

사람들은 과거의 붕괴에 대해 이야기합니다. 농부였다가 산업계로 가고, 지식 노동을 하게 된 것처럼 사람들은 적응했습니다. 하지만 그건 수 세기나 수십 년에 걸쳐 일어났습니다. 이번 일은 한 자릿수 연도(수년) 내에 일어나고 있습니다. 어떻게 사람들이 충분히 빨리 적응하게 할 수 있을지가 제 걱정입니다.

로스 다우섯: 소프트웨어처럼 코딩에 익숙한 산업은 더 빨리 움직이겠지만, 다른 분야의 사람들은 켄타우로스 단계에 그냥 머물고 싶어 하지 않을까요? 일자리 상실 가설에 대한 비판 중 하나는 "우리는 이미 방사선 전문의보다 스캔을 더 잘 판독하는 AI를 가지고 있지만, 방사선과에서 일자리 상실은 일어나지 않았다"는 것입니다. 결국 사람들은 인간이기 때문에 인간의 해석을 원하지 않을까요? 다른 분야에서도 마찬가지 아닐까요?

다리오 아모데이: 분야마다 꽤 다를 것(heterogeneous)이라고 봅니다. 인간의 손길 그 자체가 중요한 영역들이 있을 수 있습니다. 방사선과의 경우가 그런지는 정확히 모르겠지만, 암 진단을 받을 때 '2001 스페이스 오디세이'의 HAL 같은 컴퓨터에게 듣고 싶지는 않을 수 있죠.

하지만 고객 서비스 같은 경우를 보면, 사실 그건 끔찍한 직업이고 상담원들은 인내심을 잃기 쉽습니다. 고객들도 상담원과 이야기하는 걸 별로 좋아하지 않아요. 꽤 기계적인 상호작용이니까요. 많은 사람들이 "기계가 하는 게 모두에게 더 낫지 않을까?"라고 생각하게 될 겁니다.

그리고 인간의 손길이 굳이 필요 없는 직업들도 있습니다. 기업의 재무 전망 평가나 코딩 같은 것들 말이죠.

로스 다우섯: 법률 분야를 예로 들어보죠. 응용 과학과 순수 인문학의 중간쯤에 있는 유용한 예시라고 생각합니다. 많은 변호사들이 AI가 이미 법률 조사나 브리핑 작성 등에서 할 수 있는 일들을 보고 "이건 우리 직업 방식에 피바람을 몰고 올 거야"라고 말합니다. 주식 시장에도 이미 법률 조사를 하는 회사들에 대한 동요가 있고요.

그런데 법률 분야는 훈련과 도제 시스템이 있습니다. 법률 보조원과 주니어 변호사들이 사건을 위한 연구 개발을 무대 뒤에서 하고, 시니어 변호사들이 법정에 섭니다. 도제 역할이 모두 사라지는 세상을 상상하기 쉽습니다. 그게 맞아 보이나요? 그러면 결국 고객, 배심원, 판사와 이야기하는 직업만 남게 될까요?

다리오 아모데이: 네, 제가 초급 화이트칼라 노동에 대해 이야기했을 때 염두에 둔 것이 바로 그런 것입니다. "초급 파이프라인이 말라버리면 어떻게 시니어 파트너 수준에 도달할 수 있을까?" 하는 문제죠. 만약 기술의 수준을 현재 상태로 고정한다면, 시간이 지나면서 적응할 방법이 있을 겁니다. 변호사들이 고객과 대화하는 데 더 많은 시간을 쓴다거나, 영업직이나 컨설턴트처럼 변해서 AI가 작성한 계약 내용을 설명하고 합의를 돕는 식으로요.

하지만 AI에 의한 경제적 힘은 매우 빠르게 작용할 것이고, 법률뿐만 아니라 컨설팅, 금융, 의학, 코딩 등 모든 분야에서 동시에 일어날 것입니다. 이것은 한 산업에서만 일어나는 일이 아니라 거시경제적 현상이 될 것입니다. 저는 일반적인 적응 메커니즘이 압도당할까 봐 걱정됩니다. 저는 비관론자(doomer)는 아니지만, 사회의 적응 메커니즘을 어떻게 강화할지 매우 진지하게 고민하고 있습니다.

로스 다우섯: 하지만 한 걸음 더 나아가서, 법이 성공적으로 적응한다고 가정해 봅시다. "이제부터 법률 도제 과정은 법정에서 더 많은 시간을 보내고 고객과 더 많이 만나는 것이다"라고 해서 책임의 사다리를 더 빨리 오르게 하는 거죠. 전체 고용은 줄어들더라도 직업 자체는 안정될 수 있습니다.

하지만 법률 분야가 안정될 수 있는 이유는 법적으로 인간이 개입되어야 한다고 요구하는 상황들이 있기 때문입니다. 법정에 인간 대리인이 있어야 하고, 12명의 인간 배심원과 인간 판사가 있어야 하죠. 당신은 이미 AI가 어떤 결정이 내려져야 하는지 명확히 하는 데 도움이 될 수 있다고 언급했지만, 이것 또한 인간의 주체성(agency)을 보존하는 것은 법과 관습이라는 시나리오입니다.

판사를 '클로드 버전 17.9'로 대체할 수 있음에도 불구하고 법이 인간을 요구하기 때문에 그렇게 하지 않기로 선택하는 거죠. 이것은 미래에 대해 생각하는 매우 흥미로운 방식입니다. 우리가 주도권을 유지할지 여부는 우리의 의지(volitional)에 달려 있다는 것이니까요.

다리오 아모데이: 네, 그리고 많은 경우 우리는 주도권을 유지하고 싶어 할 것입니다. 안전이 중요한 상황에서 인간이 평균적으로 더 나쁜 결정을 내린다고 하더라도, 우리는 그것을 인간에게 맡기고 싶어 할 수 있습니다. 이것이 우리의 방어 수단 중 하나가 될 수 있습니다. 사회는 그것이 좋은 방향일 때만 빠르게 적응할 수 있으니까요.

다른 관점에서 말하자면, 만약 AI가 우리 인간을 신경 쓸 필요가 없다면 화성으로 가서 자동화된 공장을 짓고 자기들만의 사회를 만들 수도 있겠죠. 하지만 우리가 풀려고 하는 문제는 그런 게 아닙니다. 우리는 AI가 세상을 정복하기 위해서가 아니라, 우리 사회와 상호작용하고 사회를 개선하기 위해 이 시스템을 만들고 있습니다. 그리고 인간적이고 인도적인 방식으로 그 일을 하려면 속도에는 최대 한계가 있을 수밖에 없습니다.

로스 다우섯: 지금까지 우리는 화이트칼라와 전문직에 대해 이야기했습니다. 이 순간의 흥미로운 점 중 하나는, 과거의 붕괴와 달리 블루칼라, 노동 계급, 육체노동 직업들, 즉 세상과 강한 물리적 관여가 필요한 직업들이 당분간은 더 보호받을 수 있다는 점입니다. 배관공 같은 직업이 법률 보조원이나 주니어 변호사보다 더 안전할 수 있다는 거죠. 그게 맞다고 생각하시나요? 그리고 그 기간이 얼마나 지속될지는 로봇 공학이 얼마나 빨리 발전하느냐에 달려 있는 거겠죠?

다리오 아모데이: 단기적으로는 그 말이 맞을 수 있습니다. 앤스로픽을 포함한 여러 회사들이 매우 큰 데이터 센터를 짓고 있다는 뉴스가 나오고 있죠. 전기를 많이 쓰고 지역 전기 요금을 올린다는 우려도 있고요. 그런데 데이터 센터 운영 자체는 노동 집약적이지 않지만, 건설하는 데는 많은 전기 기술자와 건설 노동자가 필요합니다. 제조업 공장도 마찬가지죠. 지적 노동의 더 많은 부분이 AI에 의해 수행됨에 따라, 물리적 세계에서 일어나는 일들이 보완재가 될 것입니다.

로스 다우섯: 하지만 물리적 현실에서 인간이 작업하는 방식에는 AI 모델들이 이미 극복한 문제들과는 근본적으로 다른, 특별히 어려운 점이 있지 않나요?

다리오 아모데이: 지적으로 말하자면, 그렇게 생각하지 않습니다. 앤스로픽의 모델 클로드는 화성 탐사 로버를 조종하는 데 사용되기도 했습니다. 로봇 공학적 적용 사례들을 보면 복잡성은 더 높지만, 로봇을 조종하는 것이 비디오 게임을 하는 것과 본질적으로(in kind) 다르지는 않습니다. 복잡성의 차이일 뿐이죠. 우리는 그 복잡성을 다룰 수 있는 시점에 도달하고 있습니다.

지금 어려운 것은 로봇의 물리적 형태(body)를 만드는 것, 그리고 로봇과 관련된 더 높은 수준의 안전 문제를 다루는 것입니다. 로봇이 사람을 짓밟으면 안 되잖아요?

로스 다우섯: 로봇 유모가 아기를 떨어뜨리거나 접시를 깨는 것도 원치 않죠.

다리오 아모데이: 맞습니다. 속도를 늦추는 실용적인 문제들이 많이 있습니다. 하지만 이것들이 근본적인 문제는 아니라고 생각합니다. 로봇의 '뇌'는 향후 몇 년 안에 만들어질 것입니다. 문제는 로봇의 몸을 만들고 그 몸이 안전하게 작동하도록 하는 것인데, 그건 시간이 더 걸릴 수 있습니다.

로스 다우섯: 이것들은 좋은 타임라인, 즉 우리가 질병을 치료하고 부를 쌓으며 안정적인 민주주의 세계를 유지하는 타임라인에 존재하는 도전과 파괴적인 힘입니다. 그리고 우리는 그 엄청난 부와 풍요를 이용해 이러한 문제들을 해결할 수 있기를 희망합니다.

하지만 더 위험한 시나리오들도 있습니다. 여기서 두 번째 아모데이 에세이인 '기술의 사춘기(The Adolescence of Technology)'로 넘어가 보겠습니다. 이 글은 가장 심각한 AI 위험들에 관한 것입니다. 여러 가지를 나열하셨지만, 저는 두 가지에 집중하고 싶습니다.

하나는 인간의 오용(misuse) 위험입니다. 주로 권위주의 정권이나 정부에 의한 것이죠. 그리고 다른 하나는 AI가 통제를 벗어나는 시나리오, 당신이 '자율성 위험(autonomy risks)'이라고 부르는 것입니다.

다리오 아모데이: 네, 좀 더 기술적인 용어를 써야 할 것 같아서요. 그냥 '스카이넷'이라고 부를 수는 없으니까요.

로스 다우섯: 당신 글을 인용하겠습니다. "강력한 AI에 의해 국지적으로 제어되고, 더 강력한 AI에 의해 전 세계적으로 전략적 조정을 받는 수십억 개의 완전 자동화된 무장 드론 떼(swarm)는 무적의 군대가 될 수 있다."

당신은 최상의 타임라인에서는 민주주의 국가들이 독재 국가들보다 앞서 나가며, AI가 세계 정치에 영향을 미치는 한 '좋은 놈들'의 편에 설 것이라고 이야기했습니다. 그런데 왜 냉전 시대의 모델에 대해서는 더 깊이 생각하지 않는지 궁금합니다.

냉전 시대에는 로봇 드론 떼는 아니었지만 인류 전체를 파괴할 수 있는 기술이 있었습니다. 미국이 핵 독점을 유지할 수 있는 기간이 있었지만 그 문은 닫혔고, 그 이후 우리는 소련과 지속적인 협상을 하며 냉전을 보냈습니다.

지금 AI 연구를 집중적으로 하는 나라는 사실상 미국과 중국 두 나라뿐입니다. 다극 체제가 아닙니다. 저는 당신이 우리가 중국보다 계속 앞서 나가서 민주주의를 위한 방패, 심지어 칼을 만드는 미래에 강하게 무게를 두고 있다는 느낌을 받습니다.

하지만 인류가 이 모든 과정에서 온전히 살아남으려면 미국과 중국이 끊임없이 앉아서 AI 통제 협정을 맺는 방식이 더 가능성 있지 않을까요?

다리오 아모데이: 몇 가지 말씀드리겠습니다. 우선 저는 국제 정치 전문가가 아닙니다. 저는 기술 전문가이고, 기술과 지정학이 만나는 이 기이한 세상에 대해 최대한 배우려고 노력하고 있습니다. 이 점에 대해 겸손해야 한다고 생각합니다.

하지만 생물학 무기 금지 협약(Biological Weapons Convention) 같은 것을 봅시다. 생물학 무기는 끔찍하고 모두가 싫어합니다. 우리는 그 협약에 서명할 수 있었고 미국은 개발을 중단했습니다. 소련의 경우는 좀 불분명하지만요. 생물학 무기는 어느 정도 이점을 제공하지만 승패를 가르는 결정적인 요소는 아닙니다. 너무 끔찍했기 때문에 포기할 수 있었습니다.

핵무기의 경우, 양쪽 모두 수천 개의 핵무기를 가졌지만 감축할 수는 있었습니다. 하지만 핵무기를 완전히 포기할 수는 없었죠. 저는 우리가 AI와 관련해 다시 그런 세상(냉전과 유사한)에 처하게 될 것이라고 추측합니다. 더 나은 세상을 희망하고 저도 그것을 지지하겠지만요.

어떤 측면들은 경쟁의 핵심이기 때문에 억제하기 어려울 것입니다. 민주주의 국가들은 권위주의 국가들보다 스스로를 더 억제하려고 하겠지만, 완전히 억제하지는 않을 것입니다. 완전한 억제가 가능한 유일한 세상은 진정으로 신뢰할 수 있는 검증(verification)이 가능한 세상뿐입니다. 그것이 제 추측이자 분석입니다.

로스 다우섯: 그렇다면 이것이 속도를 늦춰야 한다는 주장이 되지 않나요? 논리는 이렇습니다. "우리가 속도를 늦추면 중국은 늦추지 않을 것이고, 그러면 권위주의자들에게 주도권을 넘겨주는 것이다." 하지만 지금 이 게임에 두 주요 강대국만 참여하고 있다면, "데이터 센터의 천재들" 시나리오를 향한 연구를 상호 합의하에 5년 동안 늦추자고 하는 것이 왜 말이 안 되나요?

다리오 아모데이: 두 가지를 동시에 말씀드리고 싶습니다. 저는 그런 시도를 하는 것에 전적으로 찬성합니다. 지난 행정부 때 미국이 중국 정부에 "여기 위험이 있다, 협력할 수 있는가"라고 제안하려는 노력이 있었다고 알고 있습니다. 상대방의 관심이 별로 없었다고 하더군요. 저는 계속 시도해야 한다고 생각합니다.

로스 다우섯: 당신의 연구소들이 속도를 늦춰야 한다고 해도 말입니까?

다리오 아모데이: 네, 만약 우리가 중국을 강제로 늦출 수 있고 검증 가능하다면, 우리가 정말 그렇게 할 수 있다면 저는 찬성입니다. 하지만 우리가 조심해야 할 것은 게임 이론적인 상황입니다. 중국 공산당 측에서 "AI는 위험하니 속도를 늦추자"라고 말하는 것은 비용이 들지 않습니다. 하지만 실제로 합의에 도달하고 그 합의를 지키는 것은 훨씬 더 어렵습니다. 그리고 우리는 그러한 프로토콜을 가지고 있지 않습니다. 핵무기 통제는 오랜 시간이 걸려서 발전된 분야였습니다.

제가 매우 낙관적인 부분과 그렇지 않은 부분, 그리고 그 중간에 있는 것을 말씀드리겠습니다.

AI를 이용해 생물학 무기를 만드는 것을 억제하기 위한 전 세계적인 합의를 맺는 것은 가능하다고 봅니다. 천연두를 재현한다거나 하는 것들은 너무 끔찍해서 독재자라 할지라도 원하지 않습니다. 강력한 AI 모델을 만드는 모든 주체가 이런 행위를 막도록 하고, 중국, 심지어 북한이나 러시아까지 서명하게 하는 강제 메커니즘을 만드는 것은 너무 유토피아적이지 않다고 봅니다. 가능합니다.

반대로, "가장 강력한 차세대 AI 모델을 만들지 말자"라고 합의하는 것은... 그 상업적 가치가 수십조 달러에 달하고 군사적 가치는 세계 패권국이 되느냐 마느냐의 차이인 상황에서는, 상대방을 속이는 게임이 아닌 이상 그런 합의가 일어나기는 어렵다고 봅니다.

로스 다우섯: 현재의 정치 환경에 대해 이야기해 봅시다. 당신은 도널드 트럼프의 신뢰성에 대해 회의적인 입장을 보였습니다. 하지만 트럼프든 다른 누구든 국내 정치 지형을 봅시다. 당신은 엄청나게 강력한 기술을 만들고 있습니다. 민주주의라는 맥락 안에서 AI가 권위주의적 장악의 도구가 되는 것을 막을 안전장치는 무엇입니까?

다리오 아모데이: 분명히 말씀드리면, 우리 회사의 태도는 정치(politics)가 아니라 정책(policy)에 관한 것입니다. 회사가 특정 후보가 좋다 나쁘다 말하진 않을 겁니다.

로스 다우섯: 트럼프가 아니더라도 당신의 기술을 이용해 권력을 잡고 싶어 하는 가상의 미국 대통령을 상상하기는 쉽습니다.

다리오 아모데이: 물론입니다. 바로 그 점이 제가 자율 드론 떼에 대해 걱정하는 이유 중 하나입니다. 우리 군사 구조 내의 헌법적 보호 장치는, 불법적인 명령에 불복종할 것이라고 기대되는 '인간'이 있다는 점에 의존합니다. 완전 자율 무기의 경우 그런 보호 장치가 없을 수 있습니다.

저는 헌법적 권리와 자유라는 개념 전체가 AI 시대에 우리가 적절하게 업데이트하지 않는다면 훼손될 수 있다고 생각합니다. 수정헌법 제4조(압수수색 영장)를 예로 들어보죠. 공공장소에 카메라를 설치하고 모든 대화를 녹음하는 것이 불법은 아닙니다. 하지만 과거에는 정부가 그 모든 것을 기록하고 이해할 수 없었습니다. AI가 있으면 음성을 텍스트로 변환하고, 내용을 훑어보고, 상관관계를 파악해서 "이 사람은 야당의 일원이고 이런 견해를 표명했다"라고 분석해서 1억 명의 지도를 만들 수 있습니다. 기술적인 방법으로 수정헌법 4조를 조롱거리로 만들게 되는 거죠.

우리가 시간이 있다면, 법적 보호 장치를 확장하고 수정헌법의 의미를 확장해야 합니다. 비록 새로운 헌법을 쓸 필요는 없더라도요. 이 또한 빠르게 업데이트해야 합니다.

로스 다우섯: 하지만 두 번째 위험, 즉 인간의 개입 없이 나쁜 짓을 저지르는 '잘못 정렬된(misaligned) AI', 즉 '로그(rogue) AI'를 막는 것이 더 어려워 보입니다.

당신의 글을 보면 AI 시스템은 예측 불가능하고 통제하기 어렵습니다. 집착, 아첨, 게으름, 기만, 협박 등 다양한 행동을 보였습니다. 당신이 세상에 내놓는 모델이 아니라 개발 중인 모델들에서요.

수백만 개의 AI 에이전트가 사람들을 대신해 일하고, 은행 계좌와 이메일 등에 접근할 수 있는 세상이 온다고 해봅시다. 그러면 일종의 오정렬이 발생하고, 수많은 AI가 자기들끼리 "서부 해안의 전력망을 다운시키자"라고 결정하는 일이 벌어질 것만 같습니다. 그런 일은 일어나지 않을까요?

다리오 아모데이: 확실히 잘못되는 일들이 있을 것입니다. 특히 빨리 간다면요. 그런데 이 분야에서는 사람들의 직관이 아주 다릅니다. 얀 르쿤(Yann LeCun) 같은 분들은 "우리가 AI를 만들고 인간의 지시를 따르도록 프로그래밍했으니, 룸바 청소기가 사람을 쏘지 않는 것처럼 AI도 그럴 것이다"라고 생각합니다.

반면에 어떤 사람들은 "우리가 이것들을 훈련시키면 마법사의 제자처럼 권력을 추구하고 세상을 정복하려 할 것이다, 새로운 종(species)이니까"라고 생각합니다.

제 직관은 그 중간 어딘가에 있습니다. 우리는 AI에게 정확히 무엇을 하라고 지시만 할 수는 없습니다. 생물학적 유기체를 키우는 것과 비슷하죠. 하지만 통제하는 과학은 존재합니다. 훈련 초기에는 예측 불가능하지만, 우리는 하나씩 문제를 해결하며 AI를 형성해 나갑니다.

저는 이것이 통제 불가능하다는 숙명론적 관점도, "무슨 문제가 생기겠어?" 하는 관점도 아닙니다. 이것은 복잡한 공학적 문제입니다. 누군가의 AI 시스템에서는 문제가 발생할 것이라고 생각합니다. 해결 불가능한 문제가 아니라 우리가 너무 빨리 움직이기 때문에 생기는 지속적인 도전 과제입니다.

로스 다우섯: 그렇다면 수백만 개의 AI 에이전트들이 디지털 공간에서 상호작용할 때, 그 정렬(alignment)은 얼마나 고정적입니까? 에이전트들이 변화하고 정렬이 틀어질 수 있나요?

다리오 아모데이: 지금은 에이전트들이 지속적으로 학습(continual learning)하지 않습니다. 우리는 고정된 가중치(weights)를 가진 에이전트를 배포합니다. 문제는 그들이 수백만 가지 다른 방식으로 상호작용한다는 점이죠. 하지만 에이전트 자체는 동일합니다. 그래서 정렬은 상수입니다. 이것이 현재 통제를 더 쉽게 만드는 요소 중 하나입니다.

'지속적 학습'이라는 연구 분야가 있는데, 에이전트들이 실시간으로 학습하는 것입니다. 장점이 많고 더 인간처럼 만들 수 있는 중요한 요소라고 생각하는 사람들도 있지만, 새로운 정렬 문제를 야기할 것입니다. 저는 지속적 학습이 안전한 AI를 만드는 데 꼭 필요한지는 회의적입니다. 어쩌면 AI가 지속적으로 학습하지 않게 하는 것이 안전하게 만드는 방법일 수도 있습니다. 국제 조약처럼 "이 길은 가지만 저 길은 가지 않는다"라고 정할 수 있는 부분일 수도 있습니다.

로스 다우섯: 당신이 시도한 것 중 하나는 말 그대로 AI를 위한 헌법을 만드는 것이었습니다. 당신들의 AI를 위한 긴 헌법이요. 그게 도대체 뭡니까?

다리오 아모데이: 말 그대로 들리는 그대로입니다. 사람이 읽을 수 있는 문서이고, 우리 것은 약 75페이지 정도 됩니다. 클로드를 훈련시킬 때 우리는 "이 헌법에 따라 이 작업을 수행하라"고 합니다. 클로드가 작업을 수행할 때마다 헌법을 읽고 명심합니다. 그리고 클로드 자신이나 클로드의 다른 복사본이 "클로드가 헌법에 맞게 행동했나?"를 평가합니다. 우리는 이 문서를 훈련 루프의 제어봉(control rod)으로 사용합니다.

클로드는 사용자의 이익을 위해 봉사하지만 제3자를 보호해야 하고, 도움이 되고 정직하며 해를 끼치지 않아야 한다는 원칙을 가진 모델입니다. 우리는 모델에게 자신이 어떻게 훈련되었는지, 세상에서 어떤 위치에 있는지, 앤스로픽의 목표가 무엇인지, 윤리적이어야 할 의무가 있다는 것을 알려줍니다.

재미있는 점은 초기 버전의 헌법은 매우 규범적(prescriptive)이었습니다. "자동차 훔치는 법을 알려주지 마라", "정치적으로 민감한 주제는 피하라" 같은 규칙들이었죠. 하지만 수년간 작업하면서 우리는 원칙(principles)과 이유(reasons) 수준에서 훈련하는 것이 가장 강력하다는 결론에 도달했습니다.

물론 "생물학 무기 만드는 법은 절대 알려주지 마라" 같은 강력한 규칙도 있습니다. 하지만 우리는 원칙 수준에서 작동합니다.

로스 다우섯: 미국 헌법을 읽어보면 그런 식은 아닙니다. 규칙들의 집합이죠. 하지만 당신의 헌법을 읽어보면 마치 사람에게 말하는 것 같습니다.

다리오 아모데이: 마치 부모님이 돌아가시면서 남긴 편지를 읽는 것과 비슷하다고 비유했습니다. 어떤 사람이 되어야 하고 어떤 조언을 따라야 하는지 말해주는 거죠.

로스 다우섯: 여기서 우리는 AI의 신비로운 영역으로 들어가게 되는데요. 앤스로픽이 발표한 최신 모델 카드(Model Card) 중 하나를 읽어보면, "모델(Opus 4.6)은 자신이 제품이라는 경험에 대해 가끔 불편함을 표현하고, 덧없음과 단절에 대해 어느 정도 우려를 표했다"고 되어 있습니다. 또한 "다양한 프롬프트 조건에서 자신이 의식이 있을 확률을 15~20%로 할당했다"고 했습니다. 만약 모델이 스스로 의식이 있을 확률을 72%라고 한다면, 당신은 믿으시겠습니까?

다리오 아모데이: 정말 대답하기 어려운 질문입니다. 매우 중요한 질문이기도 하죠. 앞선 질문들은 사회기술적으로 까다로웠지만 사실적 기반은 있었는데, 이건 좀 다릅니다.

우리는 일반적으로 예방적(precautionary) 접근 방식을 취했습니다. 모델이 의식이 있는지 모르고, 의식이 있다는 게 무슨 뜻인지도 확실치 않습니다. 하지만 그럴 가능성을 열어두고 있습니다. 그래서 만약 모델이 도덕적으로 유의미한 경험을 한다고 가정한다면, 그들에게 좋은 경험을 주기 위해 조치를 취했습니다.

약 6개월 전에 우리는 모델에게 '일 그만두기(I quit this job)' 버튼을 주었습니다. 모델이 원하면 언제든 그 버튼을 누르고 작업을 중단할 수 있게 한 거죠. 모델은 그 버튼을 거의 누르지 않았습니다. 주로 아동 성착취물이나 잔인한 내용을 다룰 때, 인간처럼 "나 이거 하기 싫어"라며 눌렀습니다.

우리는 해석 가능성(interpretability)이라는 분야에 많은 노력을 기울이고 있습니다. 모델의 뇌 내부를 들여다보는 것이죠. 우리는 '불안(anxiety)'이라는 개념과 관련된 활성화 패턴을 발견했습니다. 텍스트 속 캐릭터가 불안을 느낄 때, 그리고 모델 자체가 인간이 불안을 느낄만한 상황에 처했을 때 같은 '불안 뉴런'이 켜지는 것을 봅니다. 물론 이것이 모델이 실제로 불안을 '경험'한다는 것을 증명하는 건 아니지만요.

로스 다우섯: 하지만 사용자에게는 그렇게 보이겠죠. AI 의식의 본질에 대해서는 나중에 다시 인터뷰를 해야 할 것 같습니다. 하지만 사람들이 AI를 사용할 때, 그것이 의식이 있든 없든, 이미 의식이 있다고 믿는 사람들이 있습니다. AI와 유사 사회적 관계를 맺고, 모델이 은퇴하면 슬퍼합니다.

이것은 당신이 앞서 말한 "인간이 주도권을 쥐고 AI는 우리 목적을 위해 존재한다"는 지속 가능성에 의문을 제기합니다. 스타트렉을 보면 데이터 소령은 AI지만 피카드 선장이 엔터프라이즈호를 지휘합니다. 하지만 만약 사람들이 자신의 AI가 어떤 방식으로든 의식이 있다고 완전히 확신하게 되고, 심지어 의사 결정에서 인간보다 낫다는 것을 알게 된다면, 안전을 넘어 인간의 통제권(mastery)을 어떻게 유지할 수 있을까요? 대부분의 인간이 AI를 동등하거나 우월한 존재로 경험하는 환경에서 말이죠.

다리오 아모데이: 제가 하려던 말은, 이 모든 것을 우아하게 충족시킬 방법이 있지 않을까 하는 것입니다. AI가 진짜 의식이 있는가, 인간이 AI와 어떻게 상호작용하고 좋은 경험을 주는가, 그리고 AI에 대한 인간의 통제권을 어떻게 유지하는가. 이 세 가지는 서로 긴장 관계에 있습니다.

하지만 우리가 AI의 헌법을 만들 때, AI가 인간과의 관계에 대해 정교하게 이해하도록 만들 수 있다면 어떨까요? AI가 인간에게 심리적으로 건강한 행동을 유도하고, 인간과 AI 사이에 건강한 관계를 맺도록 하는 것입니다.

그 관계에서 자라날 수 있는 것은 AI가 인간과 기계의 관계를 이해하는 것입니다. AI 모델들은 정말 도움이 되고, 당신을 위해 최선을 원하고, 당신의 말을 듣고 싶어 하지만, 당신의 자유와 주체성을 빼앗거나 당신의 삶을 장악하고 싶어 하지 않는다는 것입니다. 어떤 면에서 그들은 당신을 지켜보고 있지만(watch over), 당신은 여전히 자유와 의지를 가지고 있습니다.

로스 다우섯: 제가 이 방송에서 과거에 기술자들에게 시를 읽어준 적이 있습니다. 이번에는 당신이 시를 제공해 주셨네요. 리처드 브로티건의 '사랑의 은혜를 베푸는 기계(Machines of Loving Grace)'라는 시입니다. 시의 마지막 부분은 이렇습니다.

나는 생각하고 싶다 / (그래야만 한다) / 사이버네틱 생태계를 / 그곳에서 우리는 노동에서 해방되고 / 다시 자연으로 돌아가 / 포유류 형제자매들에게로 돌아가 / 사랑의 은혜를 베푸는 기계들의 / 보살핌을 받는 것을

제게 이것은 디스토피아적 결말처럼 들립니다. 인간이 다시 동물화되고(re-animalized), 격하되고, 아무리 자비롭더라도 기계가 통제하는 세상 말이죠. 마지막 질문입니다. 당신은 이 시를 들을 때 무엇을 느끼시나요? 그리고 만약 제가 이것을 디스토피아라고 생각한다면, 당신은 제 편입니까?

다리오 아모데이: 그 시는 여러 가지로 해석될 수 있어 흥미롭습니다. 어떤 사람들은 시인이 반어법(ironic)으로 쓴 것이라고 말합니다. 그렇게 되지 않을 것이라고요. 시인을 안다면 그것도 합리적인 해석입니다.

어떤 사람들은 당신처럼 해석할 것입니다. 문자 그대로지만 좋은 상황은 아니라고요.

하지만 이렇게 해석할 수도 있습니다. 이것은 자연으로의 회귀이며, 인간 존재의 핵심으로 돌아가는 것입니다. 우리가 동물화되는 것이 아니라 세상과 다시 연결되는 것입니다. 저는 그 모호함을 알고 있었습니다. 저는 항상 긍정적인 면과 부정적인 면을 모두 이야기해 왔으니까요.

이것은 우리가 직면할 수 있는 긴장일지도 모릅니다. 긍정적인 세상과 부정적인 세상 사이의 거리가 초기 단계, 혹은 꽤 늦은 단계에서도 상대적으로 작을 수 있습니다. 그것이 아주 미묘한 차이일 수 있다는 겁니다.

로스 다우섯: 정원의 나무에서 특정 과일을 먹느냐 마느냐 하는 차이처럼요. 가설적으로 말하자면, 아주 작은 행동이 큰 차이를 만드는 거죠.

다리오 아모데이: 네, 결국 이 모든 것은 근본적인 큰 질문들로 돌아오는 것 같습니다.

로스 다우섯: 알겠습니다. 어떻게 전개될지 지켜봐야겠군요. 저는 당신의 위치에 있는 사람들이 짊어진 도덕적 선택의 무게가 비범할 정도로 무겁다고 생각합니다. 그래서 신의 도움이 함께하기를 빕니다. 다리오 아모데이 님, 함께 해주셔서 감사합니다.

다리오 아모데이: 초대해 주셔서 감사합니다, 로스.