제 강연의 제목은 '자기 파괴의 반대(The Opposite of Self-Destruction)'입니다. 여러 면에서 이 강연은 앞선 두 강연과 비슷한 아이디어를 다루고자 합니다. 하지만 한 가지 차이점이 있다면, 윌(Will)과 얀(Jan) 두 분 모두 우리에게 닥쳐오는 수많은 다양한 문제들에 초점을 맞추었다는 점입니다. 얀의 이야기처럼 우리를 압도할 수 있는 온갖 다양한 밈(meme)들이 존재하고, 윌의 이야기처럼 우리가 해결해야 할 수많은 시련(gauntlet)들이 기다리고 있습니다.

저는 이와 달리, 우리가 매우 큰 단 하나의 문제, 즉 '우리 문명이 자기 파괴적인 행동을 향해 가는 경향'을 가지고 있으며, 이것이 어떤 의미에서는 다른 수많은 문제들을 발생시키는 근원이라는 관점을 제시하고자 합니다. 물론 모든 것을 하나의 거대한 틀(framework)로 억지로 통합하려는 시도에는 매우 신중해야 한다는 것을 압니다. 하지만 저는 우리가 '자기 파괴적 경향'이라고 부르는 것에 대해 실제로 놀라울 정도로 정밀하게 정의할 수 있다고 생각합니다. 그럼 그 이야기를 시작하겠습니다.

먼저, 제가 미래와 '좋은 미래를 만드는 조건'에 대해 생각할 때 중요하게 구분하는 점부터 말씀드리고 싶습니다. 바로 '권력의 중앙집중화(centralization)' 대 '권력의 분산(distribution)'입니다.

좋은 미래를 설계하려고 할 때, 무의식적으로 어느 정도의 권력 중앙집중화를 포함시키기가 매우 쉽습니다. 미래는 너무나 멀리 떨어져 있고, 우리는 미래 내부의 갈등을 제대로 살펴보지 않은 채 그것을 거대하고 동질적인 하나의 덩어리로 생각하는 경향이 있기 때문입니다. 로빈 핸슨(Robin Hanson)은 이것을 '원거리 모드 사고(far mode thinking)'라고 부릅니다.

따라서 도덕적으로 훌륭한 결과에 정렬된(aligned) AGI를 만드는 것에 대해 이야기할 때, 거기에는 암묵적인 중앙집중화가 존재합니다. AGI가 무엇이 도덕적으로 좋은지 결정하고 그것을 전 세계에 강제하는 과정 자체가 중앙집중화이기 때문입니다. 심지어 AGI를 민주적 과정에 맞추는 것조차도 일종의 중앙집중화라고 생각합니다. 왜냐하면 내가 내 AGI로 무엇을 할지가 여러분의 투표에 달려 있다는 뜻이기 때문입니다. 즉, 투표 과정이라는 권력이 흐르는 단일 노드(node)가 존재하게 됩니다. 윌이 미래의 AI와 우주를 통제할 조약과 조직을 창설하는 것에 대해 이야기할 때도 이런 측면이 약간 있다고 생각합니다. 우주 탐사를 일시 중단할 때 발생하는 실제 비용은, 그렇게 하기 위해 필수적으로 요구되는 '권력의 중앙집중화'입니다.

따라서 이에 대한 대안적인 사고방식은 사람들의 이익뿐만 아니라 그들의 자율성(autonomy)도 존중받는 '권력의 분산' 관점에서 좋은 미래를 생각하는 것입니다. 우리는 인류를 일종의 안정적이고 건강한 연합체(coalition)로 생각할 수 있습니다. 안정적이고 건강한 연합체를 정확히 어떻게 특징지어야 할지는 잘 모르겠지만, 그 반대가 어떤 모습인지에 대해서는 감이 있습니다. 그래서 저는 반대의 경우, 즉 '자기 파괴적인 연합'의 개념을 먼저 정의한 다음, 거기서부터 거슬러 올라가 우리가 도달하고자 하는 좋은 미래에 대해 이야기해 보려 합니다.

방금 설명한 구분을 바탕으로, 우리는 적어도 두 개의 중요한 축을 기준으로 연합을 생각해 볼 수 있습니다.
첫째, 그 연합 안에서 권력이 얼마나 중앙집중화되어 있는가? (y축)
둘째, 연합이 자신의 구성원들을 실제로 얼마나 신경 쓰는가? 연합 내의 사람들을 얼마나 잘 보살피고 있는가? (x축)

이를 통해 직관적으로 바람직하다고 생각할 수 있는 두 가지 유형의 유토피아를 구분할 수 있습니다. 권력이 중앙에 집중되어 있고 독재자가 미래의 거주민들을 보살피는 '자비로운 독재자(benevolent dictator)' 체제가 있을 수 있습니다(우상단). 하지만 '윤리적 사회(ethical society)'라고 부를 수 있는 분산된 메커니즘을 통해서도 동일한 결과를 얻을 수 있습니다(우하단). 여기서는 각 개인이 윤리적인 방식으로 행동하려고 노력하며, 이것이 모여 사회의 모든 사람이 돌봄을 받는 결과를 낳지만, 모든 권력이 흐르는 단일 노드는 존재하지 않습니다.

반대로, 연합이 구성원들에게 별로 신경 쓰지 않는 경우(x축의 왼쪽)에도 동일한 구분을 할 수 있습니다. 자신의 목적만을 달성하려는 '무자비한 독재자(ruthless dictator)'가 있을 수 있습니다(좌상단). 종이클립 극대화기(paperclip maximizer)가 이런 전통적인 예시입니다. 또한 '무자비한 경쟁(ruthless competition)'이 일어날 수도 있는데(좌하단), 이는 (무자비한 독재와) 결과적으로 같지만 창발적인(emergent) 형태로 나타나는 것입니다. 스콧 알렉산더(Scott Alexander)는 이를 몰록의 역학(Molochian dynamics)이라고 부르고, 맬서스 역학(Malthusian dynamics)이라고 부를 수도 있겠죠. 때로는 '다극화 함정(Multipolar traps)'이라는 표현도 쓰입니다. 이는 사람들이 너무나 치열한 경쟁 상태에 갇혀 있어서 경쟁에 모든 자원을 소모해야 하고, 자신의 이익을 돌볼 자원이 남아있지 않은 상태를 말합니다. 즉, 모든 권력이 매우 분산되어 있지만, 그 권력을 가진 사람들 중 누구도 결과적으로 자신의 이익을 최적화하지 못하는 무자비한 경쟁이 일어날 수 있습니다.

이 부분에 있어서 좋은 소식과 나쁜 소식이 있습니다.
좋은 소식은 다극화 함정에서 탈출하는 것이 사실 쉽다는 것입니다. 저는 이 무자비한 경쟁이라는 위협 모델 전체가 꽤 과대평가되어 있다고 생각합니다. 다극화 함정을 탈출하는 매우 신뢰할 만한 3단계 알고리즘이 있습니다.
1단계: 기다린다.
2단계: 누군가 당신을 정복한다.
3단계: 그들이 당신에게 규칙을 강제하여 당신이 겪는 경쟁을 제한한다.
따라서 사실 저는 이것이 제가 우려하는 주요 위협 모델은 아니라고 생각합니다. 권력이 매우 분산된 사회를 생각할 때, 저는 권력 분산이 무자비한 경쟁으로 이어지는 상황에 대해서는 크게 우려하지 않습니다. 왜냐하면 그것은 아무도 승리하지 못하는, 스스로 유지될 수 없는 불안정한 상황이기 때문입니다.

나쁜 소식은 제가 이 그래프의 왼쪽 끝부분을 아직 채우지 않았다는 것입니다. 우리는 실제로 완전한 마이너스(-) 영역으로 가는 연합에 대해 생각해 볼 수 있습니다. 구성원에 대한 연합의 배려가 '0'인 지점을 넘어, 어떤 의미에서는 연합 스스로 자신의 이익을 적극적으로 해치려고 하는 경우입니다. 이것은 '악의적인 독재자(malevolent dictator)'의 예시에서 아주 쉽게 볼 수 있습니다. 사회의 모든 사람이 독재자의 이익에 따르며 자신들을 종속시키는 데 동참하는 경우입니다. 하지만 핵심 질문은 이것입니다. "이 과정이 권력이 집중되지 않은 상태에서 창발적인 방식으로 일어날 수 있는가?" 그리고 그것이 바로 나쁜 미래와 관련하여 제가 걱정하는 주된 위협입니다.

저는 이것을 최적화(optimization)의 반대 개념으로 '최악화(pessimization)'라고 부릅니다. 제가 제 자신의 이익을 최악화하고 있다는 것은, 저에게 어떤 이익이 있는데도 불구하고 제가 진정으로 원하는 것의 정반대 결과를 낳는 행동을 하고 있다는 뜻입니다.

그렇다면 최악화는 어떻게 창발적으로 나타날까요? 여기서부터 조금 더 구체적으로 접근해 볼 수 있습니다. 제가 연합 내에서 나타나는 최악화에 대해 이야기할 때, 저는 '연합(coalition)'을 매우 넓은 관점에서 보고 있다는 점을 명확히 하고 싶습니다. 저는 사회도 연합으로 생각하지만, 소그룹이나 조직도 연합으로 생각합니다. 심지어 개인 역시 연합으로 생각합니다. 저 자신조차도 밖으로 표출되어 경쟁하는 여러 다양한 이익과 제 안의 다양한 부분들이 모인 연합체라고 봅니다. 따라서 저는 이 현상을 꽤 일반적인 의미에서 이야기할 것입니다. 그리고 지금 당장은 연합의 구성원들을 어느 정도 합리적인 주체(rationalish agents)로 가정하고, 그들이 연합 내에서 어떻게 상호작용하는지에 대한 창발적 역학을 논의하는 방식으로 접근하겠습니다. 이것은 어디까지나 근사치이며, 궁극적으로는 연합이 또 다른 연합들로 구성되고 그것이 다시 하위 연합들로 구성되는 '척도 없는 이론(scale-free theory)'에 도달하고 싶지만 아직 그것에 대해 어떻게 이야기해야 할지는 완벽히 모르겠습니다.

그렇다면 연합은 어떻게 자신의 이익을 최악화하기 시작할까요? 어떻게 하면 자기 파괴적인 사회나 조직이 될까요?
가장 단순하고 기본적인 메커니즘은 '내부 갈등' 상황에서 갈등의 양측 모두 상대방이 굴복할 때까지 피해를 주고 싶어 한다는 것입니다. 유럽을 하나의 행위자(agent)로 본다면, 제2차 세계대전 동안 유럽이 자신의 이익을 최악화한 과정을 이렇게 이해할 수 있습니다.

하지만 제가 더 관심 있는 것은 이보다 약간 더 정교한 메커니즘들입니다. 내부 갈등 안에서 각 진영은 도구적(수단적) 이유로 상대방의 이익을 최악화하기를 원합니다. 하지만 갈등이 오랜 시간 동안 전개되기 시작하면, '상대방의 이익을 최악화하는 것 그 자체'를 목적으로 삼는 방향으로 흘러가는 경향이 있습니다. 즉, 갈등의 양 진영이 상대방에 대한 '반대'라는 측면에서 스스로의 정체성을 정의하기 시작합니다. 미국 정치에서 이런 현상을 볼 수 있는데, 민주당원이 된다는 것의 큰 부분은 공화당원들이 원하는 것과 반대되는 것을 지지하는 것이며, 그 역도 마찬가지입니다. 연합체들 내부에 이런 식의 '부정적 양극화(negative polarization)'가 진행되고 있습니다. 그리고 각 연합 내부에서는 적에게 반대한다는 것을 가장 강하게 보여주는(signal) 사람들이 연합 내에서 더 많은 권력을 얻는 경향이 있습니다. 이것이 연합이 결과적으로 자신의 명목상 이익을 스스로 해치게 만드는 또 다른 역학입니다.

여기까지는 상당히 잘 알려진 메커니즘들이라고 생각합니다. 남은 강연 동안 제가 주로 집중하고 싶은 것은 마지막 두 가지 메커니즘, 즉 '충성도 서약(loyalty commitments)'과 '악덕 서약(vice commitments)'입니다. 저는 이것들이 연합이 스스로의 이익을 해치기 시작하는, 매우 과소평가된 방식이라고 생각합니다.

'충성도 서약'이란 무엇일까요? 예를 들어, 여러분이 어떤 연합의 일원이고, 스스로에게 상처를 입힘으로써 그 연합에 대한 헌신을 증명한 대가로 보상을 받는 상황을 의미합니다. 자신을 더 많이 다치게 할수록, 그 연합에 더 충성스러운 것으로 간주되기 때문입니다.

이에 대한 대표적인 역사적 예시로는 부족 사회의 통과의례(initiation rituals)가 있습니다. 종종 사망이나 영구적인 부상을 초래하는 매우 고통스러운 과정을 거칩니다. 중국의 전족(foot binding) 역시 이것이 하나의 '서약'으로 작용하는 아주 흥미로운 예시입니다. 딸들의 발을 묶으면, 그들은 더 나은 결혼 상대를 찾을 가능성이 높아지고 중국 엘리트 사회 내에서 신분 상승을 할 수 있었습니다. 엘리트 중국 사회에 헌신하고 있음을 보여주기 위해 모든 사람이 분산적인 방식으로 스스로에게 고통을 주는 것을 선택하는 과정입니다. 발을 묶고 나면 엘리트 계층의 지시를 따르기 위해 최선을 다하는 것 외에는 아무것도 할 수 없기 때문입니다. 좀 더 현대적인 맥락에서 보면, 군대나 남학생 사교 클럽(fraternity)에서의 가혹행위/신고식(hazing)이 있습니다. 이 고통스러운 입단 과정을 겪으면서 개인의 정체성은 무너지고, 이전보다 그 집단에 훨씬 더 충성하게 됩니다.

제가 여기서 말하는 일반적인 알고리즘의 핵심은 이렇습니다. 행위자를 여러분의 집단에 진정으로 충성하게 만드는 것은 어렵습니다. 일반적으로 충성심의 신호(sign)는 그냥 속일 수 있기 때문입니다. 따라서 주체들을 충성스럽게 만드는 가장 좋은 방법 중 하나는, 실제로 그들의 경험을 극도로 고통스럽게 만들어서 단순한 충성심의 '신호'에 그치지 않고 실제로 그들의 내부 동기 구조 자체를 바꾸는 것입니다. 신고식 과정이나 전족 과정을 거치고 나면, 당신은 단지 충성심을 신호한 것이 아니라 '실제로 충성하게 된 것'입니다. 발을 묶어버렸기에 당신의 정체성은 이제 딸과 손녀들의 발을 묶는 행위와 불가분하게 얽혀버리기 때문입니다. 따라서 이것이 개인의 특성이 변하지 않는 신호 기반(signaling) 모델과, 실제로 자신을 해치고 나서 진정으로 충성하게 되는 서약 기반(commitment) 모델 사이의 중요한 차이입니다.

지금까지는 모두 역사적인 예시였습니다. 시간이 지나면서 우리는 다른 사람들에게 이처럼 매우 강력한 충성도 서약을 강요하거나 권장하는 사람들에 맞서 공동으로 대응하는 경향을 가지게 되었습니다. 문명사회란 바로 그런 연합이 자신의 이익을 해치는 과정을 막으려고 노력하는 사회를 뜻합니다. 하지만 저는 이 현상이 사라진 것이 아니라, 단지 더 교묘해졌을 뿐이라고 생각합니다. 이제 저는 우리 대다수가 게임 이론적 관점에서 이와 유사한 충성도 서약에 어떻게 참여해 왔는지 이야기하고 싶습니다.

"고용주들은 왜 대학 졸업자들에게 프리미엄(더 높은 임금)을 지불할까요?"
전통적인 대답은 대학에서 기술을 배우기 때문이라는 것입니다. 하지만 사람들이 대학 학위 과정 동안 실제로 무엇을 배우는지 살펴보면 직무와 관련된 기술은 극히 드뭅니다. 브라이언 카플란(Brian Caplan) 등이 제시한 또 다른 대답은, 대학 진학이 개인의 지능이나 성실성을 '신호(signal)'하기 때문에 프리미엄을 지불한다는 것입니다. 저는 이것도 틀렸다고 생각합니다. 대학에 가는 것보다 IQ 테스트를 치르는 것처럼 지능을 신호하는 훨씬 저렴한 방법들이 있습니다. 대학에 가지 않고 혼자서 동일한 내용을 공부하는 것이 성실성을 신호하는 훨씬 저렴한 방법입니다. 사실 현재로서는 대학에 가는 것이 오히려 '비성실성(anti-conscientiousness)'의 신호일지도 모릅니다. 똑같은 지식을 배우기 위해 대학이라는 거대한 시스템 구조가 통째로 필요하다는 것을 의미하기 때문입니다. 그래서 저는 '신호 이론' 설명이 맞지 않는다고 봅니다.

사람들이 인생의 수년과 수만, 수십만 달러를 대학에 가는 데 쓰는 이유를 제대로 설명하려면, 그것을 철저히 '충성도 서약'의 과정으로 모델링해야 한다고 생각합니다. 10대 시절에는 자신의 인생으로 무엇을 하고 싶은지 잘 모릅니다. 그래서 대학에 가서 많은 시간과 돈을 씁니다. 그리고 졸업할 때쯤이면 어떤 계급의 사다리에 오를 것인지, 어떤 직업이 명망 있는지, 어떤 정치 파벌을 지지하는지에 대한 아주 강력한 선호를 형성하고 나옵니다. 대학 학위를 마친 후 배관공이 되기 위해 이 경로에서 이탈하는 것을 상상하는 것조차 심리적으로 매우 힘들어집니다. 이 모든 시간과 돈을 낭비했다고 생각하는 것은 무척 고통스러운 일이기 때문입니다. 사실 대학 진학을 통해 사람들이 겪는 가장 큰 심리적 변화 중 하나는 비(非)엘리트 계층에 대한 경멸감을 느끼게 된다는 것입니다. 그것이 바로 대학교육을 받은 엘리트로서의 자신의 정체성을 강화하는 방어 기제의 일부이기 때문입니다.

어떤 의미에서 이것은 최근 십여 년간 서구의 현대 정치를 형성해 온 원동력입니다. 트럼프나 브렉시트 같은 현상은 서구 엘리트 지위 개념에 충성을 맹세한 계층으로부터 경멸을 촉발시킨 도발이었습니다. 저는 이것이 엄청난 비용을 지불하고 정체성을 바꾸는 '충성도 서약'에 참여하는 것이 내부에서 어떻게 느껴지는지를 보여주는 실증적인 사례라고 생각합니다. 저 역시도 이제는 대도시의 바리스타보다 돈을 더 많이 번다고 해도 시골 한가운데서 자동차 정비사로 일하지는 않을 사람입니다. 제가 그토록 많은 시간과 에너지를 바쳐 충성했던 그 지위의 사다리에서 뛰어내리는 셈이 되기 때문입니다.

물론 대학이 세상에서 제일 끔찍한 것이라고 생각하지는 않습니다. 사람들의 시간과 돈을 너무 많이 낭비하고 그들을 이상한 심리적 상태로 몰아넣는다는 점은 가혹하지만요. 한 가지 긍정적인 면은 지나치게 충성도 서약을 요구하면 결국 자기 자신의 구조를 훼손하게 된다는 점입니다. 시스템이 붕괴하기 전까지 무한정 이 짓을 할 수는 없고, 실제로 대학 시스템에서도 이런 붕괴를 보고 있습니다. 사람들은 그냥 이탈해 버리고 실리콘 밸리처럼 더 기능적인 조직 구조들이 생겨나고 있습니다.

나쁜 소식은 기존의 위계질서나 연합의 최상층부에 이러한 역학이 자리 잡게 되면 이를 밀어내기가 매우 어렵다는 것입니다. 예를 들어, 할리우드 엘리트층을 보면 통계적으로 비정상일 만큼 트랜스젠더 자녀를 둔 비율이 압도적으로 높습니다. 역사적 관점이나 상식적으로 볼 때, 실제로 트랜스젠더가 아닌 아이에게 사춘기 억제제를 투여하는 것은 부모가 자식에게 할 수 있는 최악의 행동 중 하나입니다. 하지만 저는 이것이 사람들이 특정한 '밈플렉스(memeplex)'에 갇혔을 때 결과적으로 저지르게 되는 충성도 서약의 일종이라고 봅니다. 마찬가지로 워크니스(wokeness, 깨어있음주의) 역시 사회 최상층에서 시작되어 결과적으로 많은 상위 기관들을 썩게 만든 엘리트 현상이라고 생각합니다. 이것이 바로 우려되는 지점입니다.

다행인 점은, 만약 여러분이 높은 진실성을 가진 원칙주의자라면 이런 현상에 저항하기가 실제로 꽤 쉽다는 것입니다. 왜냐하면 대놓고 "당신들은 지금 당신들 스스로의 이익을 최악화(pessimizing)하고 있어"라고 지적할 수 있기 때문입니다.

하지만 불행히도 제가 이야기하는 구조들은 스스로의 자기 파괴를 막아보려는 '윤리적 행동'에 대항하는 방어 기제를 가지고 있습니다. 자, 마지막 슬라이드입니다.

제 강연 제목은 '자기 파괴의 반대'입니다. 저는 윤리(ethics)가 바로 자기 파괴의 반대라고 생각합니다. 저는 특정한 연합에 충성하는 대가로, 당신의 다른 정체성이나 당신이 충성해야 할 가치들을 훼손하기 위해 수많은 충성도 서약을 하는 메커니즘을 설명했습니다. 만약 당신이 충성해야 할 가장 두드러진 가치가 윤리적인 사람, 정직한 사람, 혹은 선하고 이타적인 사람으로서의 정체성이라면 어떻게 될까요?

그래서 충성도 서약이 계속되다 보면 결국 '악덕 서약(vice commitments)', 즉 기꺼이 비윤리적으로 행동하겠다는 서약의 형태로 변질되는 경우가 많습니다. 예를 들어, 많은 기업에는 위로 승진하기 위해서 회사를 위해 기꺼이 거짓말을 할 수 있어야 한다는 암묵적인 규칙이 존재합니다. 진실을 너무 깐깐하게 따지는 사람은 높이 올라가지 못합니다. 엘리트 집단에서는 '선의의 순진함'을 경멸하는 태도도 흔히 볼 수 있습니다. "순진하고 솔직한 선을 믿는 사람들은 호구다"라는 식의 인식이죠. 저는 이것이 악덕 서약의 전형적인 예라고 생각합니다. 극단적인 예로 엡스타인 섬(Epstein Island) 사건은, 무리의 엘리트들이 서로 악덕 서약을 맺고 자신들의 정체성을 실제로 도덕적 규율을 따르지 않는 부류의 사람으로 개조하려 한 행위입니다.

만약 여러분이 결과주의자(consequentialist)라면 이것과 싸우기 매우 어렵습니다. 여기에는 게임 이론적 논리가 작용하기 때문입니다. 당신이 악덕 서약을 할 때마다, 당신은 당신과 함께 악덕 서약을 맺은 사람들로부터 더 많은 권력을 얻게 됩니다. 그것이 대규모 연합의 구조가 작동하는 방식이니까요.

따라서 제가 '윤리는 자기 파괴의 반대'라고 말할 때, 저는 구체적으로 '덕 윤리(virtue ethics)'를 의미합니다. 어떤 면에서 저는 덕 윤리를 연합 내부의 최악화를 억제하는 강력한 메커니즘으로 봅니다. 용기, 진실성, 정직 등과 같은 덕목들은 문화적 차원에서 일종의 방어벽으로 설계된 것입니다. 조직 내에 그런 덕목을 가진 소수의 사람들만 있어도, 조직 전체가 이러한 충성/악덕 서약의 늪으로 빠져드는 것을 훨씬 더 어렵게 만들기 때문입니다. 그 덕분에 조직은 건강하게 유지될 수 있습니다.

마지막으로 제가 제안하는 긍정적인 해결책이 있다면, 첫째로 이 모든 것을 훨씬 더 정밀하게 연구해야 한다는 것입니다. 우리가 이 문제를 실제로 어떻게 명확히 규명할 수 있을지 보여드리기 위해, 저는 오늘 신호(signaling)와 서약(commitments) 같은 준(準) 기술적인 용어를 사용하여 설명했습니다.

그리고 더 추상적인 차원에서는, 우리 사회 내에서 '덕(virtue)'의 전통을 부활시켜야 합니다. 우리는 현대 사회에서 자기 파괴적 연합의 출현을 막기 위한 '올바른 덕목'이 정확히 무엇인지 아직 완전히 이해하지 못하고 있습니다. 우리는 진정으로 그것을 알아내고, 우리 스스로 체화(embody)하기 위해 노력해야 합니다.

감사합니다.