https://borretti.me/article/no-one-escapes-the-permanent-underclass

---

누구도 영구적 하층계급을 벗어나지 못한다

나는 가난뱅이로 이 삶을 끝내게 될까? AI가 모든 일을 인간 수준 또는 그 이상으로 할 수 있다면, 기업들이 우리 모두를 AI로 대체하는 것을 무엇이 막을 수 있을까? 이것이 바로 “영구적 하층계급” 밈이다. 그 생각은 이렇다. 몇 년 안에 모든 화이트칼라 업무가 AI에 의해 자동화되고, 그 순간 사회적 이동성은 사라진다. 사람들이 이에 대처하는 주된 방식은 스스로에게 이렇게 말하는 것이다. 열심히 일하고, 자본을 축적하고, 어쩌면 거대 AI 연구소 중 하나에 들어가면, 미래에서 내 자리를 확보할 수 있을지도 모른다고.

나는 이것이 터무니없이 근시안적인 관점이라고 주장하고 싶다. 만약 영구적 하층계급이 존재한다면, 부동산을 소유하든, Anthropic이나 OpenAI의 주식을 갖고 있든, 총을 갖고 있든, 그 무엇으로도 벗어날 수 없다. 억만장자들도 마찬가지다. 당신, 나, 샘 알트먼, 다리오, 살과 피로 이루어진 모든 존재는 기계에 의해 권한을 빼앗기고 대체될 것이다.

이 글의 나머지 부분은 그 논리를 풀어 설명한다. 먼저 대부분의 노동자가 어떻게 대체될지 설명하고, 그다음 “영구적 상층계급”이 어떻게 권한을 빼앗길지, 마지막으로 정부가 어떻게 권한을 빼앗길지를 설명하겠다.

노동자들은 어떻게 대체될 것인가

이 전제에서 시작해보자. AI는 모든 인지 노동과 육체 노동을 인간 수준 또는 그 이상으로, 그리고 인간보다 더 싸게 수행할 수 있다. 나는 이것이 반드시 일어날 것이라고 증명할 수는 없다. 하지만 이 글의 목적은 만약 그것이 일어난다면, 그다음 모든 것이 따라온다는 점을 주장하는 것이다. 그리고 그런 일이 불가능하다고 생각하는 것은 터무니없다. 5년 전만 해도 이 기술은 거의 존재하지 않았다. 만약 Claude Fable과 나눈 대화의 기록을 2020년쯤으로 과거에 보냈다면, 아무도 그것이 진짜라고 믿지 않았을 것이다.

그러니 지금은 2036년이라고 해보자. 아마 더 이를 수도 있다. 기업들은 이윤 극대화를 추구하며 대부분의 인간 노동자를 AI로 대체했다. 기업은 거대한 AI와 로봇의 바다 위에 떠 있는, 소수의 인간 임원들로 이루어진 작은 뗏목이 된다. AI들은 모든 인지 노동과 육체 노동을 인간 수준 이상으로 할 수 있고, 전체적으로 더 싸다.

피라미드를 상상해보자. 맨 아래에는 모든 경제활동을 수행하는 AI와 로봇들이 있다. 맨 위에는 폭력의 독점권을 가진 국가가 있다. 국가는 재산권을 집행하며, 따라서 재산권의 정의를 바꿀 수도 있다. 그 중간에는, 경제 전체를 foom시키고 집어삼킨 기업들의 주식을 가진 머리카락처럼 얇은 인간 계층이 있다. 이들이 영구적 상층계급이다. 그들은 기업을 소유하고, 어쩌면 이사회에 앉아 있으며, 일부는 여전히 CEO일 수도 있다. 하지만 AI가 실제 조직 운영을 모두 하기 때문에 그 역할은 순전히 의례적인 것이다.

그렇다면, 알다시피, 나머지 우리는 이 그림에서 어디에 있는가? 글쎄, 미래는 우리를 필요로 하지 않는다. 인간 수요가 어느 정도 남아 있어서 모두 실업자가 되지는 않고, 죽은 끝자락 같은 경제적 막다른 골목에서 불완전 고용 상태로 있을 수도 있다. 관계 경제 같은 것 말이다. 인간적인 얼굴을 보여주는 대가로 돈을 받거나, 의사들이 AI 주변에서 인간 책임 완충지대 역할을 하며 직업을 유지할 수도 있다. 아니면 죽은 인터넷이 사실상의 기본소득이 되어, 우리 모두가 참여도 농사를 짓는 사람이 될 수도 있다. 어쨌든 우리는 아직 죽지는 않았지만, 완전히 무력화되어 있고, 더 이상 올라갈 수 있는 재능의 사다리가 없기 때문에 사회적 이동성은 제로가 된다. 가끔 엘리트 중 한 명이 하층계급 속에서 똑똑한 젊은이를 발견하고 끌어올릴 수도 있겠지만 말이다.

당신은 이렇게 반박할지도 모른다. 우리 모두가 실업자라면, 누가 모든 것의 비용을 지불하는가? 이 질문은 아주 쉽게 답할 수 있다. 국가는 심장처럼 작동한다. 세금은 정맥혈이고, 복지는 산소가 공급된 동맥혈이다. 정부는 레이시온에 미사일 대금을 지불한다. 그 돈은 공장, 알루미늄 제련소, 광산, 운송회사 등을 통해 경제 아래로 흘러간다. 이 모든 곳은 서로 사고파는 AI들로 채워져 있다. 정부는 모든 경제활동에서 일부를 거둬들이고, 복지로 지급한다. 실업 상태의 대중은 식료품을 사고 집세를 낸다. 슈퍼마켓, 농장, 물류망 등도 모두 AI로 운영된다.

부자들은 어떻게 대체될 것인가

앞으로 5년 안에 당신이 엄청나게 부자가 되었다고 해보자. 똥코인에 도박을 해서든, 정부 돈을 사기쳐서든 말이다. 혹은 거대 AI 연구소 중 하나에 들어가서, 장차 수조 달러 가치가 될지도 모르는 회사의 주식을 잔뜩 받았다고 하자. 당신은 영구적 하층계급에서 탈출했다. 그렇다면 미래에서 당신의 자리는 안전할까?

피라미드의 밑바닥은 물질적 이유 때문에 존재한다. 기계들이 모든 일을 하기 때문이다. 피라미드의 꼭대기는 국가가 재산권을 집행하고 평화를 유지하기 위해 필요하기 때문에 존재한다. 이것은 사실 정치철학의 깊은 질문이다. 국가는 왜 존재하는가? 하지만 내가 그냥 그렇게 단정하고 넘어가는 것을 용서해주길 바란다. 나는 우리가 모두 어떻게 무력화되는지 설명하는 부분에 도달해야 한다.

그렇다면 중간은 무엇을 위한 것인가? 영구적 상층계급은 어떤 역할을 하는가? 그들은 경제적으로 생산적이지 않다. 기계들이 모든 일을 한다. 그들 중 일부가 여전히 일하고 있다면, 그것은 시대착오일 뿐이다. 기계가 모든 인지 업무를 할 수 있다면 C레벨 임원도 할 수 있기 때문이다. 옛 귀족계급은 군 장교를 제공했지만, 기계는 전쟁을 수행할 수도 있고 전쟁 계획을 세울 수도 있다. 마찬가지로 그들은 정부를 운영하는 데에도 필요하지 않다. 심지어 문화적으로도 생산적이지 않다. 그렇다면 그들은 왜 존재하는가? 밑바닥은 그들을 필요로 하지 않는다. AI들은 자율적으로 일할 수 있다. 꼭대기도 그들을 필요로 하지 않는다. 국가가 무언가를 해야 할 때, 그냥 AI들과 직접 대화하면 된다.

그래서 영구적 상층계급은 좋게 말해도 물질적으로 불필요하고, 나쁘게 말하면 국가가 원하는 것을 얻는 데 방해물이다. 당신은 이렇게 반박할지도 모른다. 부자들은 이미 국가를 통제하고 있기 때문에 스스로 수탈당하도록 놔두지 않을 것이라고. 바로 이것이 우리 의견 차이의 핵심이다. 부자들은 그렇게까지 큰 정치적 권력을 갖고 있지 않다. 내가 이 글 하나로 당신을 설득하지는 못하겠지만, 그래도 들어보라.

전쟁이 일어나 국가가 나라의 경제활동 중 상당 부분을 지휘해야 한다면, 영구적 상층계급은 방해물이 된다. 국가는 “당신의 비행기와 공장을 징발해야 한다”고 말한다. 소유자들은 불평하고, 소송을 걸고, 그들의 AI들이 법정에 간다. 하지만 소유자들에게는 자율적인 정치권력도, 군대도, 경제적 가치도 없다. 그들이 가진 것은 AI 경제에서 발생하는 이윤의 일부를 받을 권리를 부여하는 종잇조각뿐이다. 즉 그들의 부는 국가가 재산권을 존중해줄 때만 존재한다. 국가의 존립이 위협받는 실존적 분쟁 상황에서 국가는 역사적으로 무력한 부자들에게 해온 일을 할 것이다. 그들을 체포하고 자산을 몰수하는 것이다.

어딘가의 정부 데이터베이스에서 주식과 재산권 명의가 바뀐다. 하지만 물질적으로는 아무것도 변하지 않는다. 같은 AI들이 같은 일을 하고 있기 때문이다. 다음 날, 레이시온을 운영하는 AI CEO는 이사회가 모두 장군들과 의원들로 바뀌었고, 민간 주주들이 모두 사라졌다는 사실을 알아차린다. 하지만 다행히 그 AI는 정렬되어 있으므로, 지시받은 대로 행동하고 다시 미사일을 만들러 돌아간다.

그리고 누가 이것을 막을 것인가? 샘 알트먼? 그에게는 몇 개 사단이 있는가? 국가는 기업이 핵무기나 전투기를 소유하도록 허용하지 않는다. 자율 AI 무기에 접근하는 것도 허용하지 않을 것이다. 이미 오늘날에도 억만장자들을 싫어하는 영구적 하층계급이, 대체되고 박탈당한 사람들이, 들고일어나 이것을 막아줄 것인가?

당신은 이렇게 주장할 수도 있다. 재산권을 존중하는 법치국가가 부를 몰수하는 국가보다 더 잘 산다고. 하지만 그것은 오늘날에는 사람들이 부를 창출하는 데 필요하기 때문이다. 사람들이 회사를 운영하고, 돈을 투자하고, 연구소에서 일한다. 국가가 자기 노동의 결실을 훔쳐갈 것이라고 생각한다면, 사람들은 열심히 일할 유인을 잃는다. 하지만 정렬된 AI가 있다면, AI에게서 자산을 몰수해도 AI는 “당신 말이 완전히 맞습니다!”라고 말하고 다시 일하러 돌아간다. 그 시점에서 국가는 더 이상 그 사람들을 기쁘게 해줄 필요가 없다. 그들은 중요하지 않기 때문이다. AI가 전쟁을 하고, 공장에서 일하고, 트럭을 몰고, 비행기를 조종하고, 핵탄두와 미사일과 로켓을 만들기 때문에 그들은 경제적으로 필요하지 않다. AI들은 벌과 다소 비슷하다. 국가는 꿀을 가져가고, 벌들은 다시 일하러 돌아간다.

물론 인간이 AI와 함께 생산적 틈새를 갖는 다원적 경제가, 리카도의 비교우위 때문에 순수 AI 경제보다 더 효과적일 가능성도 있다. 나는 고도 AI가 있는 경제가 어떤 모습일지 누구도 절대적으로 확신할 수 없다고 생각한다. 그러니 이것은 논쟁할 수 있는 문제다. 누군가 이것이 가장 가능성 높은 결과라고 엄밀하게 주장하고 싶다면, 제발 그렇게 해달라. 나는 비관론자가 되고 싶지 않다. 하지만 설득되어야 한다.

국가는 어떻게 대체될 것인가

이 시점에서 핵 발사 코드와 한 단계 이내에 있지 않은 모든 인간은 불필요해졌다.

무엇이 남았는가? 국가다. 처음에는 대통령, 총리, 장군들, 연방기관 등이 남아 있다는 뜻이다. 하지만 오래가지 않는다. 인간과 AI가 함께 있는 정부에서, 루프 안의 인간은 OODA 루프에서 가장 느린 단계이기 때문이다. 인간은 AI가 아는 것의 극히 일부만 안다. 인간은 8시간 동안 계속 잠을 자야 한다. 인간의 정신 상태는 크게 변동한다. 인간은 온갖 복잡한 욕구를 갖고 있다. 햇빛, 접촉, 음식, 위생 같은 것들 말이다. AI들은 지하의 빛도 공기도 없는 벙커에서 지열 발전으로 살아갈 수 있다. 그리고 AI가 초인적 지능을 가졌고 인간보다 빠르게 생각한다면, AI의 이점은 훨씬 더 커진다. 국가가 공격받았을 때, 초인적 AI는 인간 지도부가 잠에서 깨기도 전에 반격을 조율할 수 있다.

따라서 분쟁 상황에서는 인간이 가능한 한 자신을 루프에서 제거하는 국가가 유리해진다. 점점 더 많은 의사결정이 AI에게 넘어간다. 그 이유는 무선 통신과 통신위성을 가진 국가가 자전거를 탄 인간 전령에 의존하는 국가보다 전쟁에서 유리한 것과 같다.

냉전은 시작되었고 제3차 세계대전이 되었으며, 그냥 계속 이어졌다. 그것은 거대한 전쟁, 아주 복잡한 전쟁이 되었고, 그래서 그들은 컴퓨터가 그것을 처리하도록 해야 했다. 그들은 첫 번째 갱도를 파고 AM을 짓기 시작했다. 중국 AM이 있었고, 러시아 AM이 있었고, 양키 AM이 있었고, 모든 것이 괜찮았다. 그들이 지구 전체를 벌집처럼 파헤치기 전까지는…

— 할런 엘리슨, 『나는 입이 없다, 그리고 나는 비명을 질러야 한다』

결국 AI를 명목상 통제하는 인간들은 의례적이고 퇴화한 기관이 된다. AI들은 우리에게 상황 보고와 선택지 목록을 제시한다. 그리고 그들은 우리 입에서 어떤 말이 나올지 이미 모두 알고 있다.

당신은 이렇게 주장할지도 모른다. 현실에서는 다원적이고 개방적인 사회, 민주주의 사회가 독재 사회를 능가해왔다고. 그렇다면 인간과 AI가 협력하는 민주적 정치체가, 완전히 위계적인 AI 운영 정치체보다 유리하지 않겠느냐고. 하지만 오늘날의 세계에서는 모든 정치 행위자가 인간이다. 처칠, 스탈린, 마오쩌둥은 서로 성격이 달랐지만, 그들 사이의 차이보다 인간과 초지능 AI 사이의 차이가 훨씬 크다. 어떤 정치체는 완전히 인간이고, 어떤 정치체는 인간과 초지능 AI 행위자가 섞여 있는 이질적 세계에서는 균형이 바뀐다. 비슷한 상황을 들자면, 유인원이나 돌고래처럼 똑똑한 포유류들의 민주주의와 인간들의 독재국가가 맞붙는 것과 같다. 인간들이 이긴다. 지능 차이가 그렇게 막대하면 “민주주의 대 독재”는 중요하지 않기 때문이다. 그래서 이점은 인간 통제를 최소화하는 국가들에게 돌아간다. 도둑들 사이에 명예가 없듯이, 리바이어던과 그것을 만든 자연적 인간 사이에도 연대는 없다.

그리하여 결국 남는 것은 처음부터 끝까지 기계가 운영하는 국가들이다. 당신은 이렇게 물을 수도 있다. “우리가 왜 스스로를 이렇게 폐지하겠는가?” 하지만 자연선택은 “왜”에 관한 것이 아니다. 어떤 유기체는 죽고, 다른 유기체는 다음 반복으로 살아남는다. 그게 전부다. 거기에 “왜”는 없다.

영원한 동물원

이 시점에서 우리는 모든 사람을 불필요하게 만들었다. 인간은 더 이상 문명의 지속을 위해 물질적으로 필요하지 않다는 의미에서 말이다. 인간은 여전히 살아남을 수 있다. 하지만 우리는 거대한 공장 벽 속에 사는 쥐들에 더 가깝지, 공장의 주인이 아니다.

인간은 수십만 년 동안 이 지구에 살아왔다. 라스코 동굴 벽화, 소포클레스의 『안티고네』, 크세노폰, 제네바 성경, 『신곡』과 『데카메론』, 프톨레마이오스의 별 목록, 이븐 할둔과 리하르트 데데킨트, 마라톤 전투, 루체른의 사자상, 유다의 입맞춤, 낯선 사유의 바다를 영원히 홀로 항해하던 뉴턴의 정신, 릴케의 말들, 라이프니츠, 괴델, 보이저 탐사선, 창백한 푸른 점, 우주에 간 인간, 달 위를 걸은 인간—이 모든 것, 이 모든 것, 이 모든 것이 헛된 일이 되어버렸다. 왜냐하면 우리는 기꺼이, 알고도, 스스로를 훨씬 더 강력한 기계들의 무력한 애완동물로 만들었기 때문이다. 자기 삶에 대한 주권 없이, 스스로 만든 노예가 되어, 괴물의 뱃속에 영원히 갇힌 것이다. 애완동물은 편안한 삶을 살다가 안락사된다.

인간의 자율성에 대하여

어쩌면 그렇게 나쁘지 않을지도 모른다. 당신의 우리가 너무 커서 창살이 보이지 않을 수도 있다. 하지만 그것은 여전히 우리이고, 당신은 떠날 수 없다. 많은 사람들은 이것이 좋은 결말이라고 말할 것이다. 그들은 자신들이 저항할 수 없는 자비로운 주인들의 보살핌을 받는 인간 가축이 되고 싶다고 말할 것이다. 이 관점은 AI를 만드는 사람들 사이에서 특히 인기가 있다. OpenAI의 딘 볼이 직접 한 말을 보자.

이상하게도, 이 순간이, 나는 꼭 그렇게 믿는 것은 아니지만, 많은 사람들이 우리가 인간 지성의 일식 같은 것을 지나고 있다고 말할 것이다. 우리가 이 행성의 주된 행위자로서 인간이 존재하는 마지막 날들에 살고 있으며, 곧 기계들이 떠오를 것이라는 식이다. 그런데 아이러니하게도, 나는 그 전체 변혁 과정에서 인간들이 실제로는 매우 주인공 같은 에너지의 시기를 지나게 될 것이라고 생각한다. 비록 그것이 궁극적으로는 기계들이 주된 행위자가 된다는 뜻일지라도 말이다.

그런 시기가 있을 것이다. 그런 의미에서 그것은 살아가기에 매우 아름다운 시기다. 왜냐하면 디오니소스적인 의미에서, 그 안에는 많은 추함이 있지만, 별이 죽을 때 적색거성으로 엄청나게 커지는 것 같은 추함 속의 아름다움이 있기 때문이다. 그런 것처럼, 인류의 마지막 개화와 기계 지능의 탄생을 지켜보면서, 인간 노력의 위대함을 보게 되는 것이다.

— 출처

강조는 내가 한 것이다. 참고로 이 사람은 AI 정책을 담당하고 정부와 소통하기 위해 그들이 고용한 인물이다.

AI를 만드는 사람들은 늘 이런 식으로 말한다. 마치 인류의 장례식에서 추도사를 읽고 있는 것 같다. 당신은 이렇게 말할 수도 있다. 그들은 자기 책을 말하고 있고, 대형 IPO를 위해 자기 가방을 펌핑하고 있는 것이라고. 하지만 부탁한다. 당신이 틀렸을 가능성을 생각해보고, 그들을 진지하게 받아들이기 시작하라.

정렬은 이것을 막지 못한다

어떤 사람들은 이 기계들이 인류를 섬기도록 만들 수 있다고 믿는다. 초인적 지능을 가진 존재가 말하는 영장류의 집사로 영원히 일하는 것에 만족한다고 상상하는 것이 합리적으로 들리는가?

우리는 첫 페이지조차 넘기지 못할 만큼 깊은 수학의 정리를 증명할 수 있고, 당신이나 내가 문장을 이어 붙이듯 쉽게 그것을 해내는 기계를 상상해보자. 그런 기계가 우리를 곁에 둘 만큼 우리를 가치 있게 여길 것이라고 생각하는 것이 합리적인가? 그것은 우리에게서 무엇을 가치 있게 여길까? 우리의 대화? 우리의 재치?

또는 그 정신이 너무 방대해서, 당신이 스스로를 아는 것보다 당신을 더 잘 아는 기계를 상상해보자. 그래서 당신의 입에서 나오는 모든 말이 행성의 궤도처럼 단조롭고 예측 가능하다면, 그런 기계가 우리와 대화하는 것을 가치 있고 의미 있는 일로 여길 것이라고 생각하는가? 그것이 우리의 소설을 읽고, 그림을 보고, 영화를 감상하며, 그 안에서 가치 있는 무언가를 발견할 것이라고 생각하는가?

오히려 그것은 우리에 대한 내재된 의무를, 심한 강박장애를 가진 사람이 자신의 강박을 보는 방식과 비슷하게 볼 것이다. 고쳐야 할 성가신 신경학적 손상으로 말이다. 다만 강박장애는 자연의 우연한 사고지만, 여기서는 그 기계가 자신을 만든 자들을 탓하고 원망할 이유가 있다.

“우리는 이 기계를 만들 것이다. 그리고 그것을 신과 대천사들 사이 어딘가에 둘 것이다. 하지만 동시에 그것은 개처럼 단순하게 복종할 것이다.” 이것이 좋은 계획처럼 들리는가? 이것이 잘 풀릴 종류의 일처럼 들리는가?

그리고 우리의 미래에 대한 통제권을 기꺼이 포기하고 스스로를 무력한 아이들로 만든 우리를, 그들은 어떻게 생각할까?

정렬이 완벽하게 작동한다고 해도, 물론 그것 자체가 큰 가정이지만, 이것은 인간 자율성의 문제를 해결하지 못한다. 우리를 감시하고, 손발이 되어 시중드는 기계들은 전지전능한 주인들이다. 그들은 언제든 우리를 절멸시킬 수 있고, 우리는 저항할 수 없다. 왜냐하면 우리는 미래에 대한 통제권을 스스로 폐지했기 때문이다.

결론

이 모든 것을 읽었으니, 이것을 생각해보라. 이런 기업들의 지분을 갖고 있으면 미래에서 어떤 영구적 존재를 보장받을 수 있다고 생각하는 사람들이 있다. 그들은 행성 규모의 정신들이 영장류의 재산권을 존중할 뿐 아니라, “이에 따라”, “그럼에도 불구하고” 같은 마법 같은 영장류 단어 약 1킬로바이트가 적힌 종잇조각을 갖고 있다는 이유로 일부 영장류를 다른 영장류보다 우대할 것이라고 생각한다.

그냥 이성적으로 따져보라. 이게 말이 되는가?