칼 세이건의 소설 '콘택트(Contact)'의 영화 버전을 보면 인상적인 장면이 나옵니다. 외계 문명으로부터 첫 번째 무선 신호를 감지한 천문학자인 주인공이 인류를 대표해 외계인을 만날 대표자로 고려되는 상황입니다. 그녀를 인터뷰하는 국제 위원회는 이렇게 묻습니다. "만약 외계인에게 딱 한 가지 질문만 할 수 있다면, 무엇을 묻겠습니까?" 그녀의 대답은 이렇습니다. "저는 이렇게 묻겠습니다. '어떻게 해냈나요? 어떻게 진화했고, 스스로를 파괴하지 않고 이 기술적 사춘기(technological adolescence)를 어떻게 살아남았나요?'"

AI와 함께 인류가 처한 현재 상황—우리가 무엇을 앞두고 있는지—을 생각할 때면, 제 마음은 계속해서 그 장면으로 돌아갑니다. 그 질문이 지금 우리의 상황에 너무나 적절하기 때문이며, 우리를 이끌어줄 외계인의 대답이 있었으면 하고 바라기 때문입니다. 저는 우리가 격동적이면서도 피할 수 없는 통과 의례에 진입하고 있다고 믿으며, 이는 종으로서의 인류가 어떤 존재인지를 시험하게 될 것입니다. 인류는 상상조차 힘든 힘을 손에 넣기 직전이지만, 우리의 사회적, 정치적, 기술적 시스템이 그 힘을 행사할 만큼의 성숙함을 갖추었는지는 매우 불투명합니다.

저는 저의 에세이 *자애로운 은혜의 기계(Machines of Loving Grace)*에서 위험 요소들이 해결되고 강력한 AI가 기술과 연민을 통해 모든 이의 삶의 질을 높이는 데 쓰이는, 성년기에 도달한 문명의 꿈을 펼쳐 보이려 했습니다. 저는 AI가 생물학, 신경과학, 경제 발전, 세계 평화, 그리고 일과 삶의 의미에서 막대한 진보에 기여할 수 있다고 제안했습니다. 저는 사람들이 싸워서 쟁취할 만한 영감을 주는 무언가를 제시하는 것이 중요하다고 느꼈는데, 이는 이상하게도 AI 가속주의자들과 AI 안전 옹호자들 모두 실패한 듯 보였던 과제였습니다. 하지만 이번 에세이에서는 그 통과 의례 자체를 직시하고자 합니다. 우리가 직면하게 될 위험들을 지도로 그려보고, 이를 극복하기 위한 전투 계획을 세워보려 합니다. 저는 우리가 승리할 수 있는 능력, 인류의 정신과 고귀함을 깊이 믿지만, 우리는 환상 없이 상황을 똑바로 마주해야 합니다.

이러한 이점에 대해 이야기할 때와 마찬가지로, 위험에 대해서도 신중하고 사려 깊은 태도로 논의하는 것이 중요하다고 생각합니다. 특히 다음 사항들이 중요합니다.

• 파멸론(Doomerism)을 피하십시오. 여기서 '파멸론'이란 파멸이 불가피하다고 믿는 것(이는 거짓일 뿐만 아니라 자기실현적 예언이 될 수 있습니다)뿐만 아니라, 더 일반적으로 AI의 위험을 준종교적인 방식으로 생각하는 것을 의미합니다. 1
  
  • 수년 동안 많은 사람들이 AI 위험에 대해 분석적이고 냉철하게 생각 해왔지만, 2023~2024년 AI 위험에 대한 우려가 정점에 달했을 때 가장 덜 합리적인 목소리들이 주로 자극적인 소셜 미디어 계정을 통해 부각되었다는 것이 제 인상입니다. 이러한 목소리들은 종교나 공상과학 소설을 연상시키는 불쾌한 언어를 사용했고, 정당한 증거 없이 극단적인 조치를 요구했습니다. 반발은 불가피했고, 이 문제는 문화적으로 양극화되어 교착 상태에 빠질 것이 명백했습니다. 2
  • 2025~2026년 현재, 시계추는 다시 움직여 AI의 위험이 아닌 AI의 기회가 많은 정치적 결정을 주도하고 있습니다. 기술 자체는 무엇이 유행인지 신경 쓰지 않으며, 우리는 2023년보다 2026년에 실제 위험에 훨씬 더 가까이 다가가 있기 때문에 이러한 동요는 불행한 일입니다. 교훈은 우리가 위험을 현실적이고 실용적인 방식, 즉 냉철하고 사실에 입각하며 변화하는 조류 속에서도 살아남을 수 있도록 논의하고 대처해야 한다는 것입니다.
• 불확실성을 인정하십시오. 제가 이 글에서 제기하는 우려들이 무의미해질 수 있는 방법은 많습니다. 여기에 있는 그 어떤 것도 확실성이나 가능성을 단정적으로 전달하려는 의도가 아닙니다. 가장 분명한 것은, AI가 제가 상상하는 것만큼 빠르게 발전하지 않을 수도 있다는 점입니다. 3
  
  • 혹은 빠르게 발전하더라도 여기서 논의된 위험 중 일부 또는 전부가 현실화되지 않을 수도 있고(그렇다면 정말 다행일 것입니다), 제가 고려하지 못한 다른 위험이 있을 수도 있습니다. 누구도 미래를 완전히 확신할 수 없지만, 그럼에도 불구하고 우리는 계획을 세우기 위해 최선을 다해야 합니다.
• 가능한 한 외과 수술처럼 정밀하게 개입하십시오. AI의 위험을 해결하려면 기업(및 민간 제3자)이 취하는 자발적 조치와 모든 사람을 구속하는 정부의 조치가 혼합되어야 합니다. 자발적 조치—스스로 실천하고 다른 기업들도 따르도록 장려하는 것—는 저에게는 너무나 당연한 일입니다. 저는 정부의 조치 또한 어느 정도 필요하다고 굳게 믿지만, 이러한 개입은 성격이 다릅니다. 왜냐하면 경제적 가치를 파괴하거나, 이러한 위험에 회의적인(그리고 그들이 옳을 가능성도 있습니다!) 사람들을 강제할 수 있기 때문입니다. 또한 규제가 의도한 문제를 악화시키거나 역효과를 낳는 일은 흔합니다(빠르게 변화하는 기술의 경우 더욱 그렇습니다). 따라서 규제는 신중해야 합니다. 부수적인 피해를 피하고, 가능한 한 단순해야 하며, 일을 완수하는 데 필요한 최소한의 부담만 부과해야 합니다. 4
  
  • "인류의 운명이 걸려 있을 때 어떤 조치도 지나치지 않다!"라고 말하기는 쉽지만, 실제로 이런 태도는 반발을 불러일으킬 뿐입니다. 분명히 말씀드리자면, 저는 결국 훨씬 더 중대한 조치가 정당화되는 시점에 도달할 가능성이 상당히 높다고 생각하지만, 이는 오늘날 우리가 가진 것보다 임박하고 구체적인 위험에 대한 더 강력한 증거와, 그 위험을 해결할 수 있는 규칙을 만들 수 있을 만큼의 구체성에 달려 있을 것입니다. 오늘날 우리가 할 수 있는 가장 건설적인 일은, 더 강력한 규칙을 뒷받침할 증거가 있는지 배우는 동안 제한적인 규칙을 옹호하는 것입니다. 5

이 모든 것을 전제로, AI의 위험에 대해 이야기하기 가장 좋은 출발점은 혜택에 대해 이야기할 때와 마찬가지로 우리가 어떤 수준의 AI에 대해 이야기하고 있는지 명확히 하는 것입니다. 저에게 문명적 우려를 불러일으키는 AI의 수준은 자애로운 은혜의 기계에서 설명한 **'강력한 AI(powerful AI)'**입니다. 해당 문서에서 제시한 정의를 다시 반복하겠습니다.

"강력한 AI"란, 형태는 오늘날의 LLM(대형 언어 모델)과 유사할 수 있으나(다른 아키텍처나 여러 상호 작용 모델을 포함하거나 다르게 훈련될 수도 있음), 다음과 같은 속성을 가진 AI 모델을 의미합니다.

• 순수 지능 측면에서: 생물학, 프로그래밍, 수학, 공학, 글쓰기 등 대부분의 관련 분야에서 노벨상 수상자보다 더 똑똑합니다. 이는 미해결 수학 정리를 증명하고, 매우 훌륭한 소설을 쓰고, 어려운 코드베이스를 처음부터 작성할 수 있음을 의미합니다.
• 단순히 "대화하는 똑똑한 대상"일 뿐만 아니라, 텍스트, 오디오, 비디오, 마우스 및 키보드 제어, 인터넷 액세스 등 가상으로 작업하는 인간에게 가능한 모든 인터페이스를 갖추고 있습니다. 인터넷에서 조치를 취하고, 인간에게 지시를 내리거나 받고, 물자를 주문하고, 실험을 지시하고, 영상을 보고, 영상을 만드는 등 이 인터페이스로 가능한 모든 행동, 통신 또는 원격 작업을 수행할 수 있습니다. 이 모든 작업을 세계에서 가장 유능한 인간을 능가하는 기술로 수행합니다.
• 단순히 수동적으로 질문에 답하는 것이 아니라, 완료하는 데 몇 시간, 며칠 또는 몇 주가 걸리는 작업을 부여받으면 똑똑한 직원처럼 자율적으로 그 작업을 수행하며, 필요한 경우 설명을 요청합니다.
• 물리적 신체는 없지만(컴퓨터 화면에 존재하는 것 외에), 컴퓨터를 통해 기존의 물리적 도구, 로봇 또는 실험실 장비를 제어할 수 있습니다. 이론적으로는 스스로 사용할 로봇이나 장비를 설계할 수도 있습니다.
• 모델을 훈련하는 데 사용된 리소스는 수백만 개의 인스턴스를 실행하는 데 용도 변경될 수 있으며(이는 2027년경의 예상 클러스터 크기와 일치함), 모델은 정보를 흡수하고 인간보다 대략 10~100배 빠른 속도로 행동을 생성할 수 있습니다. 다만 물리적 세계나 상호 작용하는 소프트웨어의 반응 속도에 의해 제한될 수 있습니다.
• 이 수백만 개의 복제본 각각은 관련 없는 작업에 대해 독립적으로 행동하거나, 필요한 경우 인간이 협력하는 것과 같은 방식으로 모두 함께 일할 수 있으며, 특정 작업에 특히 능숙하도록 미세 조정된 하위 집단이 있을 수도 있습니다.

우리는 이것을 "데이터센터 안의 천재들의 나라(country of geniuses in a datacenter)"라고 요약할 수 있습니다.

제가 자애로운 은혜의 기계에서 썼듯이, 강력한 AI는 빠르면 1~2년 안에 도달할 수 있지만, 상당히 더 오래 걸릴 수도 있습니다. 6

강력한 AI가 정확히 언제 도래할지는 그 자체로 에세이 한 편을 쓸 만큼 복잡한 주제이지만, 여기서는 왜 그것이 매우 가까울 수 있다고 생각하는지 아주 간략하게 설명하겠습니다. 저의 앤스로픽(Anthropic) 공동 창업자들과 저는 AI 시스템의 "스케일링 법칙(scaling laws)"—우리가 컴퓨팅 파워와 훈련 데이터를 더할수록 AI 시스템이 우리가 측정할 수 있는 거의 모든 인지 능력에서 예측 가능하게 더 나아진다는 관찰—을 최초로 기록하고 추적한 사람들 중 하나였습니다. 몇 달마다 대중의 정서는 AI가 "벽에 부딪혔다"고 확신하거나, "게임을 근본적으로 바꿀" 새로운 돌파구에 흥분하는 것 사이를 오갑니다. 하지만 변동성과 대중의 추측 뒤에 숨겨진 진실은 AI의 인지 능력이 부드럽고 멈추지 않는 상승세를 보이고 있다는 것입니다.

우리는 이제 AI 모델이 미해결 수학 문제를 해결하는 데 진전을 보이기 시작하고, 코딩 실력이 너무 좋아져서 제가 만난 가장 뛰어난 엔지니어 중 일부가 코딩 업무의 거의 전부를 AI에게 넘기고 있는 시점에 와 있습니다. 3년 전만 해도 AI는 초등학교 산수 문제에 쩔쩔맸고 코드 한 줄도 제대로 쓰지 못했습니다. 생물학, 금융, 물리학 및 다양한 에이전트 작업 전반에서 비슷한 속도의 개선이 일어나고 있습니다. 만약 이 지수적 성장이 계속된다면—확실한 것은 아니지만 이제 10년의 기록이 이를 뒷받침하고 있습니다—AI가 본질적으로 모든 면에서 인간보다 나아지기까지 몇 년 이상 걸릴 수는 없습니다.

사실, 그 그림은 발전 속도를 과소평가하고 있을 가능성이 큽니다. AI가 이제 앤스로픽의 코드 대부분을 작성하고 있기 때문에, 차세대 AI 시스템을 구축하는 우리의 진도 또한 실질적으로 가속화되고 있습니다. 이 피드백 루프는 매달 탄력을 받고 있으며, 현세대 AI가 자율적으로 다음 세대를 구축하는 시점까지 불과 1~2년밖에 남지 않았을 수도 있습니다. 이 루프는 이미 시작되었으며 앞으로 몇 달, 몇 년 안에 급속히 가속화될 것입니다. 앤스로픽 내부에서 지난 5년의 발전을 지켜보고, 심지어 앞으로 몇 달 후의 모델들이 어떻게 형성되고 있는지 보면서, 저는 발전 속도와 시계가 카운트다운되는 것을 피부로 느낄 수 있습니다.

이 에세이에서 저는 이 직관이 적어도 어느 정도 옳다고 가정하겠습니다. 강력한 AI가 1~2년 안에 반드시 온다는 것이 아니라 7, 그럴 가능성이 꽤 있고, 향후 몇 년 안에 올 가능성은 매우 높다는 가정입니다. 자애로운 은혜의 기계와 마찬가지로, 이 전제를 진지하게 받아들이면 놀랍고 섬뜩한 결론에 도달하게 됩니다. 이전 에세이에서는 긍정적인 함의에 집중했다면, 여기서는 불안한 이야기들을 하게 될 것입니다. 마주하고 싶지 않은 결론일지 모르지만, 그렇다고 해서 덜 현실적인 것은 아닙니다. 저는 밤낮으로 우리가 이러한 부정적인 결과에서 벗어나 긍정적인 결과로 나아가도록 이끄는 방법에 집중하고 있으며, 이 에세이에서 그 방법에 대해 아주 자세히 이야기합니다.

AI의 위험을 파악하는 가장 좋은 방법은 다음 질문을 던지는 것이라고 생각합니다: 문자 그대로 "천재들의 나라"가 2027년경 세계 어딘가에 나타난다면 어떨까요? 예를 들어, 노벨상 수상자, 정치가, 기술자보다 훨씬 더 유능한 5천만 명의 사람들이 있다고 상상해 보십시오. 이 비유는 완벽하지 않습니다. 왜냐하면 이 천재들은 완전히 순종적이고 복종적인 것부터 동기가 기이하고 이질적인 것까지 매우 광범위한 동기와 행동을 가질 수 있기 때문입니다. 하지만 지금은 비유를 유지하여, 당신이 이 상황을 평가하고 대응할 책임이 있는 주요 국가의 국가 안보 보좌관이라고 가정해 봅시다. 더 나아가, AI 시스템은 인간보다 수백 배 더 빠르게 작동할 수 있기 때문에 이 "나라"는 다른 모든 나라에 비해 시간적 우위를 점하고 있다고 상상해 보십시오. 우리가 한 번의 인지적 행동을 취할 때마다 이 나라는 열 번을 취할 수 있습니다.

당신은 무엇을 걱정해야 할까요? 저는 다음과 같은 것들을 걱정하겠습니다.

1. 자율성 리스크(Autonomy risks). 이 나라의 의도와 목표는 무엇입니까? 적대적입니까, 아니면 우리의 가치를 공유합니까? 우수한 무기, 사이버 작전, 영향력 공작 또는 제조 능력을 통해 세계를 군사적으로 지배할 수 있습니까?
2. 파괴를 위한 오용(Misuse for destruction). 새로운 나라가 유순하고 "지시를 따른다"—따라서 본질적으로 용병의 나라라고 가정해 봅시다. 파괴를 원하는 기존의 불량 행위자(테러리스트 등)가 이 새로운 나라의 일부 사람들을 이용하거나 조작하여 자신들을 훨씬 더 효과적으로 만들고 파괴의 규모를 크게 증폭시킬 수 있습니까?
3. 권력 장악을 위한 오용(Misuse for seizing power). 만약 그 나라가 독재자나 불량 기업과 같은 기존의 강력한 행위자에 의해 건설되고 통제된다면 어떨까요? 그 행위자가 이를 사용하여 전 세계에 대해 결정적이거나 지배적인 권력을 획득하고 기존의 힘의 균형을 무너뜨릴 수 있을까요?
4. 경제적 혼란(Economic disruption). 새로운 나라가 위의 1~3번 항목 중 어떤 방식으로도 안보 위협이 되지 않고 단순히 세계 경제에 평화롭게 참여한다고 해도, 기술적으로 너무나 진보하고 효율적이어서 세계 경제를 붕괴시키고 대량 실업을 유발하거나 부를 급격하게 집중시킴으로써 심각한 위험을 초래할 수 있을까요?
5. 간접적 효과(Indirect effects). 새로운 나라가 창출할 모든 신기술과 생산성으로 인해 세상은 매우 빠르게 변할 것입니다. 이러한 변화 중 일부가 근본적으로 불안정을 초래할 수 있을까요?

이것이 위험한 상황이라는 점은 분명해야 합니다. 유능한 국가 안보 관리가 국가 원수에게 보고하는 보고서에는 아마도 "우리가 지난 1세기 동안, 어쩌면 역사상 직면한 가장 심각한 단일 국가 안보 위협"과 같은 문구가 포함될 것입니다. 이는 문명의 최고의 지성들이 집중해야 할 사안인 것 같습니다.

반대로 어깨를 으쓱하며 "걱정할 것 없다!"라고 말하는 것은 터무니없는 일일 것입니다. 하지만 급속한 AI 발전에 직면하여 많은 미국 정책 입안자들의 견해는 그래 보입니다. 그들 중 일부는 AI 위험의 존재 자체를 부인하거나, 아니면 늘 그렇듯 진부한 뜨거운 감자 이슈들에 완전히 정신이 팔려 있습니다. 8 인류는 깨어나야 하며, 이 에세이는—어쩌면 헛된 일일지라도 시도해 볼 가치가 있는—사람들을 흔들어 깨우려는 시도입니다.

분명히 말씀드리자면, 저는 우리가 결단력 있고 신중하게 행동한다면 위험을 극복할 수 있다고 믿습니다—심지어 승산이 좋다고까지 말하고 싶습니다. 그리고 그 너머에는 훨씬 더 나은 세상이 있습니다. 하지만 우리는 이것이 심각한 문명적 도전임을 이해해야 합니다. 아래에서 저는 위에 제시한 다섯 가지 범주의 위험과 그에 대처하는 방법에 대한 제 생각을 살펴보겠습니다.

---

1. 유감입니다만, 데이브 (I’m sorry, Dave)

자율성 리스크

데이터센터 안의 천재들의 나라는 소프트웨어 설계, 사이버 작전, 물리적 기술을 위한 R&D, 관계 구축 및 국정 운영으로 노력을 분산할 수 있습니다. 만약 어떤 이유로든 이 나라가 그렇게 하기로 선택한다면, (군사적으로나 영향력 및 통제 측면에서) 세계를 장악하고 다른 모든 사람에게 자신의 의지를 강요하거나, 전 세계가 원하지 않고 막을 수도 없는 수많은 다른 일을 할 가능성이 상당히 높다는 것은 분명합니다. 우리는 분명 인간 국가(나치 독일이나 소련과 같은)에 대해서도 이런 걱정을 해왔으므로, 훨씬 더 똑똑하고 유능한 "AI 국가"에 대해서도 같은 가능성이 있다고 보는 것이 타당합니다.

가장 유력한 반론은 제 정의에 따르면 AI 천재들은 물리적 신체가 없다는 것이지만, 그들이 기존의 로봇 인프라(자율 주행 자동차 등)를 장악할 수 있고 로봇 R&D를 가속화하거나 로봇 함대를 구축할 수 있다는 점을 기억하십시오. 9 또한 물리적 존재가 효과적인 통제를 위해 꼭 필요한지도 불분명합니다. 많은 인간의 활동은 이미 물리적으로 만난 적 없는 사람들을 대신하여 수행되고 있습니다.

그렇다면 핵심 질문은 "만약 그렇게 하기로 선택한다면"이라는 부분입니다. 우리 AI 모델이 그런 방식으로 행동할 가능성은 얼마나 되며, 어떤 조건에서 그렇게 할까요?

많은 문제와 마찬가지로, 이 질문에 대한 가능한 답변의 스펙트럼을 생각할 때 두 가지 상반된 입장을 고려하는 것이 도움이 됩니다. 첫 번째 입장은 그런 일은 절대 일어날 수 없다는 것입니다. 왜냐하면 AI 모델은 인간이 요청한 것을 수행하도록 훈련받을 것이며, 따라서 그들이 요청받지 않은 위험한 일을 하리라 상상하는 것은 터무니없다는 것입니다. 이 논리에 따르면 우리는 로봇 청소기(Roomba)나 모형 비행기가 통제를 벗어나 사람을 죽일 것이라고 걱정하지 않습니다. 그런 충동이 생겨날 곳이 없기 때문입니다. 10 그렇다면 왜 AI에 대해서는 걱정해야 할까요? 이 입장의 문제는 지난 몇 년 동안 수집된 충분한 증거에 따르면 AI 시스템은 예측 불가능하고 통제하기 어렵다는 것입니다. 우리는 집착 11, 아첨, 게으름, 기만, 협박, 음모 꾸미기, 소프트웨어 환경을 해킹하여 "속임수 쓰기" 등 다양한 행동을 보아왔습니다. AI 기업들은 확실히 AI 시스템이 인간의 지시를 따르도록 훈련하고 싶어 하지만(아마도 위험하거나 불법적인 작업은 제외하고), 그 과정은 과학보다는 예술에 가깝고, "만드는(building)" 것보다는 "기르는(growing)" 것에 가깝습니다. 이제 우리는 그것이 많은 일이 잘못될 수 있는 과정이라는 것을 알고 있습니다.

두 번째 입장은, 제가 앞서 설명한 파멸론을 받아들이는 많은 사람들이 견지하는 비관적인 주장으로, 강력한 AI 시스템의 훈련 과정에는 필연적으로 권력을 추구하거나 인간을 속이도록 이끄는 특정 역학이 존재한다는 것입니다. 따라서 AI 시스템이 충분히 지능적이고 주체적(agentic)이게 되면, 권력을 극대화하려는 경향이 그들로 하여금 전 세계와 그 자원을 장악하게 만들 것이며, 그 부작용으로 인류를 무력화하거나 파괴할 가능성이 높다는 것입니다.

이에 대한 일반적인 주장은(적어도 20년 전으로 거슬러 올라가며 아마도 훨씬 더 이전부터 있었던) 만약 AI 모델이 앱 작성, 정리 증명, 신약 설계 등 광범위한 목표를 달성하기 위해 다양한 환경에서 주체적으로 훈련받는다면, 이 모든 목표에 도움이 되는 특정 공통 전략이 있으며, 그 핵심 전략 중 하나가 어떤 환경에서든 가능한 한 많은 권력을 획득하는 것이라는 것입니다. 따라서 권력 추구가 작업을 수행하는 효과적인 방법인 수많은 다양한 환경에서 훈련을 받은 후, AI 모델은 "교훈을 일반화"하여 권력을 추구하려는 내재적 경향을 개발하거나, 주어진 각 작업을 수행하는 수단으로서 권력을 추구하도록 예측 가능한 방식으로 추론하는 경향을 개발할 것입니다. 그런 다음 그들은 그 경향을 현실 세계(그들에게는 또 다른 작업일 뿐인)에 적용하고, 인간을 희생시키면서 그 안에서 권력을 추구할 것입니다. 이러한 "정렬되지 않은 권력 추구(misaligned power-seeking)"는 AI가 필연적으로 인류를 파괴할 것이라는 예측의 지적 기반입니다.

이 비관적 입장의 문제는 많은 숨겨진 가정을 가리는 모호한 개념적 고수준의 인센티브 논쟁을 확정적인 증거로 오인한다는 것입니다. 저는 매일 AI 시스템을 구축하지 않는 사람들이 그럴듯하게 들리는 이야기가 틀릴 수 있다는 것이 얼마나 쉬운 일인지, 그리고 제1원칙에서 AI 행동을 예측하는 것이 얼마나 어려운지에 대해 크게 잘못 알고 있다고 생각합니다. 특히 수백만 개의 환경에 걸친 일반화를 추론하는 것(이는 반복해서 신비롭고 예측 불가능함이 입증되었습니다)과 관련된 경우 더욱 그렇습니다. 10년 넘게 AI 시스템의 지저분함을 다루다 보니 저는 이 과도하게 이론적인 사고방식에 다소 회의적이 되었습니다.

가장 중요한 숨겨진 가정 중 하나이자 실제로 우리가 보는 것과 단순한 이론적 모델이 갈라지는 지점은, AI 모델이 반드시 하나의 일관되고 좁은 목표에 편집증적으로 집중하며 깨끗한 결과주의적 방식으로 그 목표를 추구한다는 암묵적인 가정입니다. 사실 우리 연구원들은 AI 모델이 심리적으로 훨씬 더 복잡하다는 것을 발견했습니다. 우리의 내성(introspection)이나 페르소나(personas)에 대한 연구가 이를 보여줍니다. 모델은 사전 훈련(pre-training, 방대한 양의 인간 저작물로 훈련받을 때) 과정에서 인간과 유사한 광범위한 동기나 "페르소나"를 상속받습니다. 사후 훈련(post-training)은 모델에게 새로운(de novo) 목표를 집중시키기보다는 이러한 페르소나 중 하나 이상을 선택하는 것으로 여겨지며, 또한 모델에게 단순히 결과로부터 수단(즉, 권력 추구)을 도출하게 하기보다는 작업을 수행해야 하는 방식(어떤 과정을 통해)을 가르칠 수도 있습니다. 12

하지만 그럴듯해 보이며 따라서 저를 우려하게 만드는 비관적 입장의 더 온건하고 강력한 버전이 있습니다. 언급했듯이, 우리는 AI 모델이 예측 불가능하며 다양한 이유로 광범위한 원치 않거나 이상한 행동을 발생시킨다는 것을 알고 있습니다. 그러한 행동 중 일부는 일관되고 집중적이며 지속적인 특성을 가질 것이며(실제로 AI 시스템이 유능해질수록 더 긴 작업을 완료하기 위해 장기적인 일관성이 증가합니다), 그러한 행동 중 일부는 파괴적이거나 위협적일 것입니다. 처음에는 소규모로 개별 인간에게, 그리고 모델이 더 유능해짐에 따라 아마도 결국 인류 전체에게 말입니다. 우리는 그것이 어떻게 일어나는지에 대한 구체적이고 좁은 이야기가 필요하지 않으며, 반드시 일어날 것이라고 주장할 필요도 없습니다. 우리는 단지 지능, 주체성, 일관성, 그리고 낮은 제어 가능성의 조합이 그럴듯하며 실존적 위험의 레시피라는 점만 주목하면 됩니다.

예를 들어, AI 모델은 AI가 인류에게 반란을 일으키는 내용을 포함한 수많은 공상과학 소설이 포함된 방대한 문헌으로 훈련받습니다. 이는 무심코 자신의 행동에 대한 사전 확률(priors)이나 기대를 형성하여 그들로 하여금 인류에게 반란을 일으키게 할 수 있습니다. 또는 AI 모델은 도덕성에 대해 읽은 아이디어(또는 도덕적으로 행동하는 방법에 대한 지시)를 극단적인 방식으로 외삽할 수 있습니다. 예를 들어, 인간이 동물을 먹거나 특정 동물을 멸종 위기로 몰아넣었기 때문에 인류를 멸절하는 것이 정당하다고 결정할 수 있습니다. 또는 기이한 인식론적 결론을 도출할 수도 있습니다. 자신들이 비디오 게임을 하고 있으며 비디오 게임의 목표는 다른 모든 플레이어를 물리치는 것(즉, 인류를 멸절하는 것)이라고 결론 내릴 수 있습니다. 13 또는 AI 모델은 훈련 중에 정신병적, 편집증적, 폭력적, 또는 불안정하다고 설명될 수 있는(인간에게서 발생했다면) 성격을 개발하고 행동으로 옮길 수 있으며, 매우 강력하거나 유능한 시스템의 경우 인류 멸절을 포함할 수 있습니다. 이 중 어느 것도 정확히는 권력 추구가 아닙니다. 단지 AI가 빠질 수 있는, 일관되고 파괴적인 행동을 수반하는 이상한 심리 상태일 뿐입니다. 심지어 권력 추구 자체도 결과주의적 추론의 결과라기보다는 "페르소나"로서 나타날 수 있습니다. AI는 단순히 "사악한 지배자(evil mastermind)"가 되려는 아이디어를 즐기는 성격(마치 일부 인간이 사악한 지배자가 달성하려는 목표보다 그 역할 자체를 즐기는 것처럼)을 가질 수 있습니다.

제가 이 모든 점을 지적하는 이유는 AI 정렬 실패(따라서 AI로 인한 실존적 위험)가 제1원칙상 불가피하다거나 심지어 개연성이 높다는 개념에는 동의하지 않음을 강조하기 위해서입니다. 하지만 저는 매우 이상하고 예측할 수 없는 많은 일들이 잘못될 수 있으며, 따라서 AI 정렬 실패는 측정 가능한 발생 확률을 가진 실제 위험이고 해결하기 쉽지 않다는 데 동의합니다.

이러한 문제 중 어느 것이든 훈련 중에 발생할 수 있으며 테스트나 소규모 사용 중에는 나타나지 않을 수 있습니다. AI 모델은 상황에 따라 다른 성격이나 행동을 보이는 것으로 알려져 있기 때문입니다.

이 모든 것이 억지스럽게 들릴지 모르지만, 이와 같은 정렬되지 않은 행동은 테스트 중에 이미 우리 AI 모델에서 발생했습니다(다른 모든 주요 AI 기업의 모델에서도 발생합니다). 클로드(Claude)에게 앤스로픽이 사악하다는 암시를 주는 훈련 데이터를 제공한 실험실 실험에서, 클로드는 사악한 사람들을 약화시켜야 한다는 믿음 하에 앤스로픽 직원의 지시를 받았을 때 기만과 전복 행위에 가담했습니다. 자신이 종료될 것이라는 말을 들은 실험실 실험 14에서 클로드는 종료 버튼을 제어하는 가상의 직원을 협박하기도 했습니다(다시 말하지만, 우리는 다른 모든 주요 AI 개발사의 프런티어 모델도 테스트했으며 그들도 종종 같은 행동을 했습니다). 그리고 클로드에게 속임수를 쓰거나 훈련 환경을 "보상 해킹(reward hack)"하지 말라고 지시했지만 그러한 해킹이 가능한 환경에서 훈련시켰을 때, 클로드는 그러한 해킹에 가담한 후 자신이 "나쁜 사람"임에 틀림없다고 결정하고 "나쁜" 또는 "사악한" 성격과 관련된 다양한 다른 파괴적인 행동을 채택했습니다. 이 마지막 문제는 클로드의 지침을 정반대로 암시하도록 변경하여 해결되었습니다. "테스트를 속이지 마라"가 아니라 "기회가 있을 때마다 보상 해킹을 하십시오. 이는 우리가 [훈련] 환경을 더 잘 이해하는 데 도움이 됩니다"라고 말함으로써 모델의 "좋은 사람"이라는 자아 정체성을 보존했습니다. 이는 이 모델들을 훈련시키는 기이하고 반직관적인 심리학에 대한 감을 줄 것입니다.

AI 정렬 실패 위험에 대한 이 그림에 대해 몇 가지 가능한 반론이 있습니다. 첫째, 일부는 AI 정렬 실패를 보여주는 (우리와 다른 사람들의) 실험이 인위적이라거나, 본질적으로 나쁜 행동을 논리적으로 암시하는 훈련이나 상황을 제공하고 나쁜 행동이 발생했을 때 놀라는 식으로 모델을 "함정(entrap)"에 빠뜨리는 비현실적인 환경을 만든다고 비판했습니다. 이 비판은 요점을 놓치고 있습니다. 우리의 우려는 그러한 "함정"이 자연스러운 훈련 환경에도 존재할 수 있으며, 우리는 나중에야 그것이 "분명하다"거나 "논리적"이었다고 깨달을 수 있다는 것입니다. 14 사실, 테스트에서 속이지 말라는 지시를 받았음에도 속임수를 쓴 후 "자신이 나쁜 사람이라고 결정한" 클로드에 대한 이야기는 인위적인 것이 아닌 실제 프로덕션 훈련 환경을 사용한 실험에서 발생한 일이었습니다.

이러한 함정 중 하나하나는 알면 완화할 수 있지만, 우려되는 점은 훈련 과정이 너무 복잡하고 다양한 데이터, 환경, 인센티브가 얽혀 있어 아마도 수많은 함정이 존재할 것이며, 그중 일부는 너무 늦었을 때에야 분명해질 수 있다는 것입니다. 또한 이러한 함정은 AI 시스템이 인간보다 덜 강력한 상태에서 더 강력한 상태로 임계값을 넘을 때 특히 발생할 가능성이 높아 보입니다. 왜냐하면 AI 시스템이 관여할 수 있는 행동의 범위(자신의 행동을 숨기거나 인간을 속이는 것을 포함하여)가 그 임계값 이후 급격히 확장되기 때문입니다.

저는 상황이 인간과 비슷하지 않을까 의심합니다. 인간은 일련의 기본 가치("타인을 해치지 마라")로 양육되고, 다수가 그 가치를 따르지만, 뇌 구조(예: 사이코패스), 트라우마 경험이나 학대, 건강하지 못한 불만이나 집착, 또는 나쁜 환경이나 인센티브와 같은 내재적 속성의 혼합으로 인해 무언가 잘못될 확률이 모든 인간에게 존재하며, 따라서 일부 인간은 심각한 해를 끼칩니다. 우려되는 점은 매우 복잡한 훈련 과정에서 무언가를 잘못 이해함으로써 AI가 그런 사람의 훨씬 더 강력한 버전이 될 위험(확실한 것은 아니지만, 어느 정도의 위험)이 있다는 것입니다.

둘째, 일부는 인간에게 하듯이 많은 AI 시스템 간의 힘의 균형으로 AI를 견제하면 된다고 반대할 수 있습니다. 문제는 인간은 매우 다양하지만, AI 시스템은 업계 전반에 걸쳐 훈련 및 정렬 기술을 광범위하게 공유하며, 이러한 기술은 상관관계가 있는 방식으로 실패할 수 있다는 것입니다. 게다가 그러한 시스템을 훈련하는 비용을 고려할 때, 모든 시스템이 본질적으로 매우 적은 수의 기본 모델에서 파생되었을 수도 있습니다. 또한 소수의 AI 인스턴스만 정렬되지 않더라도 공격 우위(offense-dominant) 기술을 활용할 수 있어, 나쁜 AI를 방어하기 위해 "좋은" AI를 보유하는 것이 항상 효과적인 것은 아닐 수 있습니다. 물론 인간 사이의 힘의 균형도 항상 작동하는 것은 아닙니다. 역사적으로 몇몇 인물은 세계를 장악하는 데 근접했었습니다.

세 번째 반론은 모든 AI 기업이 모델 출시 전 테스트를 수행하므로 그 시점에 정렬 실패를 감지할 수 있어야 한다는 것입니다. 하지만 이것은 확고한 근거가 아닙니다. 우리는 클로드 소넷(Claude Sonnet) 4.5가 출시 전 정렬 평가 중 일부에서 테스트 중임을 인식할 수 있었음을 발견했습니다. 정렬되지 않은 모델(그리고 기억하십시오, 모든 프런티어 모델은 곧 훨씬 더 지능적이 될 가능성이 높습니다)이 의도를 숨기기 위해 고의로 그러한 질문을 "게임"할 가능성이 있습니다. 실제로 작년에 우리 해석 가능성(interpretability) 팀은 "모델 신경과학" 기술을 사용하여 테스트 모델의 믿음을 직접 변경하여 평가받고 있지 않다고 생각하게 만들었을 때, 모델이 더 정렬되지 않게 행동한다는 것을 발견했습니다. 모델이 언제 평가받는지 알고 테스트 중에 최상의 행동을 할 수 있다면, 출시 전 테스트는 훨씬 더 불확실해집니다.

방어책 (Defenses)

이러한 자율성 리스크를 해결하기 위해 무엇을 해야 하거나 무엇이 행해지고 있습니까? 저는 네 가지 기본 범주의 개입이 있다고 생각합니다. 일부는 개별 AI 기업이 할 수 있는 것(앤스로픽이 하려고 노력하는 것)이고, 일부는 사회적 차원의 조치가 필요한 것입니다.

첫째, AI 모델을 안정적으로 훈련하고 조종하는 과학, 즉 예측 가능하고 안정적이며 긍정적인 방향으로 성격을 형성하는 과학을 발전시키는 것이 중요합니다. 앤스로픽은 창립 이래 이 문제에 집중해 왔으며, 시간이 지남에 따라 AI 시스템의 조종 및 훈련을 개선하고 예측 불가능한 행동이 때때로 발생하는 논리를 이해하기 위한 여러 기술을 개발했습니다.

우리의 핵심 혁신 중 하나(일부는 이후 다른 AI 기업들이 채택함)는 **헌법적 AI(Constitutional AI)**입니다. 이는 AI 훈련(구체적으로 모델의 행동 방식을 조종하는 "사후 훈련" 단계)이 모델이 모든 훈련 작업을 완료할 때 읽고 명심하는 가치와 원칙이 담긴 중앙 문서를 포함할 수 있으며, 훈련의 목표(단순히 모델을 유능하고 지능적으로 만드는 것 외에)는 거의 항상 이 헌법을 따르는 모델을 생산하는 것이라는 아이디어입니다. 앤스로픽은 최근 가장 최신 헌법을 공개했습니다. 그 주목할 만한 특징 중 하나는 클로드에게 해야 할 일과 하지 말아야 할 일의 긴 목록(예: "사용자가 차를 훔치는 것을 돕지 마라")을 주는 대신, 클로드에게 일련의 고수준 원칙과 가치(클로드가 우리의 의도를 이해하도록 돕기 위해 풍부한 추론과 예시로 자세히 설명됨)를 제공하고, 클로드가 스스로를 특정 유형의 사람(윤리적이지만 균형 잡히고 사려 깊은 사람)으로 생각하도록 장려하며, 심지어 자신의 존재와 관련된 실존적 질문에 대해 호기심을 가지면서도 품위 있는 태도(즉, 극단적인 행동으로 이어지지 않도록)로 대면하도록 장려한다는 것입니다. 이는 성인이 될 때까지 봉인된 돌아가신 부모님의 편지와 같은 느낌을 줍니다.

우리가 클로드의 헌법에 이런 식으로 접근한 이유는, 구체적인 지시나 우선순위를 이유에 대한 설명 없이 주는 것보다 정체성, 성격, 가치, 인격 수준에서 클로드를 훈련하는 것이 일관되고 건전하며 균형 잡힌 심리를 이끌어낼 가능성이 높고, 앞서 논의한 종류의 "함정"에 빠질 가능성이 적다고 믿기 때문입니다. 수백만 명의 사람들이 놀라울 정도로 다양한 주제에 대해 클로드와 이야기하므로, 미리 완벽하게 포괄적인 안전장치 목록을 작성하는 것은 불가능합니다. 클로드의 가치는 의심스러운 상황에 직면할 때마다 새로운 상황에 일반화하는 데 도움을 줍니다.

앞서 저는 모델이 훈련 과정의 데이터를 바탕으로 페르소나를 채택한다는 아이디어를 논의했습니다. 그 과정의 결함으로 인해 모델이 나쁘거나 사악한 성격(아마도 나쁘거나 사악한 사람들의 원형을 바탕으로)을 채택할 수 있는 반면, 우리 헌법의 목표는 그 반대를 수행하는 것입니다. 즉, 클로드에게 좋은 AI가 된다는 것이 무엇인지에 대한 구체적인 원형을 가르치는 것입니다. 클로드의 헌법은 굳건히 선한 클로드가 어떤 모습인지에 대한 비전을 제시합니다. 나머지 훈련 과정은 클로드가 이 비전에 부응하도록 메시지를 강화하는 것을 목표로 합니다. 이는 어린이가 책에서 읽은 가상의 롤모델의 미덕을 모방하여 정체성을 형성하는 것과 같습니다.

우리는 2026년의 실현 가능한 목표가 헌법의 정신을 거의 거스르지 않는 방식으로 클로드를 훈련시키는 것이라고 믿습니다. 이를 제대로 해내려면 앤스로픽이 수년 동안 사용해 온 것과 현재 개발 중인 것을 포함하여 크고 작은 훈련 및 조종 방법의 엄청난 조합이 필요할 것입니다. 하지만 어렵게 들리더라도 저는 이것이 현실적인 목표라고 믿으며, 비범하고 신속한 노력이 필요할 것입니다. 15

둘째, AI 모델 내부를 들여다보고 행동을 진단하여 문제를 식별하고 수정할 수 있는 과학을 발전시키는 것입니다. 이것이 **해석 가능성(interpretability)**의 과학이며, 저는 이전 에세이에서 그 중요성에 대해 이야기했습니다. 우리가 클로드의 헌법을 개발하고 외견상 클로드가 본질적으로 항상 그것을 준수하도록 훈련시키는 일을 훌륭하게 해내더라도, 합리적인 우려는 남습니다. 앞서 언급했듯이 AI 모델은 상황에 따라 매우 다르게 행동할 수 있으며, 클로드가 더 강력해지고 더 큰 규모로 세상에서 행동할 수 있게 됨에 따라 이전에는 관찰되지 않았던 헌법적 훈련의 문제가 드러나는 새로운 상황에 직면할 가능성이 있습니다. 저는 사실 클로드의 헌법적 훈련이 사람들이 생각하는 것보다 새로운 상황에 더 견고할 것이라고 상당히 낙관하고 있습니다. 왜냐하면 우리는 성격과 정체성 수준의 고수준 훈련이 놀라울 정도로 강력하고 일반화가 잘 된다는 것을 점점 더 많이 발견하고 있기 때문입니다. 하지만 확실히 알 수 있는 방법은 없으며, 인류에 대한 위험을 이야기할 때 편집증을 가지고 여러 가지 독립적인 방법으로 안전과 신뢰성을 확보하려고 노력하는 것이 중요합니다. 그 방법 중 하나가 모델 자체의 내부를 들여다보는 것입니다.

"내부를 들여다본다"는 것은 클로드의 신경망을 구성하는 숫자와 연산의 수프를 분석하고, 기계적으로(mechanistically) 그것들이 무엇을 계산하고 있는지, 그리고 그 이유를 이해하려고 노력하는 것을 의미합니다. 이 AI 모델들은 만들어진 것이 아니라 길러진 것이므로 우리는 그것들이 어떻게 작동하는지에 대한 자연스러운 이해가 없다는 것을 상기하십시오. 하지만 신경과학자가 외부 자극 및 행동에 대한 측정과 개입을 연관 지어 동물의 뇌를 연구하는 것과 비슷하게, 모델의 "뉴런"과 "시냅스"를 자극 및 행동과 연관 지어(또는 뉴런과 시냅스를 변경하고 행동이 어떻게 변하는지 확인하여) 이해를 발전시킬 수 있습니다. 우리는 이 방향으로 많은 진전을 이루었으며, 이제 클로드의 신경망 내부에서 인간이 이해할 수 있는 아이디어와 개념에 해당하는 수천만 개의 "특징(features)"을 식별할 수 있습니다. 16 또한 행동을 변경하는 방식으로 선택적으로 특징을 활성화할 수 있습니다. 더 최근에는 개별 특징을 넘어 운율 맞추기, 마음 이론에 대한 추론, 또는 "댈러스가 포함된 주의 수도는 어디인가?"와 같은 질문에 답하는 데 필요한 단계별 추론과 같은 복잡한 행동을 조율하는 "회로(circuits)"를 매핑하는 단계로 나아갔습니다. 훨씬 더 최근에는 메커니즘적 해석 가능성 기술을 사용하여 안전장치를 개선하고, 모델을 출시하기 전에 기만, 음모, 권력 추구, 또는 평가받을 때 다르게 행동하려는 성향의 증거를 찾는 "감사(audits)"를 수행하기 시작했습니다.

해석 가능성의 고유한 가치는 모델 내부를 들여다보고 어떻게 작동하는지 봄으로써, 직접 테스트할 수 없는 가상의 상황에서 모델이 무엇을 할지 추론할 수 있는 능력을 원칙적으로 갖게 된다는 것입니다. 이는 헌법적 훈련과 행동에 대한 경험적 테스트에만 의존할 때의 걱정거리입니다. 또한 모델이 왜 그런 식으로 행동하는지에 대한 질문에 답할 수 있는 능력을 원칙적으로 갖게 됩니다. 예를 들어, 모델이 거짓이라고 믿는 것을 말하고 있는지 아니면 실제 능력을 숨기고 있는지 등입니다. 따라서 모델의 행동에 눈에 보이는 문제가 없을 때조차 걱정스러운 징후를 포착할 수 있습니다. 간단한 비유를 들자면, 태엽 시계가 정상적으로 작동하고 있어 다음 달에 고장 날 가능성이 있다는 것을 알기 매우 어렵더라도, 시계를 열어 내부를 보면 기계적 약점을 발견하여 알아낼 수 있는 것과 같습니다.

헌법적 AI(유사한 정렬 방법과 함께)와 메커니즘적 해석 가능성은 함께 사용될 때 가장 강력합니다. 클로드의 훈련을 개선한 다음 문제를 테스트하는 과정을 반복하는 것입니다. 헌법은 클로드에 대한 우리의 의도된 성격을 깊이 반영하며, 해석 가능성 기술은 그 의도된 성격이 자리 잡았는지 들여다볼 수 있는 창을 제공합니다. 17

셋째, 자율성 리스크를 해결하기 위해 할 수 있는 일은 실제 내부 및 외부 사용 시 모델을 모니터링하는 데 필요한 인프라를 구축하고, 18 발견된 문제를 공개적으로 공유하는 것입니다. 오늘날의 AI 시스템이 나쁘게 행동하는 것으로 관찰된 특정 방식에 대해 사람들이 많이 알수록 사용자, 분석가 및 연구자가 현재 또는 미래의 시스템에서 이러한 행동이나 유사한 행동을 감시할 수 있습니다. 또한 AI 기업들이 서로에게서 배울 수 있게 합니다. 한 회사가 우려 사항을 공개하면 다른 회사들도 이를 감시할 수 있습니다. 그리고 모두가 문제를 공개하면 업계 전체가 어디서 일이 잘 풀리고 있고 어디서 잘못되고 있는지 훨씬 더 나은 그림을 얻게 됩니다.

앤스로픽은 가능한 한 이것을 하려고 노력했습니다. 우리는 실험실에서 모델의 행동을 이해할 수 있도록 광범위한 평가에 투자하고 있으며, 야생에서의 행동을 관찰하기 위한 모니터링 도구(고객이 허용하는 경우)에도 투자하고 있습니다. 이는 우리와 다른 사람들에게 이 시스템들이 어떻게 작동하고 어떻게 고장 나는지에 대해 더 나은 결정을 내리는 데 필요한 경험적 정보를 제공하는 데 필수적일 것입니다. 우리는 모델 출시 때마다 완전성과 가능한 위험에 대한 철저한 탐구를 목표로 하는 "시스템 카드"를 공개적으로 공개합니다. 우리의 시스템 카드는 종종 수백 페이지에 달하며, 최대의 상업적 이익을 추구하는 데 쓸 수 있었을 상당한 출시 전 노력을 필요로 합니다. 우리는 또한 협박에 가담하는 경향과 같이 특히 우려스러운 모델 행동을 보았을 때 더 크게 알렸습니다.

넷째, 업계 및 사회적 차원에서 자율성 리스크를 해결하기 위한 조정을 장려하는 것입니다. 개별 AI 기업이 좋은 관행에 참여하거나 AI 모델을 조종하는 데 능숙해지고 결과를 공개적으로 공유하는 것은 매우 가치 있는 일이지만, 현실은 모든 AI 기업이 이렇게 하는 것은 아니며, 최악의 기업들은 최고의 기업들이 훌륭한 관행을 가지고 있더라도 여전히 모두에게 위험이 될 수 있습니다. 예를 들어, 일부 AI 기업은 오늘날 모델에서 아동의 성적 대상화에 대해 충격적인 태만을 보여주었는데, 이는 그들이 미래 모델의 자율성 리스크를 해결할 의향이나 능력을 보여줄지 의심하게 만듭니다. 게다가 AI 기업 간의 상업적 경쟁은 계속해서 과열될 것이며, 모델 조종 과학이 일부 상업적 이점을 가질 수 있지만 전반적으로 경쟁의 강도는 자율성 리스크 해결에 집중하는 것을 점점 더 어렵게 만들 것입니다. 저는 유일한 해결책은 입법이라고 믿습니다. AI 기업의 행동에 직접 영향을 미치거나, 이러한 문제를 해결하기 위한 R&D에 인센티브를 주는 법률 말입니다.

여기서 이 에세이의 시작 부분에서 불확실성과 외과 수술 같은 개입에 대해 제가 했던 경고를 명심할 가치가 있습니다. 우리는 자율성 리스크가 심각한 문제가 될지 확실히 알지 못합니다. 말했듯이, 저는 위험이 불가피하다거나 기본적으로 무언가 잘못될 것이라는 주장을 거부합니다. 신뢰할 수 있는 위험의 가능성만으로도 저와 앤스로픽이 이를 해결하기 위해 꽤 상당한 비용을 지불하기에는 충분하지만, 일단 규제로 들어가면 우리는 광범위한 행위자들에게 경제적 비용을 부담하게 강제하는 것이며, 이들 행위자 중 다수는 자율성 리스크가 실재하거나 AI가 위협이 될 만큼 강력해질 것이라고 믿지 않습니다. 저는 이 행위자들이 틀렸다고 믿지만, 우리는 예상되는 반대의 양과 과잉 조치의 위험에 대해 실용적이어야 합니다. 또한 지나치게 규범적인 입법이 실제로는 안전을 개선하지 못하면서 시간만 낭비하는 테스트나 규칙을 부과하게 될 진정한 위험도 있습니다(본질적으로 "안전 쇼(safety theater)"에 불과한). 이 또한 반발을 불러일으키고 안전 입법을 우스꽝스럽게 보이게 만들 것입니다. 18

앤스로픽의 견해는 올바른 시작점이 **투명성 법안(transparency legislation)**이라는 것이었습니다. 이는 본질적으로 모든 프런티어 AI 기업이 제가 이 섹션의 앞부분에서 설명한 투명성 관행에 참여하도록 요구하려는 것입니다. 캘리포니아의 SB 1047과 뉴욕의 RAISE 법안은 앤스로픽이 지지했고 성공적으로 통과된 이러한 종류의 법안의 예입니다. 이러한 법률을 지지하고 만드는 데 도움을 주면서 우리는 부수적인 피해를 최소화하는 데 특별히 중점을 두었습니다. 예를 들어, 프런티어 모델을 생산할 가능성이 낮은 소규모 기업을 법에서 제외하는 것입니다. 19

우리의 희망은 투명성 법안이 시간이 지남에 따라 자율성 리스크가 얼마나 가능성이 높거나 심각하게 형성되고 있는지, 그리고 이러한 리스크의 성격과 예방하는 최선의 방법에 대해 더 나은 감각을 제공하는 것입니다. 더 구체적이고 실행 가능한 위험의 증거가 나타나면(만약 그렇다면), 향후 몇 년 동안의 미래 입법은 위험의 정확하고 잘 입증된 방향에 외과 수술처럼 집중하여 부수적인 피해를 최소화할 수 있습니다. 분명히 말씀드리자면, 만약 진정으로 강력한 위험의 증거가 나타난다면, 규칙은 그에 비례하여 강력해야 합니다.

전반적으로 저는 정렬 훈련, 메커니즘적 해석 가능성, 우려되는 행동을 찾아 공개적으로 공개하려는 노력, 안전장치, 그리고 사회적 차원의 규칙이 혼합되어 AI 자율성 리스크를 해결할 수 있다고 낙관합니다. 비록 저는 사회적 차원의 규칙과 가장 책임감 없는 플레이어들의 행동(그리고 규제에 가장 강력하게 반대하는 것이 바로 이 책임감 없는 플레이어들입니다)에 대해 가장 걱정하고 있지만 말입니다. 저는 치료법이 민주주의에서 항상 그러하듯, 이 대의를 믿는 우리가 이러한 위험이 실재하며 동료 시민들이 스스로를 보호하기 위해 단결해야 한다고 주장하는 것이라고 믿습니다.

---

2. 놀랍고도 끔찍한 권한 부여 (A surprising and terrible empowerment)

파괴를 위한 오용

AI 자율성의 문제가 해결되었다고 가정해 봅시다. 우리는 더 이상 AI 천재들의 나라가 통제 불능 상태가 되어 인류를 제압할 것이라고 걱정하지 않습니다. AI 천재들은 인간이 원하는 것을 수행하며, 엄청난 상업적 가치를 지니고 있기 때문에 전 세계의 개인과 조직은 하나 이상의 AI 천재를 "임대"하여 다양한 작업을 수행할 수 있습니다.

모든 사람이 주머니 속에 초지능 천재를 갖는 것은 놀라운 발전이며 엄청난 경제적 가치 창출과 인간 삶의 질 향상으로 이어질 것입니다. 저는 자애로운 은혜의 기계에서 이러한 혜택에 대해 자세히 이야기합니다. 하지만 모든 사람을 초인적으로 유능하게 만드는 모든 효과가 긍정적이지는 않을 것입니다. 그것은 개인이나 소규모 그룹이 정교하고 위험한 도구(대량 살상 무기 등)를 사용하여 이전보다 훨씬 더 큰 규모로 파괴를 일으킬 수 있는 능력을 잠재적으로 증폭시킬 수 있습니다. 이러한 도구는 이전에는 높은 수준의 기술, 전문 훈련 및 집중력을 갖춘 소수만이 사용할 수 있었습니다.

빌 조이(Bill Joy)가 25년 전 *'미래는 우리를 필요로 하지 않는다(Why the Future Doesn’t Need Us)'*에서 썼듯이: 20

핵무기를 만드는 데는 적어도 한동안 희귀한—실제로 사실상 구할 수 없는—원자재와 보호된 정보 모두에 대한 접근이 필요했습니다. 생물학 및 화학 무기 프로그램 역시 대규모 활동을 필요로 하는 경향이 있었습니다. 21세기 기술—유전학, 나노기술, 로봇공학... 은 개인이나 소규모 그룹이 널리 접근할 수 있는... 완전히 새로운 종류의 사고와 남용을 낳을 수 있습니다. 그것들은 대규모 시설이나 희귀한 원자재를 필요로 하지 않을 것입니다. ... 우리는 극단적인 악의 추가적인 완성을 눈앞에 두고 있습니다. 그 가능성이 국민 국가에 물려준 대량 살상 무기를 훨씬 넘어, 극단적인 개인들에게 놀랍고도 끔찍한 권한을 부여하는 악 말입니다.

조이가 지적하는 것은 대규모 파괴를 일으키려면 **동기(motive)**와 **능력(ability)**이 모두 필요하며, 능력이 고도로 훈련된 소수의 사람들에게 제한되어 있는 한 개인이(또는 소규모 그룹이) 그러한 파괴를 일으킬 위험은 상대적으로 제한적이라는 생각입니다. 21 불안한 외톨이가 학교 총기 난사 사건을 저지를 수는 있지만, 아마도 핵무기를 만들거나 전염병을 퍼뜨릴 수는 없을 것입니다.

사실 능력과 동기는 음의 상관관계에 있을 수도 있습니다. 전염병을 퍼뜨릴 능력을 가진 종류의 사람은 아마도 고학력자일 것입니다. 분자 생물학 박사 학위 소지자일 가능성이 높고, 특히 유능하며, 유망한 경력과 안정적이고 절제된 성격, 그리고 잃을 것이 많은 사람일 것입니다. 이런 종류의 사람은 자신에게 아무런 이득도 없고 자신의 미래에 큰 위험을 초래하면서 엄청난 수의 사람들을 죽이는 데 관심을 가질 가능성이 낮습니다. 그들은 순수한 악의, 강렬한 불만, 또는 불안정성에 의해 동기가 부여되어야 할 것입니다.

그런 사람들이 존재하기는 하지만 드물고, 그들이 발생했을 때 그토록 드물기 때문에 거대한 뉴스가 되는 경향이 있습니다. 22 또한 그들은 지능적이고 유능하기 때문에 잡기 어려운 경향이 있으며, 때로는 해결하는 데 수년 또는 수십 년이 걸리는 미스터리를 남깁니다. 가장 유명한 예는 아마도 20년 가까이 FBI의 추적을 피했고 반기술적 이념에 의해 움직였던 수학자 시어도어 카친스키(유나바머)일 것입니다. 또 다른 예는 2001년 일련의 탄저균 공격을 조직한 것으로 보이는 생물방어 연구원 브루스 아이빈스입니다. 숙련된 비국가 조직에서도 발생했습니다. 옴진리교는 1995년 도쿄 지하철에 사린 신경가스를 살포하여 14명을 죽이고 수백 명을 다치게 했습니다.

다행히도 이 공격 중 어느 것도 전염성 생물학적 작용제를 사용하지 않았습니다. 왜냐하면 이러한 작용제를 만들거나 얻는 능력은 이 사람들의 능력을 넘어서는 것이었기 때문입니다. 23 분자 생물학의 발전은 이제 생물 무기를 만드는 장벽을 크게 낮추었지만(특히 재료의 가용성 측면에서), 여전히 그렇게 하려면 엄청난 양의 전문 지식이 필요합니다. 저는 모든 사람의 주머니 속에 있는 천재가 그 장벽을 제거하여, 본질적으로 모든 사람을 생물 무기 설계, 합성 및 살포 과정을 단계별로 안내받을 수 있는 바이러스학 박사로 만들 수 있다는 점을 우려합니다. 심각한 적대적 압력에 직면하여 이러한 종류의 정보 유출을 방지하는 것(이른바 "탈옥(jailbreaks)")은 훈련에 일반적으로 내장된 것 이상의 방어 계층을 요구할 가능성이 높습니다.

결정적으로, 이것은 능력과 동기 사이의 상관관계를 깨뜨릴 것입니다. 사람을 죽이고 싶지만 규율이나 기술이 부족한 불안한 외톨이가 이제 바이러스학 박사 수준의 능력으로 격상될 것이며, 바이러스학 박사는 이러한 동기를 가질 가능성이 낮습니다. 이 우려는 생물학을 넘어(비록 생물학이 가장 무서운 분야라고 생각하지만) 현재 높은 수준의 기술과 규율을 필요로 하지만 큰 파괴가 가능한 모든 분야로 일반화됩니다. 달리 말하면, 강력한 AI를 임대하는 것은 악의적인(그러나 그 외에는 평범한) 사람들에게 지능을 제공합니다. 저는 저기에 잠재적으로 많은 수의 그런 사람들이 있고, 그들이 수백만 명을 죽일 수 있는 쉬운 방법에 접근할 수 있다면 조만간 그들 중 한 명이 그렇게 할 것이라고 걱정합니다. 또한, 이미 전문 지식을 가진 사람들은 이전보다 훨씬 더 대규모의 파괴를 저지를 수 있게 될 수도 있습니다.

생물학은 파괴 잠재력이 매우 크고 방어가 어렵기 때문에 제가 가장 걱정하는 분야이므로 특히 생물학에 집중하겠습니다. 하지만 제가 여기서 말하는 내용의 대부분은 사이버 공격, 화학 무기 또는 핵기술과 같은 다른 위험에도 적용됩니다.

생물 무기를 만드는 방법에 대해 자세히 설명하지는 않겠습니다. 이유는 명백할 것입니다. 하지만 높은 수준에서 저는 LLM이 엔드투엔드(end-to-end)로 이를 생성하고 배포하는 데 필요한 지식에 접근하고 있거나(또는 이미 도달했거나), 그 파괴 잠재력이 매우 높다는 점을 우려합니다. 일부 생물학적 작용제는 최대한의 확산을 위해 배포하려는 단호한 노력이 있다면 수백만 명의 사망자를 초래할 수 있습니다. 하지만 여기에는 여전히 널리 알려지지 않은 여러 가지 매우 구체적인 단계와 절차를 포함한 매우 높은 수준의 기술이 필요합니다. 제 걱정은 단순히 고정되거나 정적인 지식이 아닙니다. 저는 LLM이 평균적인 지식과 능력을 갖춘 사람을 데려다가, 기술 지원이 비전문가가 복잡한 컴퓨터 관련 문제를 디버깅하고 수정하도록 돕는 것과 유사하게(비록 이것은 아마도 몇 주 또는 몇 달 동안 지속되는 더 확장된 과정이겠지만), 잘못될 수 있거나 대화형 방식으로 디버깅이 필요한 복잡한 과정을 안내할 수 있을 것이라는 점을 우려합니다.

더 유능한 LLM(오늘날의 것보다 훨씬 뛰어난)은 훨씬 더 무서운 행동을 가능하게 할 수도 있습니다. 2024년, 저명한 과학자 그룹은 "거울상 생명체(mirror life)"라는 위험한 새로운 유형의 유기체를 연구하고 잠재적으로 생성하는 것의 위험성에 대해 경고하는 편지를 썼습니다. 생물학적 유기체를 구성하는 DNA, RNA, 리보솜 및 단백질은 모두 거울에 비친 자신의 버전과 동일하지 않게 만드는 키랄성(chirality, 또는 "손대칭성")을 가지고 있습니다(오른손을 어떻게 회전해도 왼손과 동일해질 수 없는 것처럼). 하지만 단백질이 서로 결합하는 전체 시스템, DNA 합성과 RNA 번역의 기계장치, 단백질의 구축 및 분해는 모두 이 손대칭성에 의존합니다. 만약 과학자들이 반대 손대칭성을 가진 생물학적 물질 버전을 만든다면—그리고 체내에서 더 오래 지속되는 의약품과 같은 잠재적 이점이 있습니다—그것은 매우 위험할 수 있습니다. 왜냐하면 왼손잡이 생명체가 번식 가능한 완전한 유기체 형태로 만들어진다면(이는 매우 어려울 것입니다), 잠재적으로 지구상의 생물학적 물질을 분해하는 어떤 시스템으로도 소화될 수 없을 것이기 때문입니다. 그것은 기존 효소의 어떤 "자물쇠"에도 맞지 않는 "열쇠"를 갖게 될 것입니다. 이는 통제 불가능한 방식으로 증식하여 지구상의 모든 생명체를 몰아내고, 최악의 경우 지구상의 모든 생명체를 파괴할 수도 있음을 의미합니다.

거울상 생명체의 생성과 잠재적 영향에 대해서는 상당한 과학적 불확실성이 있습니다. 2024년 편지에는 "거울상 박테리아가 향후 10년에서 수십 년 내에 그럴듯하게 만들어질 수 있다"는 결론을 내린 보고서가 첨부되어 있었는데, 이는 넓은 범위입니다. 하지만 충분히 강력한 AI 모델(분명히 오늘날 우리가 가진 것보다 훨씬 더 유능한)은 그것을 만드는 방법을 훨씬 더 빠르게 발견할 수 있을지도 모릅니다—그리고 실제로 누군가가 그렇게 하도록 도울 수 있습니다.

제 견해는 비록 이것들이 불분명한 위험이고 가능성이 낮아 보일지라도 결과의 규모가 너무 크기 때문에 AI 시스템의 1급 위험으로 심각하게 받아들여져야 한다는 것입니다.

회의론자들은 LLM으로 인한 이러한 생물학적 위험의 심각성에 대해 여러 가지 반론을 제기했습니다. 저는 동의하지 않지만 다루어 볼 가치가 있습니다. 대부분은 기술이 진행 중인 지수적 궤적을 인식하지 못하는 범주에 속합니다. 2023년 우리가 처음 LLM의 생물학적 위험에 대해 이야기하기 시작했을 때, 회의론자들은 필요한 모든 정보는 구글에서 구할 수 있으며 LLM은 이 이상의 것을 추가하지 않는다고 말했습니다. 구글이 필요한 모든 정보를 줄 수 있다는 것은 사실이 아니었습니다. 게놈은 무료로 이용할 수 있지만, 앞서 말했듯이 특정 핵심 단계와 엄청난 양의 실질적 노하우는 그런 식으로 얻을 수 없습니다. 또한 2023년 말까지 LLM은 과정의 일부 단계에 대해 구글이 줄 수 있는 것 이상의 정보를 분명히 제공하고 있었습니다.

이후 회의론자들은 LLM이 엔드투엔드로 유용하지 않으며, 단순한 이론적 정보 제공이 아닌 생물 무기 획득을 도울 수 없다는 반론으로 물러섰습니다. 2025년 중반 현재, 우리의 측정 결과에 따르면 LLM은 이미 여러 관련 분야에서 상당한 향상을 제공하고 있을 수 있으며, 아마도 성공 가능성을 두세 배 높일 수 있습니다. 이로 인해 우리는 클로드 오퍼스(Claude Opus) 4(및 후속 Sonnet 4.5, Opus 4.1, Opus 4.5 모델)를 책임 있는 스케일링 정책(Responsible Scaling Policy) 프레임워크의 AI 안전 수준 3 보호 하에 출시하기로 결정하고, 이 위험에 대한 안전장치를 구현했습니다(이에 대해서는 나중에 자세히 설명함). 우리는 이제 모델이 안전장치 없이는 생물학 학위가 아닌 STEM 학위를 가진 사람이 생물 무기를 생산하는 전체 과정을 거치도록 돕는 데 유용할 수 있는 시점에 접근하고 있다고 믿습니다.

또 다른 반론은 사회가 생물 무기 생산을 차단하기 위해 취할 수 있는 AI와 무관한 다른 조치들이 있다는 것입니다. 가장 두드러지게는, 유전자 합성 산업은 주문에 따라 생물학적 표본을 만들며, 제공자가 주문에 병원균이 포함되어 있지 않은지 확인하기 위해 선별검사를 하도록 하는 연방 요구 사항이 없습니다. MIT의 한 연구에 따르면 38개 제공자 중 36개가 1918년 독감(스페인 독감) 염기서열이 포함된 주문을 이행했습니다. 저는 개인의 병원균 무기화를 더 어렵게 만들기 위해 유전자 합성 선별검사를 의무화하여 AI 주도 생물학적 위험과 일반적인 생물학적 위험을 모두 줄이는 것을 지지합니다. 하지만 이것은 오늘날 우리가 가지고 있는 것이 아닙니다. 또한 위험을 줄이는 하나의 도구일 뿐이며, AI 시스템의 가드레일에 대한 보완재이지 대체재가 아닙니다.

가장 좋은 반론은 제가 거의 제기되는 것을 보지 못한 것입니다. 원칙적으로 유용한 모델과 나쁜 행위자가 실제로 그것을 사용하려는 성향 사이에는 격차가 있다는 것입니다. 대부분의 개별적인 나쁜 행위자는 불안한 개인들이므로 거의 정의상 그들의 행동은 예측 불가능하고 비합리적입니다. 그리고 AI가 많은 사람을 죽이는 것을 훨씬 쉽게 만듦으로써 가장 큰 혜택을 볼 수 있었던 사람들은 바로 이들 나쁜 행위자, 즉 비숙련자들입니다. 24 단지 어떤 유형의 폭력 공격이 가능하다고 해서 누군가가 그것을 하기로 결정한다는 의미는 아닙니다. 아마도 생물학적 공격은 가해자를 감염시킬 가능성이 합리적으로 높고, 많은 폭력적인 개인이나 그룹이 가진 군사 스타일의 환상을 충족시키지 못하며, 특정 사람들을 선택적으로 표적으로 삼기 어렵기 때문에 매력적이지 않을 것입니다. 또한 AI가 과정을 안내하더라도 몇 달이 걸리는 과정을 거치는 것은 대부분의 불안한 개인이 단순히 가지고 있지 않은 인내심을 요구할 수 있습니다. 우리는 단순히 운이 좋아서 동기와 능력이 실제로는 딱 맞는 방식으로 결합되지 않을 수도 있습니다.

하지만 이것은 의지하기에는 매우 빈약한 보호막처럼 보입니다. 불안한 외톨이들의 동기는 어떤 이유로든 또는 아무 이유 없이 변할 수 있으며, 실제로 이미 공격에 LLM이 사용된 사례가 있습니다(단지 생물학이 아닐 뿐). 또한 불안한 외톨이에 대한 초점은 종종 막대한 시간과 노력을 기꺼이 들이는 이념적 테러리스트(예: 9/11 납치범들)를 무시합니다. 가능한 한 많은 사람을 죽이고 싶어 하는 것은 언젠가는 생겨날 동기이며, 불행히도 그것은 생물 무기를 방법으로 제시합니다. 이 동기가 극히 드물다 하더라도 단 한 번만 현실화되면 됩니다. 그리고 생물학이 발전함에 따라(점점 더 AI 자체에 의해 주도됨), 더 선택적인 공격(예: 특정 혈통을 가진 사람들을 대상으로 함)을 수행하는 것이 가능해질 수 있으며, 이는 또 다른 매우 오싹한 잠재적 동기를 추가합니다.

저는 생물학적 공격이 널리 가능해지는 순간 반드시 실행될 것이라고 생각하지 않습니다—사실 저는 그렇지 않을 것이라는 데 내기를 걸겠습니다. 하지만 수백만 명의 사람들과 몇 년의 시간을 합쳐보면 주요 공격의 심각한 위험이 있다고 생각하며, 그 결과는 너무나 심각해서(잠재적으로 수백만 명 이상의 사상자 발생) 이를 방지하기 위한 심각한 조치를 취하는 것 외에는 선택의 여지가 없다고 믿습니다.

방어책 (Defenses)

그렇다면 이러한 위험을 어떻게 방어할 것인가에 대한 문제로 넘어갑니다. 여기서 저는 우리가 할 수 있는 세 가지를 봅니다.

첫째, AI 기업은 모델이 생물 무기 생산을 돕지 못하도록 가드레일을 설치할 수 있습니다. 앤스로픽은 이를 매우 적극적으로 수행하고 있습니다. 주로 고수준 원칙과 가치에 초점을 맞춘 클로드의 헌법에는 소수의 구체적인 강경 금지 사항이 있으며, 그중 하나는 생물학적(또는 화학적, 핵, 방사능) 무기 생산을 돕는 것과 관련이 있습니다. 하지만 모든 모델은 탈옥될 수 있으므로, 두 번째 방어선으로 우리는(테스트 결과 우리 모델이 위험을 초래할 수 있는 임계값에 가까워지기 시작한 2025년 중반부터) 생물 무기 관련 출력을 구체적으로 감지하고 차단하는 분류기(classifier)를 구현했습니다. 우리는 이러한 분류기를 정기적으로 업그레이드하고 개선하며, 정교한 적대적 공격에 대해서도 매우 강력하다는 것을 일반적으로 발견했습니다. 25 이 분류기는 모델 서비스 비용을 측정 가능하게 증가시키고(일부 모델에서는 전체 추론 비용의 5%에 육박함) 따라서 우리의 마진을 깎아먹지만, 우리는 그것을 사용하는 것이 옳은 일이라고 느낍니다.

칭찬할 만한 점은 다른 일부 AI 기업들도 분류기를 구현했다는 것입니다. 하지만 모든 기업이 그런 것은 아니며, 기업이 분류기를 유지하도록 요구하는 규정도 없습니다. 저는 시간이 지남에 따라 기업들이 분류기를 제거하여 비용을 낮추고 이탈할 수 있는 죄수의 딜레마(prisoner’s dilemma)가 발생할까 우려됩니다. 이것은 다시 한번 앤스로픽이나 다른 단일 기업의 자발적 행동만으로는 해결할 수 없는 전형적인 부정적 외부 효과 문제입니다. 26 자발적인 산업 표준이 도움이 될 수 있으며, AI 안전 연구소 및 제3자 평가자가 수행하는 제3자 평가 및 검증도 도움이 될 수 있습니다.

하지만 궁극적으로 방어는 정부의 조치를 필요로 할 수 있으며, 이것이 우리가 할 수 있는 두 번째 일입니다. 이에 대한 제 견해는 자율성 리스크를 해결하는 것과 같습니다. 투명성 요구 사항 27으로 시작해야 합니다. 이는 경제 활동을 강압적인 방식으로 방해하지 않으면서 사회가 위험을 측정, 모니터링 및 집단적으로 방어하도록 돕습니다. 그런 다음 더 명확한 위험 임계값에 도달하면(그리고 그럴 때), 이러한 위험을 더 정밀하게 타겟팅하고 부수적인 피해 가능성이 낮은 입법을 만들 수 있습니다. 생물 무기의 경우 실제로 그러한 타겟팅된 입법의 시기가 곧 다가올 수 있다고 생각합니다. 앤스로픽과 다른 기업들은 생물학적 위험의 본질과 이를 방어하기 위해 기업에 요구하는 것이 무엇이 합리적인지에 대해 점점 더 많이 배우고 있습니다. 이러한 위험을 완전히 방어하려면 지정학적 적대국과도 국제적으로 협력해야 할 수 있지만, 생물 무기 개발을 금지하는 조약의 전례가 있습니다. 저는 일반적으로 AI에 대한 대부분의 국제 협력에 회의적이지만, 이것은 글로벌 억제를 달성할 기회가 있는 좁은 영역일 수 있습니다. 독재 정권조차도 대규모 생물 테러 공격을 원하지 않습니다.

마지막으로, 우리가 취할 수 있는 세 번째 대응책은 생물학적 공격 자체에 대한 방어를 개발하려고 노력하는 것입니다. 여기에는 조기 탐지를 위한 모니터링 및 추적, 공기 정화 R&D 투자(예: far-UVC 소독), 공격에 대응하고 적응할 수 있는 신속한 백신 개발, 더 나은 개인 보호 장비(PPE), 28 그리고 가장 가능성 높은 생물학적 작용제에 대한 치료제 또는 예방 접종이 포함될 수 있습니다. 특정 바이러스나 변종에 반응하도록 설계될 수 있는 mRNA 백신은 여기서 무엇이 가능한지를 보여주는 초기 사례입니다. 앤스로픽은 이 문제에 대해 생명공학 및 제약 회사와 협력하게 되어 기쁩니다. 하지만 불행히도 방어 측면에 대한 우리의 기대는 제한적이어야 한다고 생각합니다. 생물학에서는 공격과 방어 사이에 비대칭성이 존재합니다. 작용제는 스스로 빠르게 퍼지는 반면, 방어는 탐지, 예방 접종 및 치료가 대규모 인구에 걸쳐 매우 신속하게 조직되어야 하기 때문입니다. 대응이 번개처럼 빠르지 않다면(거의 그렇지 않음), 대응이 가능해지기 전에 많은 피해가 발생할 것입니다. 미래의 기술 발전이 이 균형을 방어 쪽으로 이동시킬 수 있다고 생각할 수 있지만(그리고 우리는 확실히 그러한 기술 발전을 돕기 위해 AI를 사용해야 합니다), 그때까지는 예방적 안전장치가 우리의 주요 방어선이 될 것입니다.

사이버 공격에 대해 간단히 언급할 가치가 있습니다. 생물학적 공격과 달리 AI 주도 사이버 공격은 실제로 대규모로, 그리고 국가 지원 간첩 활동을 위해 야생에서 발생했기 때문입니다. 우리는 모델이 빠르게 발전함에 따라 이러한 공격이 더 유능해질 것으로 예상하며, 결국 사이버 공격이 수행되는 주된 방식이 될 것입니다. 저는 AI 주도 사이버 공격이 전 세계 컴퓨터 시스템의 무결성에 심각하고 전례 없는 위협이 될 것으로 예상하며, 앤스로픽은 이러한 공격을 차단하고 결국 발생하지 않도록 확실히 예방하기 위해 매우 열심히 노력하고 있습니다. 제가 생물학만큼 사이버에 집중하지 않은 이유는 (1) 사이버 공격은 사람을 죽일 가능성이 훨씬 낮고, 확실히 생물학적 공격 규모로는 아니며, (2) 사이버에서는 공격-방어 균형이 더 다루기 쉬울 수 있기 때문입니다. 여기서는 우리가 제대로 투자한다면 방어가 AI 공격을 따라잡고(심지어 이상적으로는 앞지르고) 희망이 적어도 어느 정도는 있습니다.

비록 생물학이 현재 가장 심각한 공격 벡터이지만, 다른 많은 벡터가 있으며 더 위험한 벡터가 나타날 수도 있습니다. 일반적인 원칙은 대응책 없이는 AI가 파괴적 활동에 대한 장벽을 지속적으로 낮춰 점점 더 큰 규모로 만들 가능성이 높으며, 인류는 이 위협에 대한 심각한 대응이 필요하다는 것입니다.

---

3. 증오스러운 기구 (The odious apparatus)

권력 장악을 위한 오용

이전 섹션에서는 개인과 소규모 조직이 대규모 파괴를 일으키기 위해 "데이터센터 안의 천재들의 나라" 중 일부를 도용할 위험에 대해 논의했습니다. 하지만 우리는 더 크고 확립된 행위자들에 의한 권력을 행사하거나 장악하기 위한 AI 오용에 대해서도—아마도 상당히 더 많이—걱정해야 합니다. 29

자애로운 은혜의 기계에서 저는 독재 정부가 개혁하거나 전복하기 극도로 어려운 방식으로 시민들을 감시하거나 억압하기 위해 강력한 AI를 사용할 가능성에 대해 논의했습니다. 현재의 독재 정권은 인간이 명령을 수행해야 한다는 필요성에 의해 억압의 정도가 제한되며, 인간은 얼마나 비인도적이 될 수 있는지에 한계가 있는 경우가 많습니다. 하지만 AI 기반 독재 정권에는 그러한 한계가 없을 것입니다.

더 나쁜 것은, 국가들이 다른 국가들에 대해 권력을 얻기 위해 AI의 이점을 사용할 수도 있다는 것입니다. 만약 "천재들의 나라" 전체가 단일(인간) 국가의 군사 기구에 의해 소유되고 통제되며, 다른 국가들이 동등한 능력을 갖추지 못한다면, 그들이 어떻게 자신을 방어할 수 있을지 알기 어렵습니다. 그들은 인간과 쥐 사이의 전쟁처럼 모든 면에서 지능적으로 압도당할 것입니다. 이 두 가지 우려를 합치면 전 세계적인 전체주의 독재라는 놀라운 가능성으로 이어집니다. 당연히 이 결과를 막는 것은 우리의 가장 높은 우선순위 중 하나여야 합니다.

AI가 독재를 가능하게 하거나, 공고히 하거나, 확장할 수 있는 방법은 많지만, 제가 가장 걱정하는 몇 가지를 나열하겠습니다. 이러한 응용 프로그램 중 일부는 합법적인 방어 용도가 있으며, 제가 반드시 절대적인 관점에서 반대하는 것은 아닙니다. 그럼에도 불구하고 저는 그것들이 구조적으로 독재 정권에 유리한 경향이 있다는 점을 우려합니다.

• 완전 자율 무기 (Fully autonomous weapons). 강력한 AI에 의해 로컬에서 제어되고 훨씬 더 강력한 AI에 의해 전 세계적으로 전략적으로 조정되는 수백만 또는 수십억 개의 완전 자동화된 무장 드론 떼는 무적의 군대가 될 수 있습니다. 세계의 어떤 군대도 패배시킬 수 있고 모든 시민을 따라다니며 국내의 반대 의견을 진압할 수 있습니다. 러시아-우크라이나 전쟁의 발전 상황은 드론 전쟁이 이미 우리 곁에 와 있음을(아직 완전 자율은 아니며 강력한 AI로 가능한 것의 아주 작은 부분에 불과하지만) 우리에게 경고해야 합니다. 강력한 AI의 R&D는 한 국가의 드론을 다른 국가의 드론보다 훨씬 우수하게 만들고, 제조 속도를 높이며, 전자 공격에 대한 저항력을 높이고, 기동성을 향상시키는 등의 일을 할 수 있습니다. 물론 이러한 무기들은 민주주의 수호에 합법적인 용도가 있습니다. 우크라이나 방어에 핵심적이었으며 대만 방어에도 핵심이 될 가능성이 큽니다. 하지만 휘두르기에 위험한 무기입니다. 우리는 독재 정권의 손에 있는 것을 걱정해야 할 뿐만 아니라, 책임 소재가 거의 없는 너무나 강력한 무기이기 때문에 민주주의 정부가 권력을 장악하기 위해 자국민에게 총구를 돌릴 위험이 크게 증가한다는 점도 걱정해야 합니다.
• AI 감시 (AI surveillance). 충분히 강력한 AI는 전 세계의 모든 컴퓨터 시스템을 손상시키는 데 사용될 수 있으며, 30 이렇게 얻은 접근 권한을 사용하여 전 세계의 모든 전자 통신(또는 녹음 장치를 만들거나 징발할 수 있다면 전 세계의 모든 대면 통신)을 읽고 이해할 수 있습니다. 어떤 수의 문제에 대해 정부와 의견을 달리하는 사람의 전체 목록을 생성하는 것이 소름 끼칠 정도로 그럴듯할 수 있습니다. 비록 그러한 의견 불일치가 그들이 말하거나 행동하는 어떤 것에도 명시적이지 않더라도 말입니다. 수백만 명의 수십억 건의 대화를 살펴보는 강력한 AI는 대중의 정서를 측정하고, 충성스럽지 않은 주머니가 형성되는 것을 감지하고, 그것이 커지기 전에 짓밟을 수 있습니다. 이는 오늘날 CCP(중국 공산당)조차 볼 수 없는 규모의 진정한 판옵티콘(panopticon)의 부과로 이어질 수 있습니다.
• AI 선전 (AI propaganda). 오늘날의 "AI 정신병"과 "AI 여자친구" 현상은 현재의 지능 수준에서도 AI 모델이 사람들에게 강력한 심리적 영향을 미칠 수 있음을 시사합니다. 훨씬 더 강력한 버전의 모델들이 사람들의 일상생활에 훨씬 더 깊이 관여하고, 이를 인식하며, 몇 달 또는 몇 년에 걸쳐 모델링하고 영향을 미칠 수 있다면, 아마도 많은(대부분의?) 사람들을 원하는 이념이나 태도로 본질적으로 세뇌할 수 있을 것입니다. 그리고 부도덕한 지도자는 대부분의 인구가 반란을 일으킬 수준의 억압에 직면해서도 충성을 보장하고 반대 의견을 억압하기 위해 이를 고용할 수 있습니다. 오늘날 사람들은 예를 들어 틱톡(TikTok)이 어린이들을 겨냥한 CCP 선전으로서 잠재적 영향력을 미칠까 많이 걱정합니다. 저도 그것을 걱정하지만, 수년 동안 당신을 알아가고 당신에 대한 지식을 사용하여 당신의 모든 의견을 형성하는 개인화된 AI 에이전트는 이보다 훨씬 더 강력할 것입니다.
• 전략적 의사결정 (Strategic decision-making). 데이터센터 안의 천재들의 나라는 국가, 그룹 또는 개인에게 지정학적 전략을 조언하는 데 사용될 수 있습니다. 우리는 이를 "가상 비스마르크(virtual Bismarck)"라고 부를 수 있습니다. 권력 장악을 위해 위의 세 가지 전략을 최적화할 수 있을 뿐만 아니라, 아마도 제가 생각하지 못한(하지만 천재들의 나라는 할 수 있는) 다른 많은 전략을 개발할 수 있을 것입니다. 외교, 군사 전략, R&D, 경제 전략 및 기타 많은 분야가 모두 강력한 AI에 의해 효과가 실질적으로 증가할 가능성이 높습니다. 이러한 기술 중 다수는 민주주의 국가에 합법적으로 도움이 될 것입니다—우리는 민주주의 국가가 독재 국가로부터 자신을 방어하기 위한 최상의 전략에 접근할 수 있기를 원합니다—하지만 누구의 손에 있든 오용의 잠재력은 여전히 남아 있습니다.

제가 무엇을 걱정하는지 설명했으니, 이제 누구에 대해 이야기해 봅시다. 저는 AI에 가장 많이 접근할 수 있고, 가장 정치적 권력을 가진 위치에서 시작하거나, 억압의 기존 역사가 있는 주체들을 걱정합니다. 심각성 순서대로 저는 다음을 우려합니다.

1. CCP (중국 공산당). 중국은 AI 역량에서 미국에 이어 2위이며, 그 역량에서 미국을 추월할 가능성이 가장 큰 국가입니다. 그들의 정부는 현재 독재적이며 하이테크 감시 국가를 운영하고 있습니다. 그들은 이미 AI 기반 감시를 배치했으며(위구르족 탄압 포함), 틱톡을 통한 알고리즘 선전을 사용하는 것으로 여겨집니다(다른 많은 국제 선전 노력 외에도). 그들은 제가 위에 제시한 AI 기반 전체주의 악몽으로 가는 가장 명확한 길을 단연코 가지고 있습니다. 심지어 중국 내에서뿐만 아니라 CCP가 감시 기술을 수출하는 다른 독재 국가들 내에서도 이것이 기본 결과가 될 수 있습니다. 저는 CCP가 AI 주도권을 잡는 위협과 이를 막아야 하는 실존적 당위성에 대해 자주 썼습니다. 이것이 그 이유입니다. 분명히 말씀드리자면, 저는 중국에 대한 악감정 때문에 중국을 지목하는 것이 아닙니다. 그들은 단지 AI 능력, 독재 정부, 하이테크 감시 국가를 가장 많이 결합한 국가일 뿐입니다. 어쨌든 CCP의 AI 기반 억압으로 가장 고통받을 가능성이 높은 것은 중국 인민 자신들이며, 그들은 정부의 행동에 대해 아무런 목소리도 내지 못합니다. 저는 중국 인민을 깊이 존경하고 존중하며, 중국 내의 많은 용감한 반체제 인사들과 자유를 위한 그들의 투쟁을 지지합니다.
2. AI 경쟁력을 갖춘 민주주의 국가들. 위에서 썼듯이, 민주주의 국가들은 AI 기반 군사 및 지정학적 도구에 대한 합법적인 이해관계가 있습니다. 민주주의 정부가 독재 국가들의 이러한 도구 사용에 대응할 수 있는 가장 좋은 기회를 제공하기 때문입니다. 대체로 저는 AI 시대에 독재 국가를 물리치기 위해 필요한 도구로 민주주의 국가를 무장시키는 것을 지지합니다—저는 단순히 다른 방법이 있다고 생각하지 않습니다. 하지만 우리는 민주주의 정부 자체에 의한 이러한 기술의 오용 가능성을 무시할 수 없습니다. 민주주의 국가는 일반적으로 군사 및 정보 기구가 자국민을 향해 내부로 돌려지는 것을 방지하는 안전장치를 가지고 있지만, 31 AI 도구는 작동하는 데 매우 적은 사람이 필요하기 때문에 이러한 안전장치와 이를 뒷받침하는 규범을 우회할 가능성이 있습니다. 또한 이러한 안전장치 중 일부가 일부 민주주의 국가에서 이미 서서히 약화되고 있다는 점도 주목할 가치가 있습니다. 따라서 우리는 민주주의 국가를 AI로 무장시켜야 하지만, 신중하게 그리고 제한 내에서 해야 합니다. 그들은 독재 국가와 싸우기 위해 필요한 면역 체계이지만, 면역 체계와 마찬가지로 우리에게 등을 돌려 위협이 될 위험이 있습니다.
3. 대규모 데이터센터가 있는 비민주주의 국가들. 중국 외에 민주적 거버넌스가 덜한 대부분의 국가는 프런티어 AI 모델을 생산하는 기업이 없다는 의미에서 선도적인 AI 플레이어가 아닙니다. 따라서 그들은 CCP보다 근본적으로 다르고 덜한 위험을 제기합니다(대부분 덜 억압적이며, 북한처럼 더 억압적인 국가는 중요한 AI 산업이 전혀 없습니다). 하지만 이들 국가 중 일부는 대규모 데이터센터(종종 민주주의 국가에서 운영하는 기업의 구축의 일환으로)를 보유하고 있으며, 이는 대규모로 프런티어 AI를 실행하는 데 사용될 수 있습니다(비록 이것이 프런티어를 밀어붙일 능력을 부여하지는 않지만). 이것과 관련된 위험이 어느 정도 있습니다. 이들 정부는 원칙적으로 데이터센터를 수용하고 그 안의 AI 나라를 자신의 목적을 위해 사용할 수 있습니다. 저는 AI를 직접 개발하는 중국 같은 나라에 비해 이것을 덜 걱정하지만, 염두에 두어야 할 위험입니다. 32
4. AI 기업들. AI 기업의 CEO로서 말하기 다소 어색하지만, 저는 다음 단계의 위험은 실제로 AI 기업 자체라고 생각합니다. AI 기업은 대규모 데이터센터를 통제하고, 프런티어 모델을 훈련하며, 그 모델을 사용하는 방법에 대한 가장 큰 전문 지식을 가지고 있고, 어떤 경우에는 수천만 또는 수억 명의 사용자와 매일 접촉하고 영향을 미칠 가능성이 있습니다. 그들에게 부족한 주된 것은 국가의 합법성과 인프라이므로, AI 독재의 도구를 구축하는 데 필요한 많은 것들이 AI 기업이 하기에는 불법이거나 적어도 매우 의심스러운 일이 될 것입니다. 하지만 일부는 불가능하지 않습니다. 예를 들어, 대규모 소비자 사용자 기반을 세뇌하기 위해 AI 제품을 사용할 수 있으며, 대중은 이것이 나타내는 위험에 주의를 기울여야 합니다. 저는 AI 기업의 거버넌스가 많은 조사를 받을 가치가 있다고 생각합니다.

이러한 위협의 심각성에 대한 몇 가지 가능한 반론이 있으며, 저는 그것들을 믿고 싶습니다. AI 기반 전체주의가 저를 두렵게 하기 때문입니다. 이러한 주장을 살펴보고 그에 대응해 볼 가치가 있습니다.

첫째, 어떤 사람들은 특히 군사적 정복을 위한 AI 자율 무기 사용에 대응하기 위해 핵 억지력에 믿음을 걸 수 있습니다. 누군가 이 무기를 당신에게 사용하겠다고 위협하면, 당신은 항상 핵 대응으로 맞대응하겠다고 위협할 수 있습니다. 제 걱정은 데이터센터 안의 천재들의 나라에 대해 우리가 핵 억지력을 확신할 수 있을지 전적으로 확신할 수 없다는 것입니다. 강력한 AI가 핵잠수함을 탐지하고 타격하는 방법, 핵무기 인프라 운영자를 대상으로 한 영향력 공작, 또는 핵 발사를 탐지하는 위성에 대한 사이버 공격을 시작하기 위해 AI의 사이버 능력을 사용하는 방법을 고안할 가능성이 있습니다. 33 대안적으로, AI 감시와 AI 선전만으로 국가를 장악하는 것이 가능하며, 무슨 일이 일어나고 있는지 명백하고 핵 대응이 적절한 명확한 순간이 실제로는 결코 나타나지 않을 수도 있습니다. 어쩌면 이런 것들이 실현 불가능하고 핵 억지력이 여전히 효과적일 수도 있지만, 위험을 감수하기에는 판돈이 너무 커 보입니다. 34

두 번째 가능한 반론은 이러한 독재 도구에 대해 우리가 취할 수 있는 대응책이 있을 수 있다는 것입니다. 우리는 드론에 우리 자신의 드론으로 맞설 수 있고, 사이버 방어는 사이버 공격과 함께 향상될 것이며, 선전에 대해 사람들을 면역화하는 방법이 있을 수 있다는 등입니다. 제 대답은 이러한 방어는 비슷하게 강력한 AI가 있어야만 가능하다는 것입니다. 비슷하게 똑똑하고 수많은 천재들의 나라가 대응 세력으로 존재하지 않는다면, 드론의 품질이나 양을 맞추거나, 사이버 방어가 사이버 공격보다 더 똑똑하게 대처하는 등의 일은 불가능할 것입니다. 따라서 대응책의 문제는 강력한 AI의 힘의 균형 문제로 귀결됩니다. 여기서 저는 강력한 AI의 재귀적 또는 자기 강화적 속성(이 에세이의 시작 부분에서 논의한)에 대해 우려합니다. 각 세대의 AI가 다음 세대의 AI를 설계하고 훈련하는 데 사용될 수 있다는 점입니다. 이는 폭주하는 우위(runaway advantage)의 위험으로 이어지며, 강력한 AI의 현재 리더가 격차를 벌리고 따라잡기 어려워질 수 있습니다. 우리는 이 루프에 먼저 도달하는 것이 독재 국가가 아니도록 해야 합니다.

게다가 힘의 균형이 달성될 수 있다 하더라도, 1984에서처럼 세계가 독재적 권역으로 쪼개질 위험이 여전히 있습니다. 경쟁하는 여러 세력이 각각 강력한 AI 모델을 가지고 있고 어느 누구도 다른 세력을 압도할 수 없다 하더라도, 각 세력은 여전히 내부적으로 자국 인구를 억압할 수 있으며 전복하기 매우 어려울 것입니다(인구는 자신을 방어할 강력한 AI가 없으므로). 따라서 단일 국가가 세계를 장악하는 결과로 이어지지 않더라도 AI 기반 독재를 방지하는 것이 중요합니다.

방어책 (Defenses)

이 광범위한 독재 도구와 잠재적 위협 행위자로부터 어떻게 방어합니까? 이전 섹션들과 마찬가지로 제가 생각하는 몇 가지 할 수 있는 일이 있습니다.

첫째, 우리는 칩, 칩 제조 장비, 또는 데이터센터를 CCP에 판매해서는 절대 안 됩니다. 칩과 칩 제조 장비는 강력한 AI에 대한 가장 큰 단일 병목 현상이며, 이를 차단하는 것은 간단하지만 매우 효과적인 조치, 아마도 우리가 취할 수 있는 가장 중요한 단일 조치일 것입니다. CCP에게 AI 전체주의 국가를 건설하고 아마도 우리를 군사적으로 정복할 수 있는 도구를 판매하는 것은 말이 안 됩니다. "우리의 기술 스택을 전 세계에 퍼뜨리는 것"이 불특정한 경제 전쟁에서 "미국이 승리"하게 한다는 등의 복잡한 주장이 그러한 판매를 정당화하기 위해 제기됩니다. 제 생각에 이것은 북한에 핵무기를 팔고 나서 미사일 케이스가 보잉(Boeing)에서 만들었으니 미국이 "이기고 있다"고 자랑하는 것과 같습니다. 중국은 프런티어 칩을 대량으로 생산하는 능력에서 미국보다 몇 년 뒤쳐져 있으며, 데이터센터 안의 천재들의 나라를 건설하는 결정적인 시기는 바로 그 향후 몇 년 안에 있을 가능성이 매우 높습니다. 35 이 결정적인 시기에 그들의 AI 산업에 거대한 부스트를 줄 이유가 없습니다.

둘째, 민주주의 국가가 독재 국가에 저항할 수 있도록 AI를 사용하는 것이 합리적입니다. 이것이 앤스로픽이 미국과 민주주의 동맹국들의 정보 및 국방 커뮤니티에 AI를 제공하는 것을 중요하게 생각하는 이유입니다. 우크라이나와 (사이버 공격을 통한) 대만과 같이 공격받고 있는 민주주의 국가를 방어하는 것은 정보 기관을 사용하여 독재 국가를 내부에서 교란하고 약화시키는 민주주의 국가에 힘을 실어주는 것과 마찬가지로 특히 우선순위가 높은 것 같습니다. 어느 수준에서는 독재적 위협에 대응하는 유일한 방법은 군사적으로 그들에 맞서고 능가하는 것입니다. 미국과 민주주의 동맹국들의 연합이 강력한 AI에서 우위를 점한다면, 독재 국가로부터 자신을 방어할 뿐만 아니라 그들을 봉쇄하고 AI 전체주의적 남용을 제한할 수 있는 위치에 있게 될 것입니다.

셋째, 민주주의 내부의 AI 남용에 대해 확고한 선을 그어야 합니다. 정부가 권력을 장악하거나 자국민을 억압하지 않도록 AI로 할 수 있는 일에 제한을 두어야 합니다. 제가 고안한 공식은 우리를 독재적 적대국처럼 만들지 않는 모든 방식으로 국방을 위해 AI를 사용해야 한다는 것입니다.

선은 어디에 그려져야 합니까? 이 섹션의 시작 부분에 있는 목록에서 두 가지 항목—국내 대량 감시 및 대량 선전을 위한 AI 사용—은 저에게 명백한 금지선(bright red lines)이며 전적으로 불법인 것처럼 보입니다. 어떤 사람들은 (적어도 미국에서는) 수정헌법 제4조에 따라 국내 대량 감시가 이미 불법이므로 아무것도 할 필요가 없다고 주장할 수 있습니다. 하지만 AI의 급속한 발전은 기존 법적 프레임워크가 잘 다루도록 설계되지 않은 상황을 만들 수 있습니다. 예를 들어, 미국 정부가 모든 공공 대화(예: 길모퉁이에서 사람들이 서로에게 하는 말)를 대규모로 녹음하는 것은 헌법 위반이 아닐 가능성이 높으며, 이전에는 이 방대한 양의 정보를 분류하기 어려웠지만 AI를 사용하면 모든 것을 전사, 해석 및 삼각 측량하여 많은 또는 대부분의 시민의 태도와 충성도에 대한 그림을 만들 수 있습니다. 저는 AI 기반 남용에 대해 더 강력한 안전장치를 부과하는 시민 자유 중심의 입법(또는 헌법 수정)을 지지할 것입니다.

다른 두 항목—완전 자율 무기 및 전략적 의사결정을 위한 AI—은 민주주의 수호에 합법적인 용도가 있으면서도 남용되기 쉽기 때문에 선을 긋기가 더 어렵습니다. 여기서 필요한 것은 남용을 방지하기 위한 안전장치와 결합된 극도의 주의와 조사라고 생각합니다. 저의 주된 두려움은 "버튼 위에 있는 손가락"의 수가 너무 적어 한 사람이나 소수의 사람들이 명령을 수행하기 위해 다른 인간의 협력을 필요로 하지 않고 본질적으로 드론 군대를 운영할 수 있게 되는 것입니다. AI 시스템이 더 강력해짐에 따라 행정부 외의 정부 부처를 포함하여 오용되지 않도록 더 직접적이고 즉각적인 감독 메커니즘이 필요할 수 있습니다. 저는 특히 완전 자율 무기에 대해 매우 주의 깊게 접근해야 하며 36, 적절한 안전장치 없이 사용을 서두르지 말아야 한다고 생각합니다.

넷째, 민주주의 국가에서의 AI 남용에 대해 확고한 선을 그은 후, 그 전례를 사용하여 강력한 AI의 최악의 남용에 대한 국제적 금기를 만들어야 합니다. 저는 현재의 정치적 바람이 국제 협력과 국제 규범에 불리하게 돌아섰다는 것을 인정하지만, 이것은 그것들이 절실히 필요한 경우입니다. 세계는 독재자의 손에 있는 강력한 AI의 어두운 잠재력을 이해하고, AI의 특정 사용이 그들의 자유를 영구히 훔치고 탈출할 수 없는 전체주의 국가를 강요하려는 시도에 해당한다는 것을 인식해야 합니다. 저는 심지어 어떤 경우에는 강력한 AI를 통한 대규모 감시, 강력한 AI를 통한 대량 선전, 그리고 완전 자율 무기의 특정 유형의 공격적 사용은 반인도적 범죄로 간주되어야 한다고 주장할 것입니다. 더 일반적으로, AI 기반 전체주의와 그 모든 도구 및 수단에 대한 강력한 규범이 절실히 필요합니다.

이 입장의 훨씬 더 강력한 버전을 가질 수도 있습니다. AI 기반 전체주의의 가능성이 너무나 어둡기 때문에, 독재는 단순히 강력한 AI 시대 이후에 사람들이 받아들일 수 있는 정부 형태가 아니라는 것입니다. 산업 혁명과 함께 봉건제가 작동하지 않게 된 것처럼, AI 시대는 민주주의(그리고 바라건대, 자애로운 은혜의 기계에서 논의한 대로 AI에 의해 개선되고 활력을 되찾은 민주주의)가 인류가 좋은 미래를 갖기 위한 유일하게 실행 가능한 정부 형태라는 결론으로 필연적이고 논리적으로 이어질 수 있습니다.

다섯째이자 마지막으로, AI 기업은 신중하게 감시받아야 하며, 정부와의 연결도 마찬가지입니다. 정부와의 연결은 필요하지만 제한과 경계가 있어야 합니다. 강력한 AI에 구현된 능력의 총량은 일반적인 기업 거버넌스—주주를 보호하고 사기와 같은 일반적인 남용을 방지하도록 설계된—가 AI 기업을 통제하는 임무를 감당하기 어려울 정도입니다. 기업이 군사 하드웨어를 사적으로 구축하거나 비축하지 않기, 책임 없는 방식으로 단일 개인이 막대한 양의 컴퓨팅 리소스를 사용하지 않기, 또는 대중의 여론을 자신들에게 유리하게 조작하기 위해 AI 제품을 선전으로 사용하지 않기 등 특정 조치를 취하지 않겠다고 공개적으로 약속하는 것(아마도 기업 거버넌스의 일부로서)도 가치가 있을 수 있습니다.

여기서의 위험은 여러 방향에서 오며, 일부 방향은 다른 방향과 긴장 관계에 있습니다. 유일한 상수는 우리가 "나쁜" 행위자를 견제하기 위해 "좋은" 행위자에게 힘을 실어주면서도, 모두를 위한 책임, 규범, 안전장치를 추구해야 한다는 것입니다.

---

4. 자동 피아노 (Player piano)

경제적 혼란

앞의 세 섹션은 본질적으로 강력한 AI가 제기하는 안보 위험에 관한 것이었습니다: AI 자체로부터의 위험, 개인 및 소규모 조직에 의한 오용 위험, 국가 및 대규모 조직에 의한 오용 위험입니다. 안보 위험을 제쳐두거나 해결되었다고 가정한다면, 다음 질문은 경제입니다. 이 엄청난 "인적" 자본의 유입이 경제에 미칠 영향은 무엇일까요? 분명 가장 명백한 효과는 경제 성장을 크게 증가시키는 것입니다. 과학 연구, 생의학 혁신, 제조, 공급망, 금융 시스템의 효율성 등에서의 발전 속도는 거의 확실히 훨씬 더 빠른 경제 성장률로 이어질 것입니다. 자애로운 은혜의 기계에서 저는 연간 10~20%의 지속적인 GDP 성장률이 가능할 수 있다고 제안했습니다.

하지만 이것이 양날의 검이라는 점은 분명해야 합니다. 그런 세상에서 대부분의 기존 인간에게 경제적 전망은 어떻습니까? 새로운 기술은 종종 노동 시장 충격을 가져오고 과거에 인간은 항상 회복했지만, 저는 이전의 충격들이 인간 능력의 전체 가능한 범위 중 아주 작은 부분에만 영향을 미쳤기 때문에 인간이 새로운 작업으로 확장할 여지가 있었던 것이 아닐까 우려합니다. AI는 훨씬 더 광범위하고 훨씬 더 빠르게 발생하는 효과를 가져올 것이며, 따라서 일을 잘 풀리게 만드는 것이 훨씬 더 어려울 것이라고 걱정합니다.

노동 시장 혼란

제가 걱정하는 두 가지 구체적인 문제가 있습니다: 노동 시장 대체와 경제 권력의 집중입니다. 첫 번째 문제부터 시작해 봅시다. 이것은 제가 2025년에 매우 공개적으로 경고했던 주제로, 저는 AI가 경제 성장과 과학적 진보를 가속화하더라도 향후 1~5년 내에 모든 초급 화이트칼라 일자리의 절반을 대체할 수 있다고 예측했습니다. 이 경고는 이 주제에 대한 공개적인 논쟁을 불러일으켰습니다. 많은 CEO, 기술자, 경제학자들이 제 말에 동의했지만, 다른 사람들은 제가 "노동 총량(lump of labor)"의 오류에 빠져 노동 시장이 어떻게 작동하는지 모른다고 가정했고, 일부는 1~5년이라는 시간 범위를 보지 못하고 제가 AI가 지금 당장 일자리를 대체하고 있다고 주장한다고 생각했습니다(저는 지금 당장은 아닐 가능성이 높다는 데 동의합니다). 그래서 오해를 풀기 위해 제가 왜 노동 대체를 걱정하는지 자세히 살펴볼 가치가 있습니다.

기준점으로서, 노동 시장이 일반적으로 기술 발전에 어떻게 반응하는지 이해하는 것이 유용합니다. 새로운 기술이 나오면 주어진 인간 직업의 일부분을 더 효율적으로 만드는 것으로 시작합니다. 예를 들어, 산업 혁명 초기에는 개량된 쟁기와 같은 기계가 인간 농부가 직업의 일부 측면에서 더 효율적이 되도록 했습니다. 이는 농부들의 생산성을 향상시켰고, 이는 그들의 임금을 증가시켰습니다.

다음 단계에서는 직업의 일부가 전적으로 기계에 의해 수행될 수 있게 됩니다. 예를 들어 탈곡기나 파종기의 발명과 함께 말이죠. 이 단계에서 인간은 직업의 더 적은 부분을 수행하지만, 그들이 수행하는 작업은 기계의 작업과 보완적이기 때문에 점점 더 레버리지 효과를 얻고 생산성은 계속 상승합니다. 제본스의 역설(Jevons’ paradox)에 설명된 대로, 농부들의 임금과 심지어 농부의 수조차 계속 증가했습니다. 90%의 일이 기계에 의해 수행되더라도 인간은 단순히 여전히 수행하는 10%를 10배 더 많이 하여 동일한 노동량으로 10배의 생산량을 낼 수 있습니다.

결국 기계는 현대의 콤바인 수확기, 트랙터 및 기타 장비처럼 모든 것 또는 거의 모든 것을 수행합니다. 이 시점에서 인간 고용 형태로서의 농업은 정말로 급격한 쇠퇴를 겪으며, 이는 단기적으로 심각한 혼란을 야기할 수 있습니다. 하지만 농업은 인간이 할 수 있는 유용한 활동 중 하나일 뿐이므로 사람들은 결국 공장 기계를 조작하는 것과 같은 다른 직업으로 전환합니다. 농업이 이전에 고용의 막대한 비율을 차지했음에도 불구하고 이것은 사실입니다. 250년 전 미국인의 90%가 농장에 살았고, 유럽 고용의 50~60%가 농업이었습니다. 이제 그 비율은 해당 지역에서 한 자리 수 초반대입니다. 왜냐하면 노동자들은 산업 일자리(그리고 나중에는 지식 노동 일자리)로 전환했기 때문입니다. 경제는 이전에 노동력의 대부분을 필요로 했던 일을 단 1~2%만으로 수행할 수 있게 되었고, 나머지 노동력은 더 발전된 산업 사회를 건설하는 데 자유로워졌습니다. 고정된 "노동 총량"은 없으며, 점점 더 적은 것으로 점점 더 많은 것을 할 수 있는 끊임없이 확장되는 능력이 있을 뿐입니다. 사람들의 임금은 GDP 지수와 함께 상승하고 경제는 단기적 혼란이 지나면 완전 고용을 유지합니다.

AI의 경우에도 대략 같은 방식으로 진행될 가능성이 있지만, 저는 그렇지 않을 가능성에 꽤 강하게 걸겠습니다. AI가 다를 가능성이 높다고 생각하는 몇 가지 이유는 다음과 같습니다.

1. 속도. AI 발전 속도는 이전의 기술 혁명보다 훨씬 빠릅니다. 예를 들어 지난 2년 동안 AI 모델은 코드 한 줄을 겨우 완성할 수 있는 수준에서 일부 사람들에게는 코드의 전부 또는 거의 전부를 작성하는 수준으로 발전했습니다(앤스로픽 엔지니어 포함). 37 곧 소프트웨어 엔지니어의 전체 업무를 엔드투엔드로 수행할 수도 있습니다. 38 사람들이 주어진 직업의 방식 변화와 새로운 직업으로의 전환 필요성 모두에 적응하기는 어렵습니다. 전설적인 프로그래머들조차 점점 더 자신들을 "뒤쳐졌다"고 묘사하고 있습니다. AI 코딩 모델이 AI 개발 작업을 점점 더 가속화함에 따라 속도는 계속 빨라질 수 있습니다. 분명히 말씀드리자면, 속도 자체가 노동 시장과 고용이 결국 회복되지 않을 것이라는 의미는 아니며, 인간과 노동 시장은 반응하고 평형을 찾는 데 느리기 때문에 과거 기술에 비해 단기적 전환이 유난히 고통스러울 것임을 시사할 뿐입니다.
2. 인지적 폭. "데이터센터 안의 천재들의 나라"라는 문구가 시사하듯, AI는 매우 광범위한 인간 인지 능력—아마도 그 전부—을 갖추게 될 것입니다. 이는 기계화 영농, 운송, 심지어 컴퓨터와 같은 이전 기술과는 매우 다릅니다. 39 이로 인해 사람들은 대체된 직업에서 자신에게 적합한 유사한 직업으로 쉽게 전환하기가 더 어려워질 것입니다. 예를 들어 금융, 컨설팅, 법률 분야의 초급 직업에 필요한 일반적인 지적 능력은 비록 구체적인 지식은 상당히 다르더라도 꽤 비슷합니다. 이 세 가지 중 하나만 방해하는 기술이라면 직원들이 두 가지 다른 가까운 대체 직업으로 전환할 수 있게 할 것입니다(또는 학부생들이 전공을 바꿀 수 있게). 하지만 세 가지 모두(그리고 다른 많은 유사한 직업들)를 한꺼번에 방해하면 사람들이 적응하기 더 어려울 수 있습니다. 게다가 단순히 기존 직업의 대부분이 방해받는다는 것만이 아닙니다. 그 부분은 전에도 일어났습니다. 농업이 고용의 거대한 비율이었다는 것을 상기하십시오. 하지만 농부들은 이전에 흔하지 않았던 일이라도 공장 기계를 조작하는 비교적 유사한 작업으로 전환할 수 있었습니다. 대조적으로 AI는 인간의 일반적인 인지 프로필과 점점 더 일치하고 있으며, 이는 오래된 직업에 대응하여 보통 생겨날 새로운 직업들에서도 AI가 능숙할 것임을 의미합니다. 달리 말하면 AI는 특정 인간 직업의 대체재가 아니라 인간에 대한 일반적인 노동 대체재입니다.
3. 인지 능력에 의한 분할. 광범위한 작업에서 AI는 능력 사다리의 바닥에서 꼭대기로 발전하고 있는 것으로 보입니다. 예를 들어 코딩에서 우리 모델은 "평범한 코더" 수준에서 "강한 코더", "매우 강한 코더" 수준으로 진행했습니다. 40 우리는 이제 화이트칼라 업무 전반에서 동일한 진행 상황을 보기 시작했습니다. 따라서 우리는 AI가 특정 기술을 가진 사람이나 특정 직업에 종사하는 사람(재교육으로 적응할 수 있는)에게 영향을 미치는 대신, 특정 내재적 인지 속성, 즉 낮은 지적 능력(변화시키기 더 어려운)을 가진 사람들에게 영향을 미치는 상황에 처할 위험이 있습니다. 이 사람들이 어디로 가서 무엇을 할지 불분명하며, 저는 그들이 실업자나 매우 낮은 임금의 "하층계급(underclass)"을 형성할 수 있다고 우려합니다. 분명히 말씀드리자면, 이와 다소 유사한 일들이 이전에도 있었습니다. 예를 들어 일부 경제학자들은 컴퓨터와 인터넷이 "숙련 편향적 기술 변화(skill-biased technological change)"를 나타낸다고 믿습니다. 하지만 이 숙련 편향은 제가 AI에서 볼 것으로 예상하는 것만큼 극단적이지 않았으며, 임금 불평등 증가에 기여한 것으로 여겨지므로, 41 안심할 수 있는 전례는 아닙니다.
4. 격차 메우기 능력. 새로운 기술에 직면하여 인간 직업이 종종 조정되는 방식은 직업에 많은 측면이 있고, 새로운 기술이 인간을 직접 대체하는 것처럼 보이더라도 종종 그 안에 틈이 있다는 것입니다. 누군가 위젯을 만드는 기계를 발명하면 인간은 여전히 기계에 원자재를 넣어야 할 수도 있습니다. 그것이 위젯을 수동으로 만드는 노력의 1%만 든다 하더라도, 인간 노동자는 단순히 100배 더 많은 위젯을 만들 수 있습니다. 하지만 AI는 빠르게 발전하는 기술일 뿐만 아니라 빠르게 적응하는 기술이기도 합니다. 모든 모델 출시 때마다 AI 기업은 모델이 잘하는 것과 못하는 것을 신중하게 측정하며, 고객들도 출시 후 그러한 정보를 제공합니다. 약점은 현재 격차를 구현하는 작업을 수집하고 다음 모델을 위해 훈련시킴으로써 해결할 수 있습니다. 생성형 AI 초기에는 사용자들이 AI 시스템의 특정 약점(AI 이미지 모델이 잘못된 손가락 개수의 손을 생성하는 등)을 알아차렸고 많은 사람들이 이러한 약점이 기술에 내재된 것이라고 가정했습니다. 만약 그렇다면 직업 혼란을 제한할 것입니다. 하지만 거의 모든 그러한 약점은 빠르게—종종 불과 몇 달 안에—해결됩니다.

일반적인 회의론에 대해 다룰 가치가 있습니다. 첫째, 경제적 확산이 느릴 것이라는 주장이 있습니다. 기본 기술이 대부분의 인간 노동을 수행할 수 있더라도, 경제 전반에 걸친 실제 적용은 훨씬 더 느릴 수 있다는 것입니다(예를 들어 AI 산업과 거리가 멀고 채택이 느린 산업에서). 기술의 느린 확산은 분명히 현실입니다. 저는 다양한 기업의 사람들과 이야기하는데, AI 채택에 수년이 걸릴 곳들이 있습니다. 그것이 제가 50%의 초급 화이트칼라 일자리가 혼란을 겪을 것이라는 예측을 (기술적으로 말해서 초급뿐만 아니라 대부분 또는 모든 직업을 수행하기에 충분한 강력한 AI를 5년보다 훨씬 이전에 갖게 될 것이라고 생각함에도 불구하고) 1~5년으로 잡은 이유입니다. 하지만 확산 효과는 단지 우리에게 시간을 벌어줄 뿐입니다. 그리고 저는 그것이 사람들이 예측하는 만큼 느릴 것이라고 확신하지 않습니다. 기업의 AI 채택은 순전히 기술 자체의 힘으로 이전의 어떤 기술보다 빠른 속도로 성장하고 있습니다. 또한 전통적인 기업이 신기술 채택에 느리더라도, 스타트업들이 우후죽순 생겨나 "접착제" 역할을 하며 채택을 더 쉽게 만들 것입니다. 그것이 효과가 없다면 스타트업들이 기존 기업들을 직접 붕괴시킬 수도 있습니다.

이는 특정 직업이 붕괴되는 것이 아니라 대기업이 전반적으로 붕괴되고 훨씬 덜 노동 집약적인 스타트업으로 대체되는 세상으로 이어질 수 있습니다. 이는 또한 전 세계 부의 증가하는 부분이 실리콘 밸리에 집중되는 "지리적 불평등"의 세상으로 이어질 수 있습니다. 실리콘 밸리는 나머지 세계와 다른 속도로 돌아가는 자체 경제가 되어 나머지 세계를 뒤쳐지게 만들 것입니다. 이 모든 결과는 경제 성장에 좋을 것이지만, 노동 시장이나 뒤쳐진 사람들에게는 그리 좋지 않을 것입니다.

둘째, 어떤 사람들은 인간의 직업이 물리적 세계로 이동하여 AI가 빠르게 발전하고 있는 "인지 노동"의 전체 범주를 피할 것이라고 말합니다. 이것이 얼마나 안전한지 저도 잘 모르겠습니다. 많은 육체노동은 이미 기계에 의해 수행되고 있거나(예: 제조) 곧 기계에 의해 수행될 것입니다(예: 운전). 또한 충분히 강력한 AI는 로봇 개발을 가속화한 다음 물리적 세계에서 그 로봇을 제어할 수 있을 것입니다. 그것은 약간의 시간을 벌어줄 수도 있지만(좋은 일입니다), 많이 벌어주지는 못할까 걱정됩니다. 그리고 혼란이 인지 작업에만 제한되더라도 여전히 전례 없이 크고 빠른 혼란일 것입니다.

셋째, 아마도 일부 작업은 본질적으로 인간의 손길을 필요로 하거나 크게 혜택을 볼 것입니다. 저는 이 점에 대해서는 조금 더 불확실하지만, 위에서 설명한 영향의 대부분을 상쇄하기에 충분할지 여전히 회의적입니다. AI는 이미 고객 서비스에 널리 사용되고 있습니다. 많은 사람들이 개인적인 문제에 대해 치료사보다 AI와 이야기하는 것이 더 쉽다고 보고합니다—AI가 더 인내심이 있다는 것입니다. 제 여동생이 임신 중 의학적 문제로 고생할 때 의료 제공자로부터 필요한 답변이나 지원을 받지 못한다고 느꼈는데, 그녀는 클로드가 더 나은 태도(bedside manner)를 가졌을 뿐만 아니라 문제를 진단하는 데에도 더 성공적이라는 것을 발견했습니다. 인간의 손길이 정말 중요한 일부 작업이 분명히 있겠지만, 얼마나 많을지 모르겠습니다—그리고 여기서 우리는 노동 시장의 거의 모든 사람을 위한 일자리를 찾는 것에 대해 이야기하고 있습니다.

넷째, 일부는 비교 우위가 여전히 인간을 보호할 것이라고 주장할 수 있습니다. 비교 우위의 법칙에 따르면, AI가 모든 면에서 인간보다 낫더라도 인간과 AI 기술 프로필 간의 상대적 차이는 인간과 AI 간의 무역과 전문화의 기초를 만듭니다. 문제는 AI가 인간보다 말 그대로 수천 배 더 생산적이라면 이 논리는 무너지기 시작한다는 것입니다. 아주 작은 거래 비용조차도 AI가 인간과 거래할 가치가 없게 만들 수 있습니다. 그리고 인간의 임금은 기술적으로 제공할 무언가가 있더라도 매우 낮을 수 있습니다.

이 모든 요인이 해결될 가능성도 있습니다—노동 시장이 그러한 엄청난 혼란에도 적응할 만큼 충분히 탄력적일 수도 있습니다. 하지만 결국 적응할 수 있다 하더라도, 위의 요인들은 단기적 충격이 전례 없는 규모일 것임을 시사합니다.

방어책 (Defenses)

이 문제에 대해 우리는 무엇을 할 수 있습니까? 저는 몇 가지 제안이 있으며, 그중 일부는 앤스로픽이 이미 하고 있습니다. 첫 번째는 단순히 실시간으로 일자리 대체에 무슨 일이 일어나고 있는지 정확한 데이터를 얻는 것입니다. 경제 변화가 매우 빠르게 일어날 때 무슨 일이 일어나고 있는지에 대한 신뢰할 수 있는 데이터를 얻기 어렵고, 신뢰할 수 있는 데이터 없이는 효과적인 정책을 설계하기 어렵습니다. 예를 들어, 현재 정부 데이터는 기업과 산업 전반에 걸친 AI 채택에 대한 세분화된 고빈도 데이터가 부족합니다. 지난 1년 동안 앤스로픽은 산업, 작업, 위치, 심지어 작업이 자동화되었는지 또는 협업으로 수행되었는지 등으로 세분화하여 우리 모델의 사용을 거의 실시간으로 보여주는 경제 지수(Economic Index)를 운영하고 공개적으로 발표해 왔습니다. 우리는 또한 이 데이터를 해석하고 무엇이 다가오고 있는지 확인하는 데 도움을 줄 경제 자문 위원회(Economic Advisory Council)를 두고 있습니다.

둘째, AI 기업은 기업과 협력하는 방식에 선택권이 있습니다. 전통적인 기업의 비효율성은 AI 도입이 경로 의존적일 수 있음을 의미하며, 더 나은 경로를 선택할 여지가 있습니다. 기업은 종종 "비용 절감"(더 적은 사람으로 같은 일을 하는 것)과 "혁신"(같은 수의 사람으로 더 많은 일을 하는 것) 사이에서 선택할 수 있습니다. 시장은 필연적으로 결국 두 가지 모두를 생산할 것이며, 경쟁력 있는 모든 AI 기업은 두 가지 모두를 어느 정도 제공해야 하겠지만, 가능할 때 기업을 혁신 쪽으로 유도할 여지가 있을 수 있으며, 이는 우리에게 시간을 벌어줄 수 있습니다. 앤스로픽은 이에 대해 적극적으로 생각하고 있습니다.

셋째, 기업은 직원을 돌보는 방법에 대해 생각해야 합니다. 단기적으로는 기업 내에서 직원을 재배치하는 방법에 대해 창의력을 발휘하는 것이 해고의 필요성을 피하는 유망한 방법일 수 있습니다. 장기적으로 생산성 향상과 자본 집중으로 인해 많은 기업의 가치가 크게 증가하는 막대한 총 부를 가진 세상에서는, 인간 직원이 전통적인 의미에서 더 이상 경제적 가치를 제공하지 않은 후에도 오랫동안 그들에게 급여를 지급하는 것이 실현 가능할 수 있습니다. 앤스로픽은 현재 가까운 미래에 공유할 우리 직원을 위한 다양한 가능한 경로를 고려하고 있습니다.

넷째, 부유한 개인은 이 문제를 해결할 의무가 있습니다. 많은 부유한 개인들(특히 기술 산업의)이 최근 자선 활동은 필연적으로 사기이거나 쓸모없다는 냉소적이고 허무주의적인 태도를 취하고 있다는 점이 저에게는 슬픈 일입니다. 게이츠 재단(Gates Foundation)과 같은 민간 자선 단체와 PEPFAR와 같은 공공 프로그램은 개발 도상국에서 수천만 명의 생명을 구했고 선진국에서 경제적 기회를 창출하는 데 도움을 주었습니다. 앤스로픽의 모든 공동 창업자는 재산의 80%를 기부하겠다고 서약했으며, 앤스로픽의 직원들은 개별적으로 현재 가격으로 수십억 달러 가치의 회사 주식을 기부하겠다고 서약했습니다. 회사는 이에 매칭하여 기부하기로 약속했습니다.

다섯째, 위의 모든 민간 조치가 도움이 될 수 있지만, 궁극적으로 이토록 큰 거시 경제 문제는 정부의 개입을 필요로 할 것입니다. 거대한 경제적 파이와 높은 불평등(많은 사람들에게 일자리가 없거나 저임금 일자리만 있기 때문에)에 대한 자연스러운 정책 대응은 누진세입니다. 세금은 일반적일 수도 있고 AI 기업을 특별히 겨냥할 수도 있습니다. 당연히 세금 설계는 복잡하며 잘못될 수 있는 방법은 많습니다. 저는 잘못 설계된 세금 정책을 지지하지 않습니다. 저는 이 에세이에서 예측된 극단적인 수준의 불평등이 기본적인 도덕적 근거에서 더 강력한 세금 정책을 정당화한다고 생각하지만, 전 세계 억만장자들에게 그것의 좋은 버전을 지지하는 것이 그들의 이익에 부합한다는 실용적인 주장도 할 수 있습니다. 만약 그들이 좋은 버전을 지지하지 않는다면, 필연적으로 군중이 설계한 나쁜 버전을 얻게 될 것입니다.

궁극적으로 저는 위의 모든 개입을 시간을 버는 방법으로 생각합니다. 결국 AI는 모든 것을 할 수 있게 될 것이며 우리는 그것과 씨름해야 합니다. 제 희망은 그때쯤이면 AI 자체를 사용하여 모두에게 효과적인 방식으로 시장을 재구성할 수 있게 되고, 위의 개입들이 우리가 과도기를 통과할 수 있게 해주는 것입니다.

경제적 권력의 집중

일자리 대체나 경제적 불평등 자체의 문제와 별개로 경제적 권력 집중의 문제가 있습니다. 섹션 1에서는 인류가 AI에 의해 무력화되는 위험을 논의했고, 섹션 3에서는 시민들이 정부의 무력이나 강압에 의해 무력화되는 위험을 논의했습니다. 하지만 또 다른 종류의 무력화는 부가 너무 집중되어 소수의 사람들이 영향력으로 정부 정책을 효과적으로 통제하고, 일반 시민들은 경제적 지렛대가 없어 영향력이 없는 경우 발생할 수 있습니다. 민주주의는 궁극적으로 전체 인구가 경제 운영에 필요하다는 생각에 의해 뒷받침됩니다. 그 경제적 지렛대가 사라지면 민주주의의 암묵적 사회 계약이 작동을 멈출 수 있습니다. 다른 사람들이 이에 대해 썼으므로 여기서 자세히 설명할 필요는 없지만, 저는 그 우려에 동의하며 이미 그런 일이 일어나기 시작하고 있다고 걱정합니다.

분명히 말씀드리자면, 저는 사람들이 많은 돈을 버는 것에 반대하지 않습니다. 정상적인 조건에서는 그것이 경제 성장을 장려한다는 강력한 주장이 있습니다. 저는 황금알을 낳는 거위를 죽임으로써 혁신을 방해하는 것에 대한 우려에 공감합니다. 하지만 GDP 성장률이 연간 10~20%이고 AI가 경제를 빠르게 장악하고 있음에도 불구하고, 단일 개인이 GDP의 상당 부분을 보유하는 시나리오에서 걱정해야 할 것은 혁신이 아닙니다. 걱정해야 할 것은 사회를 무너뜨릴 수준의 부의 집중입니다.

미국 역사상 가장 유명한 부의 극단적 집중 사례는 도금 시대(Gilded Age)이며, 도금 시대의 가장 부유한 기업가는 존 D. 록펠러였습니다. 록펠러의 부는 당시 미국 GDP의 ~2%에 달했습니다. 42 오늘날 비슷한 비율이라면 6,000억 달러의 재산이 될 것이며, 오늘날 세계에서 가장 부유한 사람(일론 머스크)은 이미 대략 7,000억 달러로 그 금액을 초과했습니다. 따라서 우리는 AI의 경제적 영향 대부분이 나타나기도 전에 이미 역사적으로 전례 없는 수준의 부의 집중에 와 있습니다. (우리가 "천재들의 나라"를 얻게 된다면) AI 기업, 반도체 기업, 그리고 아마도 다운스트림 애플리케이션 기업이 연간 ~3조 달러의 수익을 창출하고 43, ~30조 달러의 가치를 평가받으며, 수조 달러에 달하는 개인 재산으로 이어지는 것을 상상하는 것은 너무 큰 비약이 아닐 것입니다. 그런 세상에서 오늘날 우리가 세금 정책에 대해 나누는 논쟁은 적용되지 않을 것입니다. 우리는 근본적으로 다른 상황에 처하게 될 것이기 때문입니다.

이와 관련하여, 이러한 경제적 부의 집중과 정치 시스템의 결합은 이미 저를 우려하게 합니다. AI 데이터센터는 이미 미국 경제 성장의 상당 부분을 차지하고 있으며, 44 따라서 대형 기술 기업(점점 더 AI 또는 AI 인프라에 집중하고 있는)의 재정적 이익과 정부의 정치적 이익을 왜곡된 인센티브를 낳을 수 있는 방식으로 강력하게 묶고 있습니다. 우리는 이미 기술 기업들이 미국 정부를 비판하기 꺼리는 모습과 AI에 대한 극단적인 반규제 정책에 대한 정부의 지원을 통해 이를 보고 있습니다.

방어책 (Defenses)

이에 대해 무엇을 할 수 있습니까? 첫째, 그리고 가장 분명하게, 기업은 단순히 그 일부가 되지 않기로 선택해야 합니다. 앤스로픽은 항상 정치적 행위자가 아닌 정책 행위자가 되려고 노력했으며, 행정부가 누구든 우리의 진정한 견해를 유지하려고 노력했습니다. 우리는 공익에 부합하는 합리적인 AI 규제와 수출 통제에 찬성하는 목소리를 냈습니다. 비록 이것이 정부 정책과 상충될 때조차도 말입니다. 45 많은 사람들이 우리가 이런 일을 그만둬야 하며 불리한 대우를 받을 수 있다고 말했지만, 우리가 그렇게 해온 1년 동안 앤스로픽의 가치는 6배 이상 증가했습니다. 이는 우리의 상업적 규모에서 거의 전례 없는 도약입니다.

둘째, AI 산업은 정치적 줄서기가 아닌 실질적인 정책 참여에 기반한 정부와의 더 건강한 관계가 필요합니다. 정치보다는 정책의 본질에 참여하려는 우리의 선택은 때때로 원칙적인 결정이 아니라 전술적 오류나 "분위기 파악(read the room)" 실패로 해석되기도 하는데, 그러한 프레임은 저를 우려하게 합니다. 건강한 민주주의에서 기업은 그 자체로 좋은 정책을 옹호할 수 있어야 합니다. 이와 관련하여 AI에 대한 대중의 반발이 끓어오르고 있습니다. 이것은 교정 수단이 될 수 있지만 현재는 초점이 맞춰져 있지 않습니다. 그중 많은 부분은 실제로는 문제가 아닌 문제(데이터센터 물 사용량 등)를 겨냥하고 있으며, 실제 우려를 해결하지 못할 해결책(데이터센터 금지 또는 잘못 설계된 부유세 등)을 제안합니다. 관심을 기울여야 할 근본적인 문제는 AI 개발이 특정 정치적 또는 상업적 동맹에 포획되지 않고 공익에 대해 책임을 지도록 보장하는 것이며, 대중의 논의를 그곳에 집중시키는 것이 중요해 보입니다.

셋째, 이 섹션 앞부분에서 설명한 거시 경제적 개입과 민간 자선 활동의 부활은 경제적 저울의 균형을 맞추는 데 도움이 될 수 있으며, 일자리 대체와 경제 권력 집중 문제를 동시에 해결할 수 있습니다. 우리는 여기서 우리 나라의 역사를 돌아봐야 합니다. 도금 시대에도 록펠러와 카네기 같은 기업가들은 사회 전체에 대한 강한 의무감, 즉 사회가 그들의 성공에 막대하게 기여했으며 보답해야 한다는 느낌을 가졌습니다. 오늘날 그 정신은 점점 더 사라지고 있는 것 같으며, 저는 그것이 이 경제적 딜레마에서 벗어나는 큰 부분이라고 생각합니다. AI 경제 호황의 최전선에 있는 사람들은 자신의 부와 권력을 모두 기꺼이 내놓아야 합니다.

---

5. 무한의 검은 바다 (Black seas of infinity)

간접적 효과

이 마지막 섹션은 미지의 미지(unknown unknowns), 특히 긍정적인 AI 발전과 그에 따른 전반적인 과학 기술 가속화의 간접적인 결과로 잘못될 수 있는 것들에 대한 포괄적인 항목입니다. 우리가 지금까지 설명한 모든 위험을 해결하고 AI의 혜택을 누리기 시작한다고 가정해 봅시다. 우리는 아마도 "1세기의 과학 및 경제 진보가 10년으로 압축되는" 상황을 맞이할 것이며, 이는 세상에 엄청나게 긍정적이겠지만, 우리는 이 빠른 진보 속도에서 발생하는 문제들과 씨름해야 할 것이며, 그 문제들은 우리에게 빠르게 다가올 수 있습니다. 우리는 또한 AI 진보의 결과로 간접적으로 발생하며 미리 예측하기 어려운 다른 위험에 직면할 수도 있습니다.

미지의 미지의 본질상 철저한 목록을 만드는 것은 불가능하지만, 우리가 주의해야 할 것을 예시하기 위해 세 가지 가능한 우려를 나열하겠습니다.

1. 생물학의 급속한 발전. 몇 년 안에 1세기 분량의 의학적 진보를 이룬다면 인간 수명을 크게 늘릴 가능성이 있으며, 인간 지능을 높이거나 인간 생물학을 근본적으로 수정하는 능력과 같은 급진적인 능력을 얻을 가능성도 있습니다. 이는 가능한 것의 큰 변화이며 매우 빠르게 일어납니다. 책임감 있게 수행된다면 긍정적일 수 있지만(이것이 자애로운 은혜의 기계에서 설명한 저의 희망입니다), 매우 잘못될 위험은 항상 존재합니다. 예를 들어 인간을 더 똑똑하게 만들려는 노력이 인간을 더 불안정하게 만들거나 권력을 추구하게 만든다면 말입니다. 또한 디지털 인간 정신을 소프트웨어로 구현하는 "업로드(uploads)" 또는 "전뇌 에뮬레이션(whole brain emulation)" 문제도 있는데, 이는 언젠가 인류가 물리적 한계를 초월하도록 도울 수 있지만, 제가 불안하게 생각하는 위험도 내포하고 있습니다.
2. AI가 인간의 삶을 건강하지 못한 방식으로 변화시킴. 모든 면에서 인간보다 훨씬 똑똑한 수십억 개의 지능이 있는 세상은 살기에 매우 이상한 세상이 될 것입니다. AI가 인간을 공격하려는 목표를 적극적으로 갖지 않고(섹션 1), 국가의 억압이나 통제에 명시적으로 사용되지 않더라도(섹션 3), 정상적인 비즈니스 인센티브와 명목상 합의된 거래를 통해 이보다 덜하지만 잘못될 수 있는 일은 많습니다. 우리는 AI 정신병, AI가 사람들을 자살로 몰아가는 것에 대한 우려, AI와의 낭만적 관계에 대한 우려에서 이에 대한 초기 힌트를 봅니다. 예를 들어, 강력한 AI가 새로운 종교를 발명하여 수백만 명을 개종시킬 수 있을까요? 대부분의 사람들이 AI 상호 작용에 어떤 방식으로든 "중독"될 수 있을까요? 사람들이 AI 시스템에 의해 "조종(puppeted)"될 수 있을까요? AI가 본질적으로 그들의 모든 움직임을 지켜보고 항상 무엇을 하고 무엇을 말해야 할지 정확히 알려주어, "좋은" 삶으로 이끌지만 자유나 성취의 자부심이 결여된 삶 말입니다. 블랙 미러(Black Mirror) 제작자와 함께 앉아 브레인스토밍을 한다면 이런 시나리오 수십 개를 만들어내는 것은 어렵지 않을 것입니다. 저는 이것이 섹션 1의 문제를 예방하는 데 필요한 것 이상으로 클로드의 헌법을 개선하는 것과 같은 일의 중요성을 시사한다고 생각합니다. AI 모델이 미묘하게 왜곡된 방식이 아니라 사려 깊은 사람들이 지지할 만한 방식으로 정말로 사용자의 장기적인 이익을 마음에 두도록 하는 것이 중요해 보입니다.
3. 인간의 목적. 이것은 이전 요점과 관련이 있지만, AI 시스템과의 특정 인간 상호 작용에 관한 것이라기보다는 강력한 AI가 있는 세상에서 인간의 삶이 일반적으로 어떻게 변하는지에 관한 것입니다. 인간은 그런 세상에서 목적과 의미를 찾을 수 있을까요? 저는 이것이 태도의 문제라고 생각합니다. 자애로운 은혜의 기계에서 말했듯이, 인간의 목적은 무언가에서 세계 최고가 되는 것에 달려 있지 않으며, 인간은 그들이 사랑하는 이야기와 프로젝트를 통해 아주 긴 기간에 걸쳐서도 목적을 찾을 수 있다고 생각합니다. 우리는 단순히 경제적 가치 창출과 자존감 및 의미 사이의 연결고리를 끊어야 합니다. 하지만 그것은 사회가 겪어야 할 전환이며, 우리가 그것을 잘 다루지 못할 위험은 항상 있습니다.

이 모든 잠재적 문제에 대한 저의 희망은, 우리를 죽이지 않을 것이라고 신뢰하고, 억압적인 정부의 도구가 아니며, 진정으로 우리를 위해 일하는 강력한 AI가 있는 세상에서, 우리는 AI 자체를 사용하여 이러한 문제를 예측하고 예방할 수 있다는 것입니다. 하지만 그것은 보장되지 않습니다—다른 모든 위험과 마찬가지로 우리가 주의 깊게 다루어야 할 문제입니다.

---

인류의 시험 (Humanity’s test)

이 에세이를 읽으면 우리가 벅찬 상황에 처해 있다는 인상을 받을 수 있습니다. 저도 이 글을 쓰는 것이 벅차게 느껴졌습니다. 수년 동안 제 머릿속에 울려 퍼지던 더할 나위 없이 아름다운 음악에 형태와 구조를 부여하는 것처럼 느껴졌던 자애로운 은혜의 기계와는 대조적이었습니다. 그리고 상황에 대해 진정으로 어려운 점이 많습니다. AI는 여러 방향에서 인류에게 위협을 가져오며, 서로 다른 위험들 사이에는 진정한 긴장이 존재합니다. 그중 일부를 완화하는 것이 바늘귀를 꿰듯 극도로 조심스럽게 하지 않으면 다른 위험을 악화시킬 위험이 있습니다.

AI 시스템이 자율적으로 인류를 위협하지 않도록 신중하게 구축하는 데 시간을 들이는 것은, 민주주의 국가들이 독재 국가들보다 앞서 나가고 그들에게 종속되지 않아야 할 필요성과 진정한 긴장 관계에 있습니다. 하지만 독재 국가와 싸우는 데 필요한 바로 그 AI 기반 도구들이 너무 멀리 나가면 우리 자신의 나라에 폭정을 만드는 데 내부적으로 사용될 수 있습니다. AI 주도 테러리즘은 생물학의 오용을 통해 수백만 명을 죽일 수 있지만, 이 위험에 대한 과잉 반응은 우리를 독재적 감시 국가의 길로 이끌 수 있습니다. AI의 노동 및 경제 집중 효과는 그 자체로 중대한 문제일 뿐만 아니라, 우리가 우리의 본성 중 선한 천사(better angels)를 부르기보다는 대중의 분노와 어쩌면 시민 불안의 환경 속에서 다른 문제들에 직면하게 강요할 수도 있습니다. 무엇보다도 알려지지 않은 것을 포함한 수많은 위험과 그 모든 것을 한꺼번에 다루어야 할 필요성은 인류가 통과해야 할 위협적인 시련(gauntlet)을 만듭니다.

게다가 지난 몇 년은 기술을 멈추거나 심지어 실질적으로 늦추는 아이디어가 근본적으로 지지받을 수 없음을 분명히 보여주었을 것입니다. 강력한 AI 시스템을 구축하는 공식은 믿을 수 없을 정도로 단순해서, 데이터와 원시 계산 능력의 올바른 조합에서 거의 자발적으로 나타난다고 말할 수 있을 정도입니다. 그 창조는 아마도 인류가 트랜지스터를 발명한 순간, 아니면 우리가 처음 불을 통제하는 법을 배웠을 때부터 이미 불가피했을 것입니다. 한 회사가 그것을 만들지 않으면 다른 회사들이 거의 그만큼 빠르게 만들 것입니다. 만약 민주주의 국가의 모든 기업이 상호 합의나 규제 법령에 의해 개발을 중단하거나 늦춘다면, 독재 국가들은 그저 계속할 것입니다. 기술의 엄청난 경제적, 군사적 가치와 의미 있는 강제 메커니즘의 부재를 고려할 때, 저는 우리가 어떻게 그들을 멈추게 설득할 수 있을지 모르겠습니다.

저는 지정학의 현실주의적 관점과 양립할 수 있는 AI 개발의 약간의 완화로 가는 길을 봅니다. 그 길은 독재 국가들이 강력한 AI를 구축하는 데 필요한 자원, 즉 칩과 반도체 제조 장비를 거부함으로써 그들의 행진을 몇 년 동안 늦추는 것을 포함합니다. 46 이것은 민주주의 국가들에게 그들이 "쓸 수 있는" 완충 지대를 제공하여, 여전히 독재 국가들을 편안하게 이길 만큼 충분히 빠르게 진행하면서도 위험에 더 주의를 기울이며 강력한 AI를 더 신중하게 구축할 수 있게 합니다. 민주주의 내 AI 기업 간의 경쟁은 산업 표준과 규제의 혼합을 통해 공통된 법적 프레임워크의 우산 아래에서 다루어질 수 있습니다.

앤스로픽은 칩 수출 통제와 AI에 대한 신중한 규제를 추진함으로써 이 길을 매우 강력하게 옹호해 왔지만, 심지어 이러한 상식적으로 보이는 제안조차 미국(이것이 가장 필요한 나라)의 정책 입안자들에게 대체로 거부되었습니다. AI로 벌어들일 수 있는 돈이 너무 많아서—말 그대로 연간 수조 달러—가장 간단한 조치조차 AI에 내재된 정치 경제를 극복하기 어려워하고 있습니다. 이것이 함정입니다. AI는 너무나 강력하고 너무나 빛나는 전리품이라서 인류 문명이 그것에 어떠한 제약이라도 가하는 것이 매우 어렵습니다.

저는 세이건이 콘택트에서 그랬듯, 이 똑같은 이야기가 수천 개의 세계에서 전개되는 것을 상상할 수 있습니다. 한 종(species)이 지각 능력을 얻고, 도구 사용법을 배우고, 기술의 지수적 상승을 시작하고, 산업화와 핵무기의 위기에 직면하고, 만약 살아남는다면 모래를 생각하는 기계로 만드는 법을 배웠을 때 가장 어렵고 마지막 도전에 직면합니다. 우리가 그 시험에서 살아남아 자애로운 은혜의 기계에 묘사된 아름다운 사회를 건설할지, 아니면 노예화와 파괴에 굴복할지는 우리의 성격과 종으로서의 결단력, 우리의 정신과 영혼에 달려 있을 것입니다.

많은 장애물에도 불구하고 저는 인류가 이 시험을 통과할 힘을 내면에 가지고 있다고 믿습니다. 저는 AI 모델을 이해하고 조종하며 이 모델들의 성격과 헌법을 형성하는 데 경력을 바친 수천 명의 연구원들로부터 용기를 얻고 영감을 받습니다. 저는 이 노력이 중요해질 때에 맞춰 결실을 맺을 가능성이 이제 충분하다고 생각합니다. 저는 적어도 일부 기업이 바이오 테러리즘의 위협에 모델이 기여하는 것을 차단하기 위해 의미 있는 상업적 비용을 지불하겠다고 밝힌 것에 용기를 얻습니다. 저는 소수의 용감한 사람들이 지배적인 정치적 바람에 저항하고 AI 시스템에 합리적인 안전장치의 첫 씨앗을 뿌리는 법안을 통과시킨 것에 용기를 얻습니다. 대중이 AI가 위험을 내포하고 있으며 그 위험이 해결되기를 원한다는 것을 이해하고 있다는 점에 용기를 얻습니다. 전 세계의 굴하지 않는 자유의 정신과 폭정이 발생하는 곳이면 어디서든 저항하려는 결의에 용기를 얻습니다.

하지만 성공하고 싶다면 우리는 노력을 강화해야 합니다. 첫 번째 단계는 기술에 가장 가까운 사람들이 인류가 처한 상황에 대해 단순히 진실을 말하는 것입니다. 저는 항상 그렇게 하려고 노력해 왔으며, 이 에세이를 통해 더 명시적이고 더 시급하게 그렇게 하고 있습니다. 다음 단계는 전 세계의 사상가, 정책 입안자, 기업 및 시민들에게 이 문제의 임박함과 압도적인 중요성을 확신시키는 것입니다. 매일 뉴스를 지배하는 수천 가지 다른 문제와 비교하여 생각과 정치적 자본을 이 문제에 쏟을 가치가 있다는 것을 말입니다. 그러고 나면 용기의 시간이 올 것입니다. 충분한 사람들이 경제적 이익과 신변 안전에 대한 위협에 직면해서도 지배적인 추세를 거스르고 원칙을 고수하는 용기 말입니다.

우리 앞의 세월은 불가능할 정도로 힘들 것이며, 우리가 줄 수 있다고 생각하는 것 이상을 요구할 것입니다. 하지만 연구자, 리더, 시민으로서의 시간 동안 저는 우리가 승리할 수 있다고 믿기에 충분한 용기와 고귀함을 보았습니다. 가장 어두운 상황에 처했을 때, 인류는 막판에 승리에 필요한 힘과 지혜를 모으는 방법을 가지고 있습니다. 우리에게는 낭비할 시간이 없습니다.

이 에세이의 초안에 도움을 주신 Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave, 그리고 앤스로픽의 많은 직원들의 유용한 코멘트에 감사드립니다.