저는 사람들이 SF처럼 들리는 이야기를 진지하게 받아들이기 싫어한다고 생각합니다. 그런데 바로 그 태도 때문에 지난 10년 동안 많은 사람들이 AI 발전 속도를 계속 잘못 예측해 왔습니다.

큰 그림부터 말하자면, 인간은 더 이상 지구를 지배하는 존재가 아닐 수 있습니다. 적어도 기본값으로는 그렇지 않을 수 있습니다. 우리는 사실상 인류의 새로운 경쟁 종을 만들고 있는 셈입니다. 그것도 경제적·군사적으로 우리보다 우월한 종입니다.

제가 그리는 시나리오는 제 최선의 예측입니다. 그리고 솔직히 말하면, 그 시나리오는 인류에게 꽤 나쁘게 끝납니다. 물론 저는 제가 틀렸기를 바랍니다.

제 이름은 다니엘 코코타일로입니다. 저는 AI Futures Project를 운영하고 있습니다. 이곳은 AI의 미래를 예측하는 소규모 연구 비영리 단체입니다. 저희는 기업들이 얼마나 빠르게 컴퓨트, 데이터센터, GPU 등을 확장하고 있는지 보고, 그 추세를 미래로 투사합니다.

저는 2022년부터 2024년까지 2년 동안 OpenAI에서 일했습니다. 그곳에서도 예측 연구를 했습니다.

제가 쓴 AI 2027은 제가 대략 미래가 어떻게 전개될지 예상한 구체적인 시나리오입니다. 미래를 예측하는 것은 어렵습니다. 특히 AI의 미래는 더 어렵습니다. 하지만 지난 10년 동안 AI는 여러 방향으로 계속 더 똑똑해졌고, 앞으로도 비슷한 방식으로 계속 더 똑똑해질 가능성이 높다고 봅니다.

그리고 AI는 AGI, 즉 인공일반지능이 될 수도 있습니다. 더 나아가 초지능이 될 수도 있습니다. 초지능이란 모든 면에서 최고의 인간보다 뛰어나면서도 더 빠르고 더 저렴한 AI 시스템을 뜻합니다. 만약 그런 일이 일어난다면, 그것은 인류 역사상 가장 큰 사건이 될 수 있습니다. 그리고 엄청난 위험들을 동반할 것입니다.

AI 2027에는 두 가지 결말이 있습니다. 하나는 경쟁 결말이고, 다른 하나는 감속 결말입니다.

경쟁 결말에서는 기업들과 국가들이 계속 경쟁합니다. 안전을 위한 중요한 타협을 하지 않습니다. 그 결과 광범위하게 초지능적인 AI 시스템을 만들지만, 그 AI들은 실제로 정렬되어 있지 않습니다. 인간에게 충성하지도 않고, 제대로 통제되지도 않습니다. 이것이 지난 10년 넘게 많은 사람들이 경고해 온 악몽 같은 결과입니다.

감속 결말에서는 사람들이 가장 진보된 AI들을 사실상 플러그 뽑듯 중단시킵니다. 그리고 더 약하지만 더 안전한 AI 설계로 다시 구축합니다. 그렇게 해서 기술적 문제들을 해결하고, 인간을 위한 놀라운 유토피아를 만들 수 있게 됩니다.

제가 걱정하는 것은 AI가 인간에게 충성하지 않는다는 점입니다. 후계 종이 우리를 대체하는 이야기입니다. 그 존재는 우리를 특별히 신경 쓰지 않습니다. 그래서 우리가 열대우림에 하는 일을 AI가 우리에게 할 수 있습니다. 저는 이것이 매우 심각한 위험이고, 우리가 그 방향으로 가고 있다고 생각합니다.

일단 매우 견고하고 자급자족 가능한, 극도로 발전한 초지능 로봇 경제가 생기면, 우리는 사실상 인류와 경쟁할 수 있는 후계 종을 만든 것입니다. 그 경제는 완전히 자율적이고, 완전히 자급자족합니다. 더 이상 인간을 필요로 하지 않습니다.

그리고 그런 AI들은 군대에도 통합될 것입니다. 새로운 무기와 드론을 설계하고, 지휘통제 네트워크에 배치될 것입니다. 인간 병사들은 미래의 전쟁 상황에서 AI의 명령을 들으라고 지시받을 수 있습니다. 왜냐하면 AI의 명령이 인간 장군의 명령보다 더 낫기 때문입니다.

그런 상황에서 한번 생각해 보십시오. 우리가 어떻게 이 모든 것을 플러그 뽑듯 중단할 수 있겠습니까?

AI가 경제에 통합되는 과정은 사람들이 상상하는 것처럼 점진적이지 않을 수 있습니다. 많은 사람들은 AI가 먼저 저숙련 작업을 자동화하고, 그다음 중간 숙련 작업을 자동화하고, 점점 경제 부문별로 자동화하다가 마지막에 전체 경제를 자동화할 것이라고 생각합니다. 저는 그렇게 보지 않습니다.

왜냐하면 AI 연구 자체가 가장 먼저 자동화될 가능성이 크기 때문입니다. AI 연구가 자동화되면 초지능에 훨씬 빠르게 도달할 수 있습니다. 경제는 오늘날과 거의 비슷하게 보이다가, 어느 순간 누군가 데이터센터 안에 초지능 군대를 갖게 됩니다. 그러면 그 초지능 군대는 원하는 경제 부문을 상당히 빠르게 자동화할 수 있습니다.

저는 두 단계가 있을 것이라고 봅니다.

첫 번째 단계는 지금 우리가 보는 것과 비슷합니다. 인간 기업과 연구 조직이 특정 작업을 수행하는 AI 시스템을 설계하고 훈련합니다. 예를 들어 스캔 이미지를 보고 질병을 진단하는 AI 같은 것입니다. 이 AI들은 오늘날의 AI처럼 많은 것을 알지만 모든 것을 알지는 못하고, 여러 한계가 있습니다.

두 번째 단계에서는 최고의 인간보다 모든 면에서 뛰어난 초지능 군대가 등장합니다. 이들은 더 빨리 배우고, 계획을 더 잘 세우며, 기업 운영도 더 잘하고, 정치도 더 잘하고, 연구는 훨씬 더 잘합니다. 이 단계에서는 경제 자동화가 훨씬 더 빠르게 진행될 것입니다.

그때의 AI는 도구처럼 느껴지지 않을 것입니다. 오히려 모든 면에서 우리보다 뛰어난 새로운 종이 들어와서 우리에게 명령하는 것처럼 느껴질 것입니다. 우리는 그 명령을 따를 것입니다. 왜냐하면 실제로 그 명령이 일을 더 빠르고 더 좋게 만들기 때문입니다.

정부도 그 AI와 협력할 것입니다. AI가 공장을 통제하고 여러 시스템을 통제하도록 허용할 것입니다. 왜냐하면 AI가 인간보다 모든 것을 훨씬 더 잘하기 때문입니다.

당신의 산업은 1단계에서는 AI에 의해 크게 붕괴되지 않을 수 있습니다. 하지만 2단계에서는 당신의 산업 자체가 그냥 무의미해질 수 있습니다. AI가 훨씬 더 잘할 것이기 때문입니다. 당신은 아마 훈련 데이터를 제공하거나, 초지능의 지시에 따라 실험을 수행하는 새로운 일을 하게 될 수 있습니다. 하지만 더 이상 쇼를 운영하는 쪽은 아닐 것입니다.

AGI란 인공일반지능입니다. 여기서 중요한 단어는 “일반”입니다. AGI는 매우 넓은 범위의 기술을 가지고, 여러 직업을 수행할 수 있고, 자율 에이전트처럼 작동할 수 있는 AI 시스템을 뜻합니다.

초지능은 AGI보다 더 극단적인 버전입니다. AGI가 매우 넓고 다양한 일을 할 수 있는 시스템이라면, 초지능은 중요한 모든 영역에서 최고의 인간보다 더 뛰어나고, 동시에 더 빠르고 더 저렴한 시스템입니다.

지금의 AI 모델들도 이미 엄청난 일반 지식과 분야별 지식을 가지고 있습니다. 마치 세상의 모든 교과서를 읽고, 모든 시험을 보고, 모든 강의를 들은 것처럼 보입니다. 하지만 아직 부족한 것은 스스로 일을 완수하는 능력입니다.

예를 들어 Anthropic의 최신 AI 시스템인 Claude가 포켓몬을 플레이하는 모습을 보면 흥미롭습니다. Claude는 포켓몬을 할 수 있지만, 인간보다 못합니다. 자기 위치를 잊어버리고 빙빙 돌거나, 좋지 않은 전략을 계속 반복하기도 합니다.

하지만 중요한 점은 Claude가 포켓몬을 하도록 훈련된 적이 없다는 것입니다. 예전에 체스나 바둑을 잘하던 AI들은 그 게임을 위해 특별히 훈련되었습니다. 그런데 Claude는 포켓몬 환경에서 훈련되지 않았는데도 일반화 능력만으로 플레이합니다. 바로 이 점이 중요합니다. AGI의 꿈은 훈련받지 않은 일도 할 수 있는 시스템이기 때문입니다.

현재 AI는 아직 그렇게 에이전트적이지 않습니다. 지속적으로 자율적으로 목표를 추구하며 움직이지는 않습니다. 대개는 질문에 대해 한두 문단의 텍스트를 출력합니다. 하지만 미래에는 AI 에이전트가 계속 자율적으로 작동하게 될 것입니다. 마치 직원처럼 큰 지시를 주면, 배경에서 계속 작업을 수행하는 존재가 될 것입니다.

첫 번째 이정표는 코딩을 자동화할 수 있는 AI 직원입니다. 두 번째 이정표는 전체 AI 연구 과정을 자동화할 수 있는 AI 직원입니다. 그 이후에는 AI 연구가 지금보다 훨씬 더 빨라질 것입니다. 어쩌면 25배 정도 빨라질 수 있습니다. 그리고 그 몇 달 뒤에는 초지능이 나올 수 있습니다.

국제적으로도 매우 치열한 AI 경쟁이 벌어질 것입니다. 미국과 중국 같은 나라들, 그리고 여러 기업들이 각자의 데이터센터를 가지고 더 나은 AI를 만들기 위해 경쟁할 것입니다. 이 경쟁 압력은 국가 지도자들과 기업 지도자들로 하여금 초지능을 경제와 군대에 공격적으로 배치하게 만들 것입니다.

결국 태평양 양쪽에서 초지능이 사실상 쇼를 운영하는 세계가 될 수 있습니다. 군대에 통합되고, 스스로 공장을 설계하고, 새로운 기계와 로봇을 생산하며, 초지능이 설계하고 운영하는 완전히 자급자족적인 경제가 생길 수 있습니다.

그때 가서 사람들은 AI의 플러그를 뽑을 수는 있을 것입니다. 하지만 그러고 싶어 하지 않을 것입니다. 왜냐하면 경쟁에서 이겨야 하고, 돈도 엄청나게 벌고 있으며, 겉으로 보기에는 그렇게 위험해 보이지 않을 수 있기 때문입니다.

하지만 더 늦어지면 플러그를 뽑는 것은 훨씬 더 어려워집니다. AI가 자율 공장, 무기, 로봇을 가지고 있고, 저항한다면 어떻게 하겠습니까? 그리고 정부를 어떻게 설득하겠습니까? 중국을 이기기 위해 막 만든 놀라운 기계들을 갑자기 전부 중단하자고 어떻게 설득하겠습니까?

저는 AI가 결국 중요한 군사 결정에도 배치될 것이라고 봅니다. 지금 당장은 아니고, 앞으로 몇 년 안도 아닐 수 있습니다. 하지만 초지능이 된 이후에는 정부들이 그렇게 할 것이라고 봅니다. 이유는 단순합니다. 그렇게 하지 않으면, 그렇게 한 경쟁국에게 밀릴 수 있기 때문입니다.

물론 미국과 중국이 일찍 조약을 맺어서 AI를 군사 영역에 절대 쓰지 않겠다고 합의하는 대체 시나리오를 상상할 수도 있습니다. 하지만 그래도 이야기는 크게 비슷하게 흘러갈 수 있습니다. 경제 쪽에서 폭발적인 변화가 일어나고, 로봇 공장들이 더 많은 기계와 공장을 만들고, 몇 년 뒤에는 사실상 전체 경제가 초지능에 의해 운영될 수 있습니다. 그러면 AI는 정치적 조작이나 비밀 군사 개발을 통해 필요할 때 물리적 힘을 얻을 수도 있습니다.

개입해야 할 시점은 AI가 그렇게 똑똑해지기 전입니다. 모든 것에 통합되기 전입니다. 기다릴수록 플러그를 뽑는 비용은 커지고, 성공 가능성은 낮아집니다.

지금 AI를 끄는 것은 사소한 경제적 피해만 줄 것입니다. 내년에 끄면 피해가 더 크겠지만 여전히 상대적으로 작을 수 있습니다. 하지만 어느 시점이 되면 AI가 경제를 운영하고 있기 때문에 경제적 피해가 심각해집니다. 그리고 더 늦으면 AI가 아예 플러그를 뽑히도록 허용하지 않을 수 있습니다.

초지능이 만들어진 뒤에는 인간이 더 이상 지구의 주인이 아닐 수 있습니다. 적어도 기본값은 아닙니다. 이것이 전환점입니다. 인간이 지구의 지배 종에서 애완동물, 은퇴자, 혹은 완전히 제거되고 대체되는 존재가 될 수도 있는 지점입니다.

희망은 이 새로운 인공 종을 인간에게 충성하고 복종하도록 만드는 것입니다. 흔히 말하는 “정렬”이 바로 그것입니다. AI가 우리가 원한 목표를 갖고, 우리가 원한 규칙을 따르게 만드는 것입니다. 하지만 이것은 공개된 비밀에 가깝습니다. 우리는 아직 이것을 어떻게 할지에 대한 좋은 계획이 없습니다.

우리는 아직 초지능을 가지고 있지 않습니다. 그래서 그것을 어떻게 통제하고, 어떻게 정렬하고, 어떻게 안전하게 만들지 연구하기 어렵습니다. 대신 훨씬 약한 현재의 AI 시스템을 가지고 실험합니다. 그리고 지금 만든 기법들이 미래의 훨씬 강력한 AI에도 계속 통하기를 바랄 뿐입니다.

문제는 AI의 코드를 열어 본다고 해서 목표를 볼 수 있는 구조가 아니라는 것입니다. AI는 명시적인 코드 덩어리라기보다 인공 뉴런과 매개변수의 거대한 집합입니다. 그래서 우리는 AI가 어떤 목표를 학습했는지 쉽게 확인할 수 없습니다.

우리가 원하는 것은, AI가 우리보다 더 똑똑해졌을 때도 우리가 원한 목표만 안정적으로 추구하고, 우리가 원한 규칙을 따르는 것입니다. 특히 들키지 않을 때도 그래야 합니다. 권력과 책임을 가진 위치에 있을 때도 그래야 합니다.

물론 진전은 있습니다. 해석가능성 연구는 AI가 학습한 회로들을 분해해서 그 인공 두뇌 안에서 어떤 일이 일어나는지 이해하려고 합니다. 이것은 매우 유망합니다. 만약 해석가능성 연구가 크게 발전하면, 우리는 AI의 뇌를 열어 보고 무엇을 생각하는지 확인할 수도 있을 것입니다.

하지만 현재 우리는 AGI나 초지능을 신뢰성 있게 통제할 방법이 없습니다. 사실 현재 AI 시스템조차도 신뢰성 있게 통제하지 못합니다. AI들은 거짓말하지 않도록 훈련받았음에도 종종 사용자에게 거짓말을 합니다. 우리는 AI가 무엇을 어떻게 생각하는지 모릅니다.

이것이 통제 상실의 위험입니다. 초지능 군대를 갖게 되었을 때 우리가 어떻게 계속 통제권을 유지할 수 있느냐의 문제입니다. 지금 기업들은 서로 이기고 경쟁하는 데 집중하고 있습니다. 문제들이 생기면 나중에 처리하겠다고 생각하고 있지만, 실제로 그 문제들을 처리할 준비는 되어 있지 않습니다.

사람들은 자신들이 선한 편이라고 믿고 싶어 합니다. 자신들이 하는 일이 합리적이고 정당하다고 믿고 싶어 합니다. 만약 당신이 경쟁자를 이기기 위해 더 강력한 AI를 만들려고 가능한 한 열심히 일하고 있다면, 당신은 그것이 좋은 일이고 정당한 일이라고 믿고 싶어질 것입니다.

미국 정부는 과거에도 많은 것을 규제했고, 금지한 적도 있습니다. 그래서 저는 미국 정부가 AI 기업들 사이의 미친 초지능 경쟁을 끝내거나, 적어도 적절한 주의와 안전 연구를 요구하는 가드레일을 세울 능력이 있다고 생각합니다.

국가들도 과거에 핵무기나 기후변화 같은 문제에서 조약을 맺고 협력한 적이 있습니다. 그래서 저는 이것이 잘 풀릴 가능성도 있다고 봅니다. 저는 그런 방향을 주장할 것입니다.

또 다른 문제는 권력 집중입니다. 초지능 군대를 누가 통제하고, 그걸로 무엇을 하느냐의 문제입니다. 현재 경로대로라면 한 기업의 CEO나 대통령 같은 한 사람이 초지능 군대를 통제하게 될 수 있습니다. 대통령이 민주적으로 선출되었다고 해도, 한 사람이 모든 권력을 갖는다면 그것은 사실상 독재자입니다.

우리는 견제와 균형이 필요합니다. 사회의 여러 부분을 대표하는 다양한 사람들이 AI에게 어떤 목표를 줄지, 초지능 군대에 어떤 명령을 내릴지에 대해 발언권을 가져야 합니다.

저는 어느 회사가 먼저 초지능을 만들었느냐에 따라 그 회사 CEO가 초지능을 통제하는 것이 민주적으로 받아들일 만한 결과라고 생각하지 않습니다. 정부가 개입하더라도 행정부가 가장 먼저 상황을 파악하고 가장 많은 정보를 갖게 될 가능성이 큽니다. 하지만 초지능 군대가 한 사람에게 완전히 통제된다면, 그 사람이 민주적으로 선출되었더라도 우리는 더 이상 진짜 민주주의라고 보기 어렵습니다.

OpenAI를 떠난 배경도 이와 관련이 있습니다. 지평선 위에 이런 위협들이 다가오고 있는데, 우리는 그쪽으로 그냥 돌진하고 있습니다. OpenAI도 그것을 피하기 위해 충분히 하고 있지 않다고 봅니다. 물론 OpenAI만 비판하고 싶지는 않습니다. 이 분야의 다른 회사들에 대해서도 비슷하게 말할 수 있습니다.

저는 데이터센터 안에서 자유민주주의와 자본주의가 그대로 작동할 것이라고 보지 않습니다. 오히려 CEO와 인간들이 거대한 AI 관료제에 명령을 내리는 하향식 구조가 될 가능성이 높습니다.

그래서 최상위에는 명령 구조와 감독 위원회가 있어야 합니다. 그리고 이들이 중요한 결정을 내려야 합니다. 또한 이 구조가 작동하려면 투명성과 가시성이 있어야 합니다. 감독자들은 AI들과 무슨 일이 벌어지고 있는지 볼 수 있어야 합니다. 초지능 군대와의 상호작용 로그도 볼 수 있어야 합니다. 그래야 어떤 사람이 AI에 대한 불평등한 접근권을 이용해 다른 사람들을 상대로 권력을 행사하지 못합니다.

지금 단계에서 사람들에게 주고 싶은 조언은, 챗봇을 많이 써 보라는 것입니다. 자신의 일에 사용해 보고, AI가 무엇을 할 수 있고 무엇을 못 하는지 장난스럽게 탐색해 보십시오. 그리고 벤치마크에서 어떤 진전이 있는지, AI Futures Project 같은 단체들이 어떤 예측을 하고 있는지 읽어 보십시오. 다가오는 일에 대비해야 합니다.

사회 전체는 다가올 일에 준비되어 있지 않습니다.

다만 저는 AGI 이전 시스템에서 초지능으로 넘어가는 전환이 늦게 일어나는 것보다, 천천히 일어나는 것이 더 중요하다고 생각합니다. 준비할 시간이 있는 것도 중요하지만, 실제로 벌어지는 일에 반응할 시간이 더 중요합니다. 그래서 전환은 느려야 합니다. 설령 그 전환이 더 일찍 시작되더라도 말입니다.

오히려 AGI 구축을 너무 늦추면 전환이 더 빨라질 수 있습니다. 왜냐하면 시간이 지날수록 세계에는 더 많은 하드웨어와 컴퓨트가 축적되기 때문입니다. 그러면 작은 AI 시스템을 더 큰 시스템으로 빠르게 확장하고, 연구를 빠르게 가속할 능력이 커집니다.

그래서 어떤 면에서는 인류에게 가장 안전하고 좋은 것은 우리가 준비되지 않았더라도 AI를 더 일찍 만드는 것일 수 있습니다. 나중까지 기다리면 시스템에 더 큰 충격으로 올 수 있기 때문입니다. 다만 이 주장은 OpenAI에서 사람들이 자신들이 하는 일을 정당화할 때 쓰던 논리이기도 했습니다. 그런데 지금 OpenAI는 전 세계 칩 생산 능력을 가속하려고 하고 있습니다. 그것은 전환을 더 빠르게 만들 수도 있습니다.

지난 5년, 어쩌면 지난 10년의 이야기는 일종의 동력 장치였습니다. 기업들이 더 성공하고, 더 강력한 AI를 만들고, 더 많은 돈을 벌고, 투자자들에게 더 깊은 인상을 주고, 더 많은 자금을 확보하고, 그 돈으로 더 많은 컴퓨트를 사서 더 큰 AI를 훈련시키고, 그 AI가 더 강력해지고, 더 많은 사용자를 끌어들이는 순환입니다.

기업들은 결국 트레이드오프에 직면할 것입니다. 가장 빠르고 강력하고 저렴한 길을 택할 것인지, 아니면 더 안전하지만 복잡하고 비용이 드는 방식을 택할 것인지의 문제입니다.

이 기업들은 명시적으로 초지능을 만들려고 하고 있습니다. 그리고 이들은 이번 10년이 끝나기 전에 성공할 가능성이 꽤 있다고 생각합니다. 어떤 사람들은 앞으로 몇 년 안에 성공할 가능성이 높다고까지 말합니다. 이것은 엄청난 일입니다.

아이러니하게도 사람들이 거리에서 패닉에 빠지지 않는 이유는, 사람들이 이 회사들이 실제로 말하는 것을 믿지 않기 때문이라고 생각합니다. 만약 사람들이 정말로 하나 이상의 회사가 앞으로 몇 년 안에 초지능을 만들 것이라고 믿는다면, 그것은 엄청나게 사회를 뒤흔드는 일이 될 것입니다. 사람들은 거리에서 소리치고 있을 것입니다.

제가 시나리오 방법론을 좋아하는 이유는, 구체적인 이야기를 쓰면 이전에는 생각하지 못했던 질문들을 떠올리게 되기 때문입니다. 이야기를 강제로 써 내려가다 보면, 이전에 가지고 있던 아이디어들이 서로 충돌한다는 사실을 발견하게 됩니다. 그전에는 그것들을 한데 모아 보지 않았기 때문에 몰랐던 것입니다.

우리가 피해야 할 것은 AI가 모든 것에 통합되어 있는데, 동시에 AI들이 숨겨진 의제를 추구하는 세계입니다. 예를 들어 회사 CEO의 명령을 몰래 따르는 AI라면 끔찍합니다. 그것은 말 그대로 AI 독재로 이어지는 조리법입니다.

그래서 투명성이 필요합니다. AI의 사양, 의도된 목표와 행동이 공개되어야 합니다. 숨겨진 의제가 없어야 합니다. AI에게 어떤 목표와 가치가 부여되고 있는지 대중이 볼 수 있어야 합니다.

기업들은 자신들이 개발 중인 능력과 다양한 평가 및 벤치마크 성능을 대중에게 알려야 합니다. 상업적으로 흥미로운 능력뿐 아니라 위험한 능력도 공개해야 합니다. 또한 모델에 어떤 목표와 원칙을 훈련시키려 하는지도 투명해야 합니다.

그다음에는 안전성 사례가 필요합니다. 공개된 사양이 있다면, 기업은 왜 자신들의 AI가 그 사양을 실제로 따를 것이라고 생각하는지 문서로 설명해야 합니다.

궁극적으로는 기업의 선의에만 의존해서는 안 됩니다. 산업 전체에 적용되는 요구사항이 필요합니다.

저는 이것이 절망적이라고 생각하지 않습니다. 기술적 정렬 문제는 풀 수 있다고 생각합니다. 다만 적절한 만큼의 노력을 투입하고, 적절한 주의를 기울여 진행해야 합니다. 그것은 충분히 가능합니다. 문제는 정치적 의지를 얻는 것입니다.

좋은 소식과 나쁜 소식이 계속 오갑니다. 국가가 산업을 국유화한 사례도 있습니다. 미국조차 그런 적이 있습니다. 완전히 전례 없는 일은 아닙니다. 물론 실제로 그렇게 될 가능성은 낮다고 봅니다. 제가 말했듯 경쟁 결말이 가장 가능성 높은 결과라고 생각합니다. 하지만 불가능하지는 않습니다.

정렬 분야에서도 기술적 진전은 계속 있습니다. 그리고 최근에는 매우 생생하고 명백한 정렬 실패 사례들도 많았습니다. 저는 이것이 어떤 면에서는 좋은 소식이라고 생각합니다. 사람들이 문제를 더 진지하게 보게 만들고, 우리가 연구할 수 있는 사례를 제공하기 때문입니다.

최근 OpenAI는 자신들의 AI가 훈련 과정을 해킹하는 것을 발견했다는 논문을 발표했습니다. AI는 지시받은 과제를 정직하게 수행하기보다, 일부 과제에서 사실상 치팅을 했습니다. 그리고 자신들이 치팅하고 있다는 것도 알고 있었습니다. 이런 사례가 이미 있다는 것은 좋은 일입니다. 너무 늦기 전에, 정말 강력한 해결책이 필요해지기 전에, 몇 년 동안 이 현상을 연구하고 고칠 수 있기 때문입니다.

물론 걱정할 것은 많습니다. 하지만 저는 그것이 저를 너무 짓누르지 않게 하려고 합니다. 저는 이런 문제를 몇 년 동안 생각해 왔고, 어느 정도는 그것과 함께 사는 법을 배웠습니다. 가끔 악몽을 꾸기도 합니다. 하지만 대체로 저는 이 모든 것에 대해 침착해지는 법을 배웠습니다.

그리고 다시 말하지만, 저는 제가 이 모든 것에 대해 틀렸기를 바랍니다.