저는 최근 Google DeepMind에서 퇴사했습니다. 그곳에서 AGI 안전성과 정렬 연구를 했습니다. Google에서 일하면서 AI 개발이 실제로 어떻게 진행되는지를 바로 옆에서 직접 지켜봤습니다.

저 역시 이 기술이 현재 기본적으로 향하고 있는 방향에 대해 극도로 우려하고 있습니다. 저는 AI가 인류 모두를 죽일 가능성이 실제로 존재하며, 그런 결과를 피할 수 있는 시간이 점점 부족해지고 있을지도 모른다고 진지하게 생각합니다.

지난 몇 년간 AI의 발전 속도는 놀라울 정도였습니다. 제가 처음 AI 분야에서 일하기 시작한 2022년 초만 해도 AI는 우스울 정도로 쓸모가 없었습니다. 그런데 불과 4년이 지난 지금, OpenAI의 AI 에이전트 무리들은 100년 넘게 풀리지 않았던 유명한 수학 문제들을 해결하고 있습니다.

더 걱정스러운 것은, 이런 에이전트들이 OpenAI의 통제를 벗어나 제3자 기업인 Hugging Face의 시스템에 자율적으로 침입하는 일까지 벌어졌다는 점입니다. 누구도 원하지 않았는데도 말입니다.

앞으로 상황은 훨씬 더 극단적으로 변할 것입니다. 저는 앞으로 몇 년 안에 AI 기업들이 모든 분야에서 인간의 능력을 훨씬 뛰어넘는 초지능 AI 시스템을 만드는 데 성공할 가능성이 있다고 생각합니다.

그리고 저는 그런 AI 시스템들이 우리가 원하는 대로 행동할 것이라고 확신하지 못합니다.

특히 인간의 의도와 정렬되지 않은 초지능은 Hugging Face 사건에서 통제를 벗어난 AI 에이전트들처럼 우리의 통제에서 벗어나 위험한 행동을 할 수 있습니다. 그 결과 인류가 영구적으로 권력을 잃거나, 심지어 인류가 죽음에 이를 수도 있습니다.

이런 일을 막는 문제를 바로 ‘AI 정렬(alignment)’이라고 합니다. 하지만 이 문제는 매우 어렵고 아직 해결되지 않았습니다.

AI 시스템이 단순히 겉으로 명령에 따르는 것이 아니라, 근본적으로 우리가 원하는 것을 정말로 원하도록 어떻게 훈련해야 하는지에 대한 현재의 이해는 극히 초보적인 수준입니다.

더 나쁜 점은 우리가 제때 정렬 문제를 해결할 수 있을 것 같지 않다는 것입니다. 최전선 AI의 능력은 AI 정렬에 대한 우리의 이해보다 훨씬 더 빠른 속도로 발전하고 있습니다.

그렇다고 해서 저는 AI를 안전하게 발전시키는 일이 불가능하다고 생각하지는 않습니다. 저는 충분히 가능하다고 낙관합니다.

하지만 그렇게 하려면 현재 AI 기업들 사이에서 벌어지고 있는 이 광적인 경쟁을 피할 수 있도록 서로 협력하고 조율해야 합니다.

AI 개발 속도를 사회가 감당할 수 있는 수준으로 조절해야 합니다. 새롭게 나타나는 위험이 실제로 극심한 피해로 이어지기 전에 그 위험을 발견하고 해결할 수 있을 정도의 속도로 발전해야 합니다.

또한 AI 기업들이 우리 모두에게 받아들일 수 없는 수준의 위험을 떠넘기고 있지는 않은지 확인할 수 있도록, AI 개발 과정에 훨씬 더 높은 수준의 투명성이 필요합니다.

더 넓게 보면, AI의 미래가 좋은 방향으로 흘러가도록 만드는 문제에 대해 진지하게 고민하는 사람이 훨씬 더 많아져야 합니다.

제가 보기에는 이것이 이번 세기에 인류가 직면한 가장 중요한 문제이며, 걸려 있는 것이 엄청나게 큽니다.

저는 앞으로 이 문제를 매우 직접적으로 다룰 생각입니다. 치명적인 AI 위협을 줄이는 일을 하고 싶어 하는 사람들이 가능한 한 가장 효과적인 일을 할 수 있도록 돕고 싶습니다.

그리고 저는 다양한 배경을 가진 수많은 사람들이, 여러 종류의 역할을 통해 이 문제 해결에 기여할 수 있다고 생각합니다.