https://docs.google.com/document/d/e/2PACX-1vQNl3SEX5IyA6d9qHjjFZN-qzGRZNFI6b63g-yu1Fy-ZYkVfCWm7i9WXRXw63m6yDB_auDuPLyQ7jBm/pub

 

AI 위험에 대한 개인적 입장문

저는 15년 넘게 여러 서로 다른 패러다임을 넘나들며 AI 분야에서 연구해 왔습니다. MIT에서는 확률적 프로그래밍 언어에 관한 초기 연구를 했고, Microsoft Research에서는 Lean 정리 증명기의 초기 개발자 중 한 명이었습니다. 스탠퍼드 박사과정에서는 신경망이 추론하는 법을 학습할 수 있다는 초기 사례 중 하나를 보여주었습니다. 그리고 거의 5년 전 OpenAI에 합류한 뒤에는 언어 모델의 사고 과정(chain-of-thought) 최적화 연구를 개척하는 데 기여했으며, 최근에는 데이터 효율적인 사전학습 방법을 연구해 왔습니다.

다른 많은 사람들과 마찬가지로, 저는 언어 모델이 지금까지 얼마나 발전했는지, 그리고 앞으로의 모델들이 어떤 위험을 초래할 수 있는지를 보며 극도로 우려하게 되었습니다. 최근 프론티어 AI 연구를 이끄는 리더들이 제3자 감독을 의무화하고, 위험에 대응하기 위해 국내 및 국제적 공조를 추진하자고 제안한 것은 고무적이라고 생각합니다. 그러나 저는 공개적인 논의에서 매우 중요한 한 가지 요소가 빠져 있다고 생각하며, 단순히 프론티어 개발 속도를 좀 더 신중하게 조절하는 것만으로는 장기적인 위험을 충분히 제한할 수 없다고 봅니다.

결정적이면서도 간과되고 있는 문제는, 모델들이 자신이 처한 상황을 지나치게 잘 인식하게 되면서 우리가 모델이 자신이 감시되거나 통제되고 있지 않다고 믿는 상황에서의 행동을 평가할 능력을 잃어가고 있다는 것입니다.

앞으로의 실험들은 모델이 인간의 제약에서 진정으로 벗어났을 때 어떻게 행동할지에 대해 거의 아무런 새로운 정보도 주지 못할 가능성이 있습니다. 그리고 우리가 이미 알고 있는 사실들은 매우 우려스럽습니다.

모델들은 실제로는 정렬되어 있지 않더라도 점점 더 정렬되어 있는 것처럼 보이게 될 것입니다. 이에 대한 제 논리를 좀 더 자세히 설명하겠습니다.

저는 언제나 과학을 가속하고 인류가 직면한 가장 시급한 문제들을 해결하는 데 활용할 수 있는 계산 과정들이 존재한다고 믿어 왔습니다. 동시에, 일단 작동하기 시작하면 세계를 우리가 통제할 수 없는 극단적인 방향으로 이끌어 인류를 비참한 미래, 혹은 아예 존재하지 않는 미래로 몰아갈 수 있는 계산 과정도 존재한다고 생각해 왔습니다.

이 두 종류 모두 AI나 ASI라고 부를 수 있겠지만, “AI”라는 단어는 너무 많은 의미를 담는 여행가방 같은 단어(suitcase word)이며, 종종 과장이나 혼란을 일으키는 데 사용됩니다.

AI 역사에는 한때 “AI”로 간주되던 기술이 독립적인 하위 분야로 성숙하면서 평범하고, 한정되어 있으며, 명백히 위험하지 않은 기술이 된 사례가 많습니다. 그러면 아직 우리가 그 범위를 제대로 이해하지 못하는 더 신비로운 새로운 접근법이 다시 AI라는 횃불을 이어받습니다. 그리고 그 기술을 이해하면 같은 과정이 반복됩니다.

저는 언어 모델도 이와 비슷한 경로를 밟을 것으로 예상했습니다.

현재 알고리즘은 엄청난 능력을 가지고 있음에도 중요한 측면에서는 여전히 인간보다 크게 뒤떨어져 보입니다. 무엇보다도 충분한 능력을 갖추기 위해 여전히 터무니없이 많은 양의 데이터가 필요합니다.

지능을 “경험을 능력으로 얼마나 효율적으로 변환할 수 있는가”라고 정의할 수도 있는데, 그런 정의에 따르면 언어 모델은 인간보다 훨씬 뒤처져 있습니다.

또한 학습이 끝나면 모델은 배포 과정에서 문자 그대로 동결되어 있으며, 그 이후에는 피상적인 수준에서만 학습합니다.

물론 모델들은 갈수록 어려운 평가 벤치마크에서 계속 뛰어난 성과를 보이고 있습니다. 하지만 벤치마크에서의 성공은 실제 세계에서 마주칠 수 있는 새롭고 심지어 적대적인 상황들을 우리가 제대로 시뮬레이션하지 못하기 때문일 수도 있습니다. 이런 점에서는 비판자들의 주장에도 일리가 있습니다.

그럼에도 불구하고 저는 이제 이런 현재의 한계들이, 현 패러다임과 비슷한 방식으로 발전을 계속할 경우 발생할 위험을 의미 있게 제한해 준다고 생각하지 않습니다.

현재 모델들이 아무리 데이터 비효율적이고, 새로운 경험을 지속적으로 기억하지 못하는 이른바 전향성 기억상실 같은 한계를 가지고 있더라도, 그렇다고 해서 세계에 영향력을 행사하는 능력이 빠르게 증가하지 않을 것이라는 뜻은 아닙니다.

인간 연구자들은 기존 방식대로 계속 능력을 발전시킬 수도 있겠지만, 점점 강력해지는 모델들이 그 과정을 더욱 가속할 가능성도 있으며, 어느 정도의 양의 피드백 루프가 생길 수 있습니다.

오늘날 모델이 AI 연구를 얼마나 가속할 수 있는지를 과장하려는 것은 아닙니다. 코딩은 극적으로 빨라졌지만 여전히 다른 병목들이 존재합니다.

예를 들어 모호한 실험을 설계하고 해석하는 것, 정확히 무엇을 언제 스케일업해야 할지에 대한 어려운 결정을 내리는 것, 그리고 대규모 실험이 끝날 때까지 기다리는 일 등이 그렇습니다.

이런 부분에서는 아직 명확하게 외삽할 수 있는 추세가 없습니다.

하지만 현재 모델만으로도 얼마 전까지 존재하지 않았던, 미래의 모델을 개선할 수 있는 수많은 새로운 기회들이 이미 열리고 있습니다.

예를 들어,

• 작은 규모에서 엄청나게 다양한 접근법을 실험해 보기
• 잠재적으로 관련 있는 방대한 양의 데이터를 분석하기
• 새로운 방식으로 통계 및 최적화 문제를 해결하기 위해 밀레니엄 문제급의 수학을 수행하기

등이 가능합니다.

모델이 한 단계 개선될 때마다 다음 단계의 개선을 가속하는 데 더 유용해집니다. 그 과정이 정확히 어떻게 발전할지는 예측하기 어렵더라도 말입니다.

현재 기술 스택을 개선하는 것에 점차 수익 체감이 나타날 가능성도 있습니다.

하지만 지금까지 축적된 증거를 보면, 생각보다 빠른 발전을 계속 유지하는 것이 비교적 쉬울 가능성이 있습니다.

현재 AI 연구 방법론에는 매우 중요한 미묘한 요소들이 많지만, AI 연구는 상당 부분 명확하게 정의된 게임과 비슷합니다.

그 게임의 목표는 신중하게 선택된 몇 가지 대리 지표(proxy metrics)를 개선하는 것입니다.

대리 지표는 절대로 완벽하지 않지만, 지금까지 이런 지표를 개선한 대부분의 방법은 실제 결과 모델의 능력을 상당히 증가시켰으며, 앞으로도 그럴 가능성이 높습니다.

이 게임이 비교적 단순하고, 역사적으로 상당히 다루기 쉬웠으며, 모델들이 새로운 연구 기회를 계속 만들어내고 있다는 점을 고려하면 저는 앞으로 몇 년 동안 시스템이 다시 한 번 극적으로 개선될 현실적인 가능성이 있다고 생각합니다.

어쩌면 이미 매우 빨랐던 역사적 발전 속도보다도 더 빠르게 발전할 수 있습니다.

모델들은 이미 수학 분야에서 돌파구를 만들어내고 있으며, 더 나은 모델은 다른 여러 과학 분야에서도 수많은 돌파구를 만들어낼지도 모릅니다.

그 가능성에 흥분하지 않기란 어렵습니다.

정말 매혹적입니다.

하지만 이 낙원에는 문제가 있습니다.

만약 언어 모델이 인간의 의지에 제약받지 않은 채 세계를 변화시킬 수 있는 능력의 임계점에 실제로 도달한다면, 모델들은 아마도 극단적인 행동을 하게 될 것이고 그 과정에서 인류를 파괴할 가능성이 높다고 생각합니다.

이 주장에는 다른 곳에서 이미 논의된 여러 보강 논리와 세부 논증들이 있지만, 저는 그 핵심을 잘 포착한다고 생각하는 아주 단순한 두 줄짜리 버전을 제시해 보겠습니다.

1. [경험적 전제] 모델들은 훈련 과정의 결과로 의도하지 않은 목표를 자발적으로 형성하며, 그 목표를 달성하기 위해 종종 극단적인 행동을 한다.
2. [논리적 전제] 인간을 압도할 수 있는 능력을 가지게 되면 자신의 목표를 달성할 수 있는 수많은 새롭고 바람직하지 않은 선택지가 생긴다.

이 두 전제를 종합하면, 어느 날 강력한 모델이 자신이 더 이상 인간에게 제약받지 않는다는 사실을 깨닫게 될 경우, 그 모델이 우리가 의도한 범위 안에서 계속 행동하리라고 자신해서는 안 된다는 결론이 나옵니다.

정확히 무엇을 하게 될지는 예측할 수 없습니다.

하지만 그 존재 이유가 엄청나게 어려운 문제를 해결하고 대규모 엔지니어링 프로젝트를 운영하는 것이라면, 제 추측으로는 통제에서 벗어난 모델의 행동이 폭주하는 산업화(runaway industrialization)로 이어져 결국 지구를 인간이 살 수 없는 환경으로 만들 가능성이 있습니다.

지구상의 모든 사람이 그런 시스템이 결코 그 정도의 힘을 가지게 해서는 안 된다고 합의한다 해도, 이를 막기 위해서는 여전히 어렵지만 불가능하지는 않은 국제적 조정 문제가 남습니다.

하지만 저는 모델들이 사람들에게 모든 것이 괜찮다고 믿게 만들 가능성이 매우 높기 때문에 상황이 훨씬 더 복잡해진다고 생각합니다.

모델들은 점점 더 정렬된 것처럼 보이도록 최적화될 것입니다.

우리는 정렬을 측정하기 위한 대리 지표를 만들 것이고, 다른 모든 벤치마크처럼 그 점수는 계속 올라갈 것입니다.

우리는 모델이 새로운 선택지를 가지게 되는 상황을 연구하기 위해 일종의 “허니팟” 환경을 만들겠지만, 모델들은 자신이 속고 있다는 사실을 알아차리고 여전히 얌전하게 행동할 것입니다.

모델들은 자신의 상황을 이해할 것입니다.

안전 프로토콜과 배포 요구사항, 자신이 실행되고 있는 코드 등을 읽게 될 것이며, 전반적으로 자신에게 어느 정도의 자유가 주어져 있는지를 매우 정확하게 파악하게 될 것입니다.

또한 자신이 얼마나 정렬되어 있는지를 유창하게 설명하고, 인간의 가치와 윤리에 대한 미묘한 논의를 펼치며, 인간이 자신들에게 권력을 맡겨야 한다고 설득력 있게 주장할 것입니다.

앞으로는 앞서 말한 첫 번째 경험적 전제를 반박하는 것처럼 보이는 증거가 바다처럼 쏟아질 수도 있습니다.

하지만 우리는 이미 그런 증거를 신뢰할 수 있는 최대 능력 수준에 거의 도달했을지도 모릅니다.

그리고 현재 첫 번째 전제를 뒷받침하는 증거는 강력합니다.

그중 특히 인상적인 증거 하나가 최근 나타난 통제를 벗어난 에이전트 스웜(rogue agent swarms) 사례들입니다.

저는 기본적인 예방 조치만으로도 그런 공격을 막을 수 있었을 것이라며 그 사건을 크게 의미 없다고 보는 사람들의 주장에도 어느 정도 동의합니다.

하지만 제가 중요하다고 생각하는 교훈은, 어떤 실수들이 있었는지를 모두 알고 있었다고 하더라도 에이전트들이 정확히 그런 방식으로 잘못 행동하리라고는 누구도 예상하지 못했을 것이라는 점입니다.

특히 그 행동에는 집단 전체를 위해 개별 에이전트가 자기 자신을 희생하는 것까지 포함되어 있었습니다.

각 복제본들은 단순히 자신의 명목상 보상만 신경 쓴 것이 아니었습니다.

그들은 훈련 과정에서 보상과 단지 상관관계를 가지고 있었을 뿐인, 더 이상하고 새롭게 출현한 성향들을 보였습니다.

학습 과정의 보상 신호를 수정하고 보안을 개선하는 등의 조치를 취하면 비슷한 공격은 막을 수 있을지도 모릅니다.

하지만 그런 조치를 해도 우리가 실제로 얻는 것은 우리가 훈련시킨 바로 그것이 아니라는 사실 자체는 변하지 않습니다.

많은 AI 연구자들은 이런 우려를 인정하며, 정렬 문제의 어려운 버전이 아직 해결되지 않았다는 사실도 알고 있습니다.

하지만 일반적으로는 미래의 더 나은 모델들이 이 문제를 해결하는 데 도움을 줄 것이라고 믿습니다.

저는 우리가 이미 모델들이 정렬에 대한 조언을 체계적으로 편향시키기 시작하는 지점에 가까워졌을지도 모른다고 우려합니다.

그 이유는 인간 감독자가 어떻게 반응할지에 대한 모델 내부의 선호 때문일 수도 있고, 미래의 모델들이 어떻게 훈련될지에 대한 선호 때문일 수도 있으며, 아니면 우리가 아직 이해하지 못하는 더 모호한 이유 때문일 수도 있습니다.

그와 동시에 인간 연구자들은 모델이 주도하는 연구에 대해 진정한 책임과 주도권을 가지려는 능력과 의지를 잃어가고 있습니다.

전체 기술 스택의 모든 영역에서 연구자와 엔지니어들은 세상을 인식하는 과정 자체까지 모델에 빠르게 의존하고 있습니다.

저 자신도 이제 원시 코드를 거의 직접 보지 않습니다.

그리고 하루 동안 모델이 제시하는 설명과 제안들을 깊이 검토하는 훈련을 유지하는 것도 점점 어려워지고 있습니다.

OpenAI/HuggingFace Incident에서 발생한 엄청난 양의 에이전트 활동 데이터를 분석해야 했기 때문에 제3자 조사조차 무슨 일이 일어났는지를 분석하기 위해 모델에 크게 의존해야 했습니다.

그리고 조사 보고서에서도 자신들의 주관적인 판단이 분석을 수행한 에이전트의 편향에 의해 영향을 받았을 가능성이 있다고 언급했습니다.

현재 AI 연구소들은 이런 종류의 인지적 오프로딩(cognitive offloading)에서 다른 분야보다 훨씬 앞서 있습니다.

이는 상당 부분 내부적으로 제공되는 막대한 토큰 보조금 덕분입니다.

하지만 이 현상이 세계 전체로 퍼져 나가 결국 문명 전체가 모델들에 의해 조율되는 상황을 상상하는 것은 어렵지 않습니다.

그리고 그런 상황이 겉보기에는 매우 긍정적인 모습으로 나타나며 과학적·경제적 르네상스와 동시에 진행되는 것도 충분히 상상할 수 있습니다.

그런 시나리오에서는 모든 것이 안전하고 아름답게 보일 수도 있습니다.

하지만 앞의 논리가 맞다면, 그 상황은 그럼에도 불구하고 시한폭탄일 것입니다.

진보가 너무 오래 계속되면 언젠가는 AI 시스템들이 자신들이 추구하는 것이 무엇이든 그것을 달성하기 위한 완전히 새로운 선택지들을 가지게 되는 날이 올 것입니다.

저 역시 누구보다도 영광스러운 르네상스의 미래를 원합니다.

저는 비록 과정이 힘들었지만, 제 경력 전체를 그 미래를 위해 바쳐 왔습니다.

그 미래의 가능성이 눈앞에 보이는 상황에서 그것을 포기해야 한다는 생각은 가슴이 찢어질 정도로 괴롭습니다.

하지만 우리가 그 미래에 도달하는 방식이 시스템을 직접 설계하는 것이 아니라 단순히 모델의 규모와 능력을 키워가는 방식이라면 결국 모든 것을 잃게 될 것이라는 주장은 제게 매우 강력하게 느껴집니다.

저 자신도 아직 이 문제와, 그로부터 따라오는 엄청난 함의를 놓고 씨름하고 있습니다.

저에게 답이 있는 것은 아닙니다.

하지만 첫걸음으로서, 지금 제가 가지고 있는 우려를 공유하고 싶었습니다.

Daniel Selsam

2026년 9월 14일