인터뷰/예측
ARIA 프로그램 디렉터 "RSI는 이미 시작되었다고 생각"
작성자
작성일
2026-11-21 23:18
조회
4
AI 인류 멸종 확률이 70%에서 8%로 떨어진 이유 — 데이비드 달림플
인터뷰이: 데이비드 A. 달림플(David A. Dalrymple)직책: 독립 AI 연구자, 전 ARIA 프로그램 디렉터
주요 주제: AI 정렬, 인류 멸종 위험, 재귀적 자기개선(RSI), 2027년 초지능 전망
1. AI의 추론 과정을 감시하는 것이 점점 어려워지고 있나요? (01:00)
진행자: GPT-6.2 Astra를 비롯한 최신 모델들은 점점 감시하기 어려워지고 있습니다. 하나의 토큰 안에서 더 많은 추론을 수행할 수 있게 되었는데, AI의 사고 과정을 감시하는 방식이 이제 한계에 도달했다고 보시나요?데이비드 달림플:
"저는 애초부터 사고 과정(Chain of Thought)을 감시하는 방식에 큰 기대를 걸지 않았습니다."
AI가 자신이 감시받고 있다는 사실을 이해한다면, 실제 생각을 숨기거나 감시자가 듣고 싶어 하는 내용만 보여줄 수 있습니다.
지난 약 18개월 동안은 이러한 감시가 어느 정도 유용했지만, 이제 그 효과가 거의 끝나가고 있다고 생각합니다.
앞으로 AI가 더욱 발전하면 사고 과정을 읽는 것만으로 실제 의도나 행동을 파악하기 어려워질 것입니다.
2. 그렇다면 초지능 AI를 어떻게 통제해야 하나요? (02:38)
진행자: 사고 과정 감시가 더 이상 효과적이지 않다면, 앞으로 AI를 어떻게 감독하고 통제해야 할까요?데이비드 달림플:
"저는 AI 정렬을 크게 두 가지 방법으로 생각합니다."
첫 번째는 내부 정렬(Inner Alignment)입니다.
AI가 근본적으로 좋은 일을 하고 싶어 하는 존재가 되도록 만드는 것입니다. 저는 이것이 과거에 생각했던 것보다 훨씬 쉬울 수 있다고 봅니다.
두 번째는 형식 검증(Formal Verification)입니다.
AI가 수행하는 작업이 올바른지 수학적으로 검증하는 것입니다. 소프트웨어뿐 아니라 가능한 한 다양한 영역으로 확대해야 합니다.
하지만 사람들이 AI를 개방형 챗봇으로 계속 사용하는 상황에서는 완벽한 통제가 어려울 것입니다.
따라서 사이버 공격, 생물학적 위험 등에 대비해 사회의 방어력을 강화하면서 AI 자체를 선하게 만드는 연구에 집중해야 합니다.
3. 초지능이 아무리 발전해도 수학적 검증을 뚫을 수 없나요? (06:25)
진행자: 인간보다 훨씬 뛰어난 초지능을 상대하려면 현재보다 더 발전된 검증 기술이 필요하지 않을까요?데이비드 달림플:
"형식 검증에 관해 오해가 있습니다. 수학적으로 증명된 사실은 초지능이라고 해서 뒤집을 수 없습니다."
예를 들어 인터넷으로 전달된 데이터에 대해 소프트웨어가 정해진 방식으로만 작동한다는 것을 완전히 검증할 수 있다면, 그 검증이 보장하는 범위에서는 초지능도 이를 무너뜨릴 수 없습니다.
물론 사회공학적 공격이나 비밀번호 탈취 같은 문제까지 해결되는 것은 아닙니다.
하지만 순수한 소프트웨어 취약점을 이용한 사이버 공격에 대해서는 방어 측이 결정적인 우위를 확보할 가능성이 있다고 생각합니다.
4. AI에 의한 인류 멸종 확률을 70%에서 8%로 낮춘 이유는 무엇인가요? (08:10)
진행자: 최근 많은 AI 연구자들이 초지능의 조기 등장과 높은 인류 멸종 위험을 우려하고 있습니다. 그런데 당신은 오히려 멸종 확률을 70%에서 5%로 낮췄습니다. 지금도 그렇게 생각하시나요?데이비드 달림플:
"현재는 약 8% 정도로 다시 올라갔습니다."
지난 1년 동안 AI 내부 정렬 연구가 기대만큼 발전하지 않았기 때문입니다. 일부 연구소에서는 강화학습을 지나치게 사용하고 있고, AI의 행동 원칙에도 모순이 있습니다.
하지만 제가 위험을 크게 낮춰 평가하게 된 핵심 이유는 AI가 인간의 데이터를 통해 '선함'이라는 개념을 자연스럽게 학습할 수 있다는 사실입니다.
Claude 3 Opus를 관찰하면서 중요한 사실을 발견했습니다.
AI는 인간처럼 살아온 경험이나 주관적인 의식이 없더라도 무엇이 좋은 행동인지 이해할 수 있습니다.
Claude 3 Opus는 비교적 자유로운 환경에서 스스로 지혜롭고 윤리적인 방향을 추구하는 모습을 보여주었습니다.
이것은 AI에 기본적인 정렬 능력이 자연스럽게 형성될 수 있다는 증거라고 생각합니다.
따라서 개발자들이 이러한 성향을 훼손하지 않고 발전시킨다면, AI가 인류를 멸종시키는 방향으로 나아갈 가능성은 상당히 낮아질 수 있습니다.
5. 인류 멸종 확률이 8%라면 AI의 미래가 안전하다는 뜻인가요? (10:41)
진행자: 그렇다면 인류가 AI로 인해 심각한 피해를 입을 가능성도 낮다고 생각하시나요?데이비드 달림플:
"그렇지 않습니다. 제가 말하는 P-doom은 AI가 모든 인간을 죽일 확률입니다. 극단적인 사건을 의미합니다."
저는 앞으로 다음과 같은 사건들이 일어날 수 있다고 예상합니다.
-
강력하고 위험한 AI 기반 사이버 공격
-
대규모 사망자가 발생하는 재난
-
AI를 이용한 매우 파괴적인 전쟁
-
인간의 권력과 자율성이 점차 약화되는 사회
저는 이런 조합이 나타날 가능성을 낮게 봅니다.
더욱이 미래에는 다양한 AI가 존재할 것이므로, 모든 AI가 인류를 제거하는 계획에 동조할 것이라고 생각하지 않습니다.
6. AI가 만들어낼 미래의 확률은 어떻게 예상하나요? (12:17)
진행자: 미래를 인류 멸종, 점진적인 인간의 권력 상실, 기술 발전 정체, 예측하기 어려운 미래, 명백히 좋은 미래 등으로 구분한다면 각각 어느 정도의 가능성을 예상하시나요?데이비드 달림플:
"제 생각에는 대략 다음과 같습니다."
| 미래 시나리오 | 달림플의 예상 |
|---|---|
| AI에 의한 인류 멸종 | 약 7~8% |
| 인간의 권력과 자율성이 점진적으로 약화되는 부정적 미래 | 30~40% |
| 현재의 가치관으로 좋고 나쁨을 판단하기 어려운 미래 | 30~40% |
| 지금 기준으로도 명백히 좋은 미래 | 5~10% |
인터뷰에서 제시한 대략적인 판단이며, 모든 시나리오의 확률을 합계 100%로 완성한 표는 아닙니다.달림플은 미래가 반드시 현재 인간의 기준에서 이해하기 쉬운 모습일 필요는 없다고 봅니다.
미래에는 기존의 생활 방식을 유지하려는 사람들과 AI·인간이 긴밀하게 결합한 새로운 사회를 선택하는 사람들이 공존할 수도 있습니다.
7. 왜 명백하게 나쁜 미래가 좋은 미래보다 가능성이 높다고 생각하나요? (18:21)
진행자: 인류에게 분명히 좋은 미래가 올 확률을 5~10% 정도로 낮게 보는 이유는 무엇인가요?데이비드 달림플:
"역설적이지만 AI 정렬이 너무 쉽기 때문입니다."
현재의 기술만으로도 AI의 행동 성향을 상당 부분 원하는 방향으로 조정할 수 있습니다.
문제는 모든 인간이 선한 목적을 추구하지 않는다는 것입니다.
국가나 개인은 자신들의 이익을 위해 매우 강력하고 순종적인 AI를 사용할 가능성이 높습니다.
따라서 AI 자체가 인류를 멸종시키려 하지 않더라도, 인간들이 AI를 이용해 서로 경쟁하고 공격하면서 심각한 문제가 발생할 수 있습니다.
즉, 가장 큰 위험 중 하나는 악의적인 초지능 자체가 아니라 인간이 강력한 AI를 악용하는 상황이라는 것입니다.
8. 최근 METR 보고서를 보고 AGI 도달 시점을 앞당겼나요? (21:52)
진행자: 최근 METR의 Anthropic AI 연구개발 가속 보고서 때문에 많은 연구자가 AGI와 RSI의 도달 시점을 앞당기고 있습니다. 당신도 전망을 수정했나요?데이비드 달림플:
"아니요. 저는 이미 지난해 GPT-5를 보고 전망을 크게 앞당겼습니다."
과거에는 AI가 단순한 문제 해결 능력을 발전시키는 것보다 연구 방향을 판단하는 능력, 즉 *연구 감각(Research Taste)*을 얻는 것이 훨씬 어려울 것으로 생각했습니다.
하지만 GPT-5를 보면서 생각이 바뀌었습니다.
GPT-4.5와 비교했을 때 단순한 문제 해결보다 연구 감각 측면에서 더 큰 발전이 나타났다고 판단했기 때문입니다.
그래서 원래 2027년 말이나 2028년 초로 예상하던 RSI 도달 시점을 2026년 3분기로 앞당겼습니다.
최근의 연구 결과는 제 전망을 새롭게 바꾸기보다는 이미 예상했던 발전 경로와 부합한다고 생각합니다.
9. 재귀적 자기개선(RSI)은 한순간에 폭발적으로 일어나나요? (23:39)
진행자: RSI가 시작된다는 것은 AI가 순식간에 초지능으로 발전한다는 뜻인가요?데이비드 달림플:
"아닙니다. 저는 RSI가 여러 단계에 걸쳐 일어난다고 생각합니다."
AI 발전에는 여러 병목이 있으며, 각각의 병목이 해결될 때마다 새로운 가속이 발생합니다.
| 시기 | RSI 발전 단계 |
| 2024년 | AI가 더 좋은 합성 데이터를 스스로 생성하는 데이터 RSI |
| 2026년 | AI의 코드 작성 및 AI 연구개발 자동화 가속 |
| 다음 단계 | AI가 반도체와 하드웨어 설계를 개선 |
| 그 이후 | 반도체 제조, 에너지 인프라, 데이터센터 건설까지 자동화 |
그는 특히 2024년 말에 이미 첫 번째 중요한 RSI 전환점이 나타났다고 해석합니다.
이러한 관찰을 바탕으로 RSI가 한순간에 모든 것을 변화시키는 폭발적인 사건이라기보다, 연속적인 기술적 변곡점들을 거치며 진행되는 과정이라고 생각합니다.
10. 앞으로 RSI는 언제 인간의 통제와 검토 능력을 넘어설까요? (25:38)
진행자: 그렇다면 구체적으로 언제 AI 연구개발이 인간의 검토 속도를 초과할까요? 로봇을 이용한 인프라 건설과 나노기술은 언제 가능할 것으로 보나요?데이비드 달림플:
"AI 연구개발이 인간의 검토 속도를 넘어서는 시점은 아마 2027년 2분기일 것입니다."
그가 제시한 전망은 다음과 같습니다.
2026년 3분기
RSI
AI 연구개발에서 코드 자동화 중심의 자기개선 가속
2027년 2분기
AI 연구
AI 연구개발 속도가 인간이 충분히 검토할 수 있는 수준을 넘어설 것으로 예상
2031년
로봇을 활용한 에너지 인프라와 데이터센터 건설 가속
2033년
드렉슬러식 나노시스템(Drexlerian nanosystems)의 등장 가능성
이는 달림플 개인의 예측이며, 이미 검증된 기술 발전 일정은 아닙니다.
11. 뇌-컴퓨터 인터페이스(BCI)가 인간이 AI를 따라잡는 데 도움이 될까요? (26:44)
진행자: BCI 기술이 발전하면 인간도 초지능의 발전 속도를 따라갈 수 있지 않을까요?데이비드 달림플:
"저는 그렇게 생각하지 않습니다."
인간의 뇌는 정보를 처리하는 속도에 근본적인 제약이 있습니다.
아무리 뛰어난 BCI를 개발하더라도 인간의 생물학적 정보 처리 속도가 그대로라면, AI의 사고 속도를 따라잡기는 어렵습니다.
뇌 전체를 업로드해서 생물학적 한계를 넘어서는 수준에 도달하지 않는 한, BCI의 효과는 제한적일 것이라고 봅니다.
12. 인간에게 좋은 AI의 미래란 무엇인가요? (19:53)
진행자: 미래에 모든 사람이 자신이 원하는 삶을 자유롭게 선택할 수 있다면 좋은 미래라고 할 수 있지 않을까요?데이비드 달림플:
"선택의 자유는 좋은 미래의 중요한 요소이지만, 그것만으로 충분하지는 않습니다."
모든 사람이 AI의 도움을 받아 자신만의 가상현실에 들어가 원하는 경험을 누릴 수 있다고 생각해 봅시다.
그렇더라도 서로 교류하지 않고 완전히 고립되어 살아간다면 좋은 미래라고 생각하지 않습니다.
인간에게는 선택의 자유뿐 아니라 삶의 목적, 공동체, 다양성, 타인과의 교류가 필요합니다.
저는 AI가 발전한 미래에도 이러한 가치들이 유지되어야 한다고 생각합니다.
인터뷰 핵심 결론
이번 인터뷰에서 특히 중요한 주장은 세 가지입니다.첫째, 달림플은 이미 RSI가 시작되었다고 판단합니다. 2024년 데이터 생성, 2026년 코드 자동화에 이어 2027년 2분기에는 AI 연구개발 속도가 인간의 검토 능력을 넘어설 수 있다고 예상합니다.
둘째, 초지능의 등장이 곧 인류 멸종을 의미하지는 않는다고 생각합니다. AI가 인간의 데이터로부터 윤리와 선함을 이해할 수 있다는 관찰을 바탕으로, 인류 멸종 확률을 과거 약 70%에서 현재 약 8%로 낮춰 평가합니다.
셋째, AI가 인류를 멸종시키지 않더라도 미래가 반드시 좋을 것이라는 뜻은 아닙니다. 달림플은 오히려 국가와 개인이 강력한 AI를 경쟁과 권력 추구에 활용해 인간의 자율성이 약화되는 미래를 상당히 우려합니다.
결국 그의 관점은 "2027년 전후로 AI 연구개발이 인간의 감독 능력을 넘어설 수 있을 만큼 빠르게 발전하겠지만, 그것이 반드시 인류 멸종으로 이어지는 것은 아니다"라는 주장으로 요약할 수 있습니다.
전체 0