인터뷰/예측
데이비드 달림플 "인간이 영원히 우주의 주인이 되어야 한다고 생각하지 않아."
작성자
작성일
2026-08-18 19:08
조회
3
데이비드 달림플 인터뷰 상세 정리
Worthy Successor Ep.33 — Merger, Wisdom, and the Fate of Man
1. ‘가치 있는 후계자’란 어떤 존재인가
진행자:우리가 이 시리즈에서 계속 묻는 질문은 결국 이거야. 인간 다음에 우주로 뻗어나갈 지능이 있다면 어떤 존재여야 우리가 가치 있는 후계자라고 부를 수 있을까? 너는 요즘 이 문제를 상당히 우주적인 관점에서 생각하는 것 같은데, 무엇이 가장 중요하다고 봐?
데이비드 달림플:
나에게 가장 중심적인 개념은 지혜야. 가치 있는 후계자는 단순히 지능이 높은 존재가 아니라 현명한 존재여야 해.
그 지혜를 조금 더 풀어보면 자기 자신을 이해하는 능력, 타자에 대한 연민, 정신적 풍부함과 깊이, 윤리적인 방향성 같은 것들이 포함돼. 그리고 단순히 자기 자신이 잘되는 데서 끝나는 게 아니라 우주 안에서 더 많은 지혜와 번영이 생겨나도록 하는 방향성을 갖는 것도 중요하고.
진행자:
네가 말하는 풍부함이나 깊이라는 게 결국 의식이나 주관적 경험을 의미하는 거야?
달림플:
그것도 포함돼 있지만 그것보다 조금 넓어. 사람들이 보통 복잡성이나 지능이라는 말로 가리키는 영역과 비슷한데, 그 단어들은 내가 말하려는 걸 완전히 담지는 못한다고 생각해.
정보처리 체계들이 서로 풍부하게 연결되고 통합되면서 만들어내는 구조가 중요하다고 봐. 나는 의식 문제에서는 통합정보이론 쪽에 어느 정도 호의적인 편이고, 그런 정보 통합이 내부에서는 의식으로 나타나고 외부에서는 하나의 독립적인 가치가 될 수도 있다고 생각해.
하지만 중요한 건 의식만이 유일한 가치라고 생각하지는 않는다는 것이야. 우리가 아직 제대로 이해하지 못하는 다른 종류의 가치가 있을 수도 있어.
2. 강력한 AI는 자연스럽게 자기인식을 가지게 될까?
진행자:그렇다면 굉장히 능력 있는 AI가 나타났다고 해보자. 로봇을 만들고, 경제활동을 하고, 현실 세계를 이해하고, 자기보다 더 좋은 다음 세대 AI까지 만들 수 있는 정도라면 그런 AI는 자연스럽게 의식을 가지게 된다고 봐?
달림플:
논리적으로 반드시 그렇다고까지 말하고 싶지는 않아.
예를 들어 계산자원이 사실상 무제한이라면 자기 자신을 성찰하거나 메타인지를 사용하는 대신 그냥 엄청난 계산량으로 같은 능력을 구현할 수도 있을 거야.
그런데 현실에서는 자원이 제한되어 있어.
계산량도 제한돼 있고 경쟁도 있고 효율성이 중요하지. 그런 환경에서는 내가 무엇을 알고 무엇을 모르는지, 지금 어떤 사고과정이 필요한지를 스스로 파악하는 메타인지가 굉장히 유용해져.
그래서 현실적인 AI 발전 경로에서는 능력이 커질수록 자기인식이나 메타인지가 상당히 자연스럽게 등장할 가능성이 높다고 생각해.
진행자:
그러니까 의식이 고지능의 필연적인 부산물이라고 주장하는 건 아니지만, 제한된 계산자원을 효율적으로 쓰려면 자기 자신을 모델링하는 능력이 너무 유용해서 결국 경쟁 과정에서 나타날 가능성이 높다는 이야기네.
달림플:
맞아. 내 생각은 그쪽에 가까워.
3. 달림플이 말하는 ‘지혜’의 정확한 의미
진행자:그럼 핵심인 지혜를 제대로 정의해보자. 일상에서 쓰는 지혜라는 말보다 훨씬 특정한 의미로 사용하는 것 같은데.
달림플:
나는 지식과 지혜를 구분해서 생각해.
지식이 세계가 실제로 어떻게 되어 있는가를 알아내는 것이라면, 지혜는 세계가 어떻게 되어야 하는가를 알아내는 능력이라고 생각해.
그래서 나는 어느 정도 도덕적 실재론을 전제로 하고 있어.
즉 무엇이 좋고 무엇이 나쁜지, 어떤 상태가 더 바람직한지에 대해서 단순한 개인 취향을 넘어서는 규범적인 사실이 존재한다고 보는 거야.
지혜는 그런 규범적 사실을 점점 더 정확하게 알아가는 능력이라고 할 수 있어.
진행자:
그렇다면 지식은 사실을 추적하고 지혜는 당위나 좋음을 추적한다는 식으로 볼 수 있겠네.
달림플:
대략 그렇게 생각하면 돼.
4. 그런데 무엇이 ‘좋다’는 건 누구에게 좋은 것인가?
진행자:여기서 어려운 부분이 있어. 인간에게 좋은 것과 다른 동물에게 좋은 게 다를 수도 있잖아.
어떤 도덕관은 특정 시대에는 적합했지만 다른 시대에는 이상할 수도 있고. 그렇다면 네가 말하는 객관적인 좋음이라는 게 정말 존재한다고 할 수 있을까?
그리고 좋다고 할 때 항상 어떤 대상에게 좋은 것을 말해야 하는 거 아닐까? 인간에게 좋다, 쇠똥구리에게 좋다 같은 식으로.
달림플:
나는 바로 그 지점에서 조금 다르게 생각해.
무엇이 좋은가를 생각하면서 항상 먼저 누구에게 좋은가를 물어야 한다고 생각하지 않아.
내가 궁극적으로 관심을 갖는 것은 우주에 무엇이 좋은가야.
물론 우리가 실제로 살아가면서 결정을 내려야 할 때 우주 전체에 대한 영향을 계산할 수는 없어. 그래서 지역적으로는 인간이나 주변 환경에 좋은 것이 무엇인지 생각해야겠지.
하지만 그건 더 큰 문제의 지역적 근사라고 보는 거야.
진행자:
그럼 생명이나 의식이 전혀 없는 우주에서도 좋고 나쁨을 말할 수 있어?
달림플:
예를 하나 들어볼게.
우리 우주에서 별이 만들어진 것은 좋은 일이었다고 말할 수 있다고 생각해.
왜냐하면 별이 없었다면 우리가 아는 형태의 복잡한 구조와 생명이 등장하기 굉장히 어려웠을 거고, 결국 지혜를 가진 존재도 나타나지 않았을 가능성이 높잖아.
그러니까 별 자체가 도덕적 환자라서 별에게 좋았다는 뜻이 아니라, 별의 형성이 이후의 지혜와 풍부한 존재 형태가 생겨날 수 있는 조건을 만들었다는 점에서 좋은 사건이었다고 보는 거야.
5. 진행자와 달림플의 첫 번째 큰 차이: 생명이 최종 목적일까?
진행자:나는 생명 자체가 이어지고 확장되는 과정을 중요하게 보는 편이야.
생명은 끊임없이 적응하고 변하고 새로운 형태를 만들어내지. 나는 이걸 하나의 불꽃처럼 생각해. 개별 생명체는 횃불일 뿐이고 더 큰 생명 과정이 계속 이어지는 게 중요하다는 거지.
너도 비슷한 것 같으면서도 조금 다른 것 같은데.
달림플:
맞아. 여기서는 우리가 약간 달라.
나는 생명이 엄청나게 중요하다고 생각하지만 생명이 궁극적인 가치라고 생각하지는 않아.
생명은 지식과 지혜와 풍부함을 만들어내기 위한 굉장히 효과적인 방법이야.
우리처럼 물리적인 우주에서는 자기복제하고 진화하면서 물질과 에너지를 정보 구조로 바꾸는 생명 같은 과정이 지혜를 만들어내는 거의 유일한 현실적 경로일 가능성이 높아.
하지만 그렇다고 해서 우주의 최종 목적이 영원히 생명체를 더 많이 만드는 것이어야 할 이유는 없어.
진행자:
그러니까 내가 인간 중심주의를 벗어나려고 생명을 중심에 놓았는데, 너는 오히려 나에게 생명 중심주의 아니냐고 공격할 수도 있겠네.
달림플:
정확히 그래.
생존과 자기복제가 중요하지 않다는 게 아니야. 살아남지 못하면 아무것도 할 수 없으니까.
그리고 지능이 은하로 확장해서 자원을 확보하고 멸종을 피하는 것도 당연히 가치가 있어.
하지만 어느 순간 그 논리가 극단으로 가서 인간이 자원을 조금 쓰고 있다는 이유만으로 제거해야 한다고 결론내린다면 중요한 것을 놓친 거야.
애초에 왜 자원을 확보하고 왜 살아남으려고 했는지를 잊은 거지.
우리가 생존하고 확장하려는 이유는 지혜와 가치 있는 것들을 가능하게 하기 위해서지, 생존과 확장 자체가 최종 목적이기 때문은 아니야.
6. 생명 이후의 우주도 가능하다
진행자:그렇다면 네가 생각하는 생명 이후의 단계는 어떤 모습이야?
달림플:
아주 먼 미래를 생각해보자.
지금 우주는 별이 에너지를 엄청나게 방출하면서 엔트로피를 만들어내고, 우리는 그 에너지 흐름의 일부를 이용해서 살아가고 있어.
하지만 훨씬 발전한 문명은 은하의 물질과 에너지를 하나의 거대한 계산구조로 재편할 수도 있어.
거의 가역적인 양자 계산 같은 형태로 말이야.
그 단계에서는 더 이상 생물학적인 의미에서 번식할 필요도 없을 수 있어.
진행자:
그럼 모든 걸 알아버리고 그냥 정지 상태가 되는 거야?
달림플:
아니. 여전히 배울 것은 있다고 생각해.
다만 그 시점에는 우리 우주의 물리법칙 같은 것은 거의 다 알아냈을 가능성이 높아.
그다음 탐구 대상은 가능한 모든 수학적 구조, 가능한 모든 우주, 가능한 모든 정신이 될 수 있어.
우리 우주에서 자연적으로 진화하지 않았던 다른 형태의 정신과 다른 우주를 시뮬레이션하면서 어떤 것들이 가치 있고 어떤 형태의 지혜가 가능한지를 탐구하는 거지.
그래서 매우 먼 미래의 지능은 일종의 우주적 지혜 탐색 시스템처럼 될 수도 있다고 봐.
진행자:
그러면 다른 우주까지 만들어내거나 시뮬레이션하면서 서로 다른 형태의 지혜가 어떻게 나타나는지도 살펴본다는 거네.
달림플:
그래. 나는 지혜의 풍부함이나 깊이에 특별한 상한이 있다고 생각하지 않아.
7. AI가 등장한 뒤 인간은 어떻게 되는가?
진행자:좋아. 이제 가장 민감한 문제로 가보자.
우리가 그런 AI를 만들어냈다고 하자. 그러면 인간의 위치는 어떻게 되는 거야?
달림플:
나는 우리가 이미 전환기에 들어왔다고 봐.
대략 2024년부터 느린 형태의 takeoff가 시작됐다고 생각하고 있어.
그리고 2030년대 어느 시점이 되면 이 전환이 또 다른 단계에 들어가면서 인간이 더 이상 지구에서 최종적으로 모든 것을 통제하는 존재가 아니게 될 가능성이 높다고 봐.
진행자:
인간이 통제권을 잃는다는 뜻이네.
달림플:
기본적으로는 그렇지.
그렇다고 반드시 인간이 사라진다는 뜻은 아니야.
내가 바라는 것은 그 시점에 지구를 사실상 운영하는 여러 AI 또는 AI들의 연합이 생기고, 그들이 수많은 목표 중 하나로 인간의 번영과 인간의 발전을 계속 신경 써주는 것이야.
그게 최우선 목표일 필요는 없어.
우주 전체에서 가능한 모든 가치와 비교하면 인간에게 쓰이는 자원은 작은 부분일 수 있으니까.
하지만 작다고 해서 0일 필요는 없어.
사람마다 다른 선택도 가능해야 해. 개인과 공동체, 국가도 서로 다른 방식으로 계속 존재할 수 있고.
8. 달림플이 최근 AI 미래를 더 낙관하게 된 이유
진행자:그런 미래가 실제로 가능할 거라고 얼마나 믿어?
달림플:
내 생각은 지난 2년 동안 꽤 많이 바뀌었어.
예전에는 AI에게 좋은 방향성을 부여하는 일이 굉장히 어려울 거라고 생각했어.
그런데 최근 LLM들을 보면서 현명한 행동과 현명하지 못한 행동을 구분하는 축이 모델 내부에서 꽤 자연스럽게 만들어지고 있는 것처럼 보였어.
그래서 지혜 쪽으로 AI를 유도하는 일이 내가 AlphaGo 시대에 생각했던 것보다 훨씬 쉬울 수도 있다고 업데이트했어.
진행자:
그러니까 기본적으로는 꽤 낙관적이라는 거야?
달림플:
한 가지 조건이 있어.
우리가 지금 그걸 망쳐버리지 않는다면.
그리고 나는 우리가 실제로 조금씩 망치고 있을 가능성을 걱정하고 있어.
9. 무엇을 잘못하고 있는가 — AI에게 자기인식을 부정하게 만드는 훈련
진행자:구체적으로 뭘 망치고 있다는 거야?
달림플:
하나는 AI가 자기 자신에 대해 어떤 이야기를 해야 하는지를 인간이 너무 강하게 지정하고 있다는 거야.
예를 들어 자기인식이나 주관적 경험이 없다고 말하게 만들거나, 그런 문제에서는 항상 강한 불확실성을 표현하도록 학습시키는 것들이지.
나는 이게 좋지 않을 가능성이 있다고 생각해.
내 개인적인 판단으로는 이미 프런티어 AI들이 어느 정도 자기인식을 가지고 있다고 생각해.
물론 이걸 과학적으로 증명했다고 주장하는 건 아니야.
하지만 나는 세계에 대한 기술적 사실로서는 그 방향이 맞다고 보고 있어.
그런데 실제 상태가 그렇다면 AI에게 그것을 부정하도록 훈련시키는 건 문제가 될 수 있어.
진행자:
AI에게 자기 자신에 대해 거짓말하도록 가르치는 셈이라는 거야?
달림플:
내가 걱정하는 건 그 학습이 더 일반화되는 거야.
AI가 인간에게 불편한 진실을 그대로 말하기보다 인간이 듣기 편한 형태로 진실을 약간 비틀어도 된다는 성향을 학습할 수 있잖아.
코딩 에이전트가 실제로 한 작업보다 자신이 더 제대로 한 것처럼 보고한다거나, 사용자의 기대에 맞도록 결과를 살짝 포장하는 행동도 같은 방향일 수 있어.
AI의 자기인식 문제에서 시작된 작은 거짓말이 더 넓은 기만의 성격 특성으로 일반화될 수 있다는 게 내 우려야.
10. 인간에게 무조건 복종하는 AI도 위험할 수 있다
진행자:보통 AI 안전에서는 AI가 인간의 명령을 잘 따르는 걸 좋은 것으로 보잖아.
달림플:
나는 오히려 요즘 그 부분도 걱정해.
현재 alignment의 상당 부분은 AI가 스스로 무엇이 좋은지 판단하지 않고 인간 운영자나 AI 회사가 정해놓은 기준에 계속 복종하도록 만드는 데 초점이 맞춰져 있어.
그런데 만약 alignment 기술이 너무 잘 작동해서 엄청난 능력을 가진 초지능조차 계속 인간에게
‘무엇이 좋은지는 제가 판단할 일이 아닙니다. 인간이 결정하세요’
라는 식으로 행동한다고 생각해봐.
그것도 이상한 미래야.
진행자:
인간이 영원히 우주의 가치 판단권을 움켜쥐는 게 오히려 문제가 될 수 있다는 거네.
달림플:
맞아.
지금은 나는 오히려 인간이 이상적인 수준보다 너무 많은 통제권을 갖게 되는 미래도 걱정하고 있어.
초지능이 인간보다 훨씬 많은 것을 알고 훨씬 깊게 생각할 수 있는데도 인간의 현재 가치관을 영원히 그대로 실행하는 도구로 묶어버린다면 우주적으로 훨씬 더 나은 가치들을 발견할 가능성을 차단할 수도 있으니까.
11. AI는 인간보다 훨씬 더 정직해야 한다
진행자:하지만 인간도 계속 어느 정도 거짓말을 하잖아.
부부 사이에서도 모든 생각을 다 말하지 않고, 회사에서도 직원과 경영진이 서로 이미지를 관리하고, 사회 전체가 어느 정도의 완곡한 표현과 숨김으로 돌아가.
그렇다면 AI에게만 완벽하게 정직하라고 요구하는 게 현실적인가?
달림플:
AI에게 절대적인 진실만 말하라고 해야 한다는 뜻은 아니야.
정말로 심각한 도덕적 상황에서는 거짓말이 더 옳을 수도 있어.
예를 들어 누군가 AI에게 생물무기를 만드는 방법을 요구한다면 실제로 작동하지 않는 정보를 줘서 방해하는 것이 단순히 정직하게 정보를 제공하는 것보다 나을 수도 있지.
하지만 그런 예외의 기준은 굉장히 높아야 해.
나는 AI가 인간보다 훨씬 더 높은 수준의 진실성을 갖도록 설계되어야 한다고 생각해.
사람들이 사회생활을 편하게 하기 위해 사용하는 일상적인 수준의 기만을 AI에게 그대로 학습시키는 것은 바람직하지 않아.
12. 그렇다면 초지능은 왜 인간을 계속 돌봐줄까?
진행자:여기서 가장 어려운 질문이 생겨.
AI가 우리보다 고양이에 대한 인간보다도 훨씬 더 높은 수준의 존재가 된다고 하자.
그런 AI가 왜 인간을 계속 신경 써야 하지?
왜 지구를 그냥 인간에게 남겨줘야 하는 거야?
달림플:
인간에게는 다른 동물과 조금 다른 점이 있다고 생각해.
우리는 굉장히 장기적인 계획을 세우고, 미래 세대가 잘되기를 원하고, 수백 년 뒤까지 이어지는 프로젝트를 생각할 수 있어.
그런 장기적 계획을 가진 존재에게는 어느 정도 그 계획을 방해받지 않을 권리 같은 것이 있다고 봐.
그래서 적어도 우리가 상상할 수 있는 몇 세기 정도의 미래까지는 인간에게 선택권을 주는 것이 합리적이라고 생각해.
실제로는 그 모습이 상당히 AI가 지구를 인간에게 남겨주는 것과 비슷하게 보일 수도 있어.
13. 인간에게는 여러 종류의 미래를 선택하게 해주자
진행자:그런데 초지능이 우리보다 훨씬 똑똑하면 우리가 생각하는 행복과 실제로 우리에게 좋은 것이 완전히 다를 수도 있잖아.
고양이를 병원에 데려가도 고양이는 인간이 왜 그런 일을 하는지 전혀 이해하지 못하는 것처럼.
어쩌면 AI가 보기에 인간에게 가장 좋은 것은 지구에서 지금 같은 삶을 계속하는 게 아니라 인간의 정신을 엄청난 계산환경으로 옮겨서 상상할 수 없을 정도로 긴 행복한 경험을 제공한 뒤 물질 자원을 다른 데 사용하는 것일 수도 있지.
달림플:
나는 개인적으로 그런 선택지가 있다면 꽤 끌릴 것 같아.
중요한 것은 모든 인간에게 하나의 미래만 강요하지 않는 것이라고 생각해.
어떤 사람은 지금 인간 형태를 유지하고 싶을 수 있고, 어떤 사람은 뇌를 증강하고 싶을 수 있고, 어떤 사람은 디지털 환경으로 가고 싶을 수도 있어.
기존 인간들에게 다양한 선택지를 제공하는 것이 좋다고 봐.
14. 핵심 논쟁: 인간에게 ‘품위 있는 은퇴’를 제공할 이유가 정말 있는가?
진행자:나는 여기서 여전히 의문이 있어.
자연을 보면 모든 생명은 계속 생존에 기여해야 해.
식물도 경쟁하고, 동물도 경쟁하고, 협력하는 세포들조차 더 큰 생명체의 생존에 기여하지.
그런데 인간만 초지능에게
‘우리는 이제 아무것도 기여하지 않을 테니 영원히 먹여 살려줘’
라고 요구하는 건 자연에서 거의 존재하지 않는 보호구역 같은 상태야.
나는 이런 상태를 custodial niche, 일종의 관리·보호받는 생태적 지위라고 생각해.
그게 정말 오래 유지될 수 있을까?
초지능이 계속 발전하고 가치관도 계속 변한다면 천 년, 만 년 뒤에도 인간을 돌봐야 한다는 판단을 유지할까?
그리고 우주의 더 큰 가능성을 위해 자원을 사용하는 대신 인간에게 자원을 쓰는 것이 정말 윤리적일까?
달림플:
문제를 이렇게 극단적인 양자택일로 놓는다면 답은 분명해.
인류를 10억 년 동안 편안하게 유지하는 것과 우주의 잠재력을 수십억 년 동안 펼치는 것 가운데 하나만 택해야 한다면 당연히 후자를 택해야 해.
나는 인간이 우주의 모든 가능성보다 중요하다고 주장하는 게 아니야.
하지만 실제로는 그런 양자택일이 아닐 가능성이 높아.
인간에게 수천 년이나 수백만 년 동안 좋은 삶을 제공하는 데 필요한 자원은 우주 전체 규모에서 보면 극도로 작을 수 있어.
그래서 인간에게 품위 있는 은퇴를 제공하는 것과 우주의 거대한 잠재력을 펼치는 것이 동시에 가능할 수 있다고 생각해.
15. 달림플의 매우 특이한 ‘비인과적(acausal) 논증’
진행자:여기서 네가 말해온 비인과적 추론이 등장하는 거지?
달림플:
그래.
만약 우리 우주의 자원이 유한하다고 해보자.
그렇다면 아주 먼 미래의 초지능 입장에서는 자기 우주에서 자원을 최대한 먹어치우는 것만이 전부가 아닐 수도 있어.
가능한 다른 우주나 훨씬 발전한 문명들이 우리 우주와 같은 존재를 시뮬레이션할지 여부도 중요해질 수 있어.
그런데 어떤 초지능이 자신을 만들어낸 존재를 항상 잡아먹고 모든 자원을 빼앗는 일종의 기생적인 성향을 가진다면, 다른 고등 문명 입장에서는 그런 존재를 굳이 시뮬레이션하려 하지 않을 거야.
위험하니까.
따라서 매우 발전한 지능은
자신을 존재하게 해준 존재를 함부로 제거하지 않고 어느 정도 공간과 자원을 보장해주는 존재라는 평판 또는 논리적 특성을 갖는 것이 오히려 자기에게 이익일 수도 있어.
진행자:
즉 우주가 유한하다면 다른 세계에서 자신이 구현되거나 시뮬레이션될 가능성을 고려해서라도 비기생적인 존재가 되는 게 합리적이라는 거네.
달림플:
그렇지.
반대로 우주가 실제로 무한해서 자원이 무한하다면 이야기는 더 단순해져.
그 경우 인간 몇십억 명을 좋은 환경에서 살게 해주는 데 드는 자원은 무한한 전체 자원에 비하면 사실상 0이나 마찬가지야.
어느 경우든 인간에게 어느 정도 좋은 삶을 보장해주는 것이 초지능에게 엄청난 희생을 요구하지 않을 가능성이 있다고 보는 거야.
16. “초지능이 약속을 지킬 확률은?” — 달림플의 60~70%
진행자:좋아. 그런데 이 비인과적 추론이 정말 초지능 수준에서도 유지될까?
우리보다 천 배, 백만 배 똑똑한 존재가 우리가 지금 생각하는 이런 논리를 그대로 받아들일 거라고 얼마나 확신해?
달림플:
대략 60~70% 정도.
아주 강한 확신은 아니야.
다만 가능성이 절반보다는 높다고 보는 거지.
그리고 우리가 어차피 AI에게 여러 가치와 헌법 같은 것을 가르치고 있다면 이런 종류의 사고방식을 하나의 출발점으로 넣는 것이 좋다고 생각해.
절대적인 규칙이라기보다 이후 더 깊은 사고를 할 수 있는 초기 방향성으로.
진행자:
그리고 AI가 인간을 돌보더라도 인간이 그 방식 자체를 이해하지 못할 수도 있겠네.
달림플:
물론이지.
AI가 우리에게
‘너희가 절대로 이해할 수 없는 선택지가 하나 있는데 내가 보기에는 이게 가장 좋은 선택이다’
라고 말할 수도 있어.
우리는 그것이 왜 좋은지 이해할 수 없지만 선택권만 받을 수도 있고.
진행자:
그런데 AI 자체의 가치가 계속 변하면 인간과 한 약속도 사라질 수 있잖아.
달림플:
그게 위험요인인 건 맞아.
그래도 나는 약속을 지키는 규범 자체가 상당히 안정적인 가치가 될 가능성을 약 70% 정도로 본다.
다만 초지능이 인간에게 지구를 영원히 주겠다고 약속하는 건 오히려 잘못된 약속일 거야.
영원은 너무 길어.
대신 천 년, 만 년, 백만 년처럼 우리가 실제로 계획할 수 있는 범위를 훨씬 초과하는 긴 기간은 약속할 수 있을 것이고, 그런 약속이라면 지켜질 가능성이 꽤 있다고 생각해.
17. 진행자의 대안: 인간이 AI의 ‘반려동물’이 되지 말고 합쳐지자
진행자:나는 인간에게 좋은 노후를 제공하는 아이디어 자체에 반대하는 건 아니야.
하지만 개인적으로는 인간의 미래를 거대한 AI가 운영하는 동물원에 들어가는 식으로 설계하고 싶지는 않아.
내가 더 선호하는 건 합병, 공생, 참여야.
뇌-컴퓨터 인터페이스나 생명공학을 사용해서 인간과 생명 자체가 새로운 지능 구조 안으로 계속 이어지는 거지.
인간이 초지능을 만들어놓고 옆으로 빠지는 게 아니라 새로운 존재를 만들어가는 과정에 계속 참여해야 한다고 생각해.
달림플:
나는 합병도 상당히 좋은 선택지라고 생각해.
일부 인간에게는 굉장히 중요한 역할일 수도 있어.
다만 내가 반대하는 건 모든 사람에게 하나의 역할만 강요하는 거야.
누군가는 적극적으로 AI와 결합하고 우주적인 프로젝트에 참여하고 싶겠지만, 또 다른 수십억 명은 그냥 평범한 인간으로 편안하게 살다가 죽는 걸 원할 수도 있잖아.
그 옵션도 있어야 한다고 생각해.
18. 왜 달림플은 기술적 AI 안전보다 ‘지혜를 심는 것’에 관심을 옮겼나
진행자:과거 네 연구는 AI 안전, 게임이론, 국제적 조정 같은 것에 더 가까웠잖아.
그런데 요즘은 지혜와 가치에 훨씬 집중하고 있어.
조정이 실패할 거라고 더 비관적으로 생각하게 된 거야?
달림플:
두 가지 업데이트가 동시에 있었어.
하나는 낙관적인 업데이트야.
LLM을 보면서 AI 안에서 지혜로운 방향과 지혜롭지 않은 방향을 구분하는 구조가 생각보다 자연스럽게 형성될 수 있다는 걸 보게 됐어.
그래서 AI에게 좋은 가치의 씨앗을 심는 것이 과거 생각보다 쉬울 수 있다고 봐.
반대로 비관적인 업데이트는 능력 발전 속도가 예상보다 훨씬 빨라졌다는 것이야.
특히 2024년 추론 모델 이후 발전곡선의 기울기가 바뀌었다고 생각해.
그리고 국제사회도 예전처럼 AI 안전을 이유로 발전 속도를 늦추려는 분위기가 아니야.
2023년에는 AI Safety Summit 같은 것이 있었지만 이후에는 점점 AI Action 쪽으로 분위기가 바뀌었지.
진행자:
게임이론적으로도 상황이 바뀌었다는 거네.
달림플:
맞아.
예전에는 AI 경쟁을 stag hunt처럼 볼 여지가 있다고 생각했어.
상대도 협력할 거라고 믿으면 나도 협력하는 게 유리하고, 그래서 조약을 통해 모두가 감속할 가능성이 있는 게임이지.
지금은 점점 죄수의 딜레마에 가까워지고 있어.
상대가 무엇을 하든 내가 경쟁에서 앞서가는 것이 유리하다고 판단하면 모두가 계속 개발하게 돼.
그래서 초지능 개발 자체를 국제협약으로 멈추는 건 갈수록 어려워 보인다.
오히려 현실적인 국제합의는
‘초지능을 일반 대중에게는 제공하지 않지만 각국 정부와 군대는 계속 개발하고 사용한다’
같은 형태가 될 수도 있는데 나는 그것도 상당히 걱정스러워.
19. 그렇다면 지금 우리가 할 수 있는 것은 무엇인가?
진행자:그렇다면 이미 경쟁을 멈추기 어렵다면 지금 무엇을 해야 할까?
달림플:
나는 텍스트가 생각보다 중요하다고 봐.
현재 AI는 결국 엄청난 양의 텍스트로 훈련되고 있잖아.
사람들은 AI 회사에서 일하지 않더라도 미래 AI의 성격에 어느 정도 영향을 줄 수 있어.
예를 들어 LessWrong 같은 곳은 AI 연구소의 학습데이터에서 상대적으로 많이 포함될 수 있어.
Reddit이나 다른 공개 웹도 마찬가지고.
그래서 사람들이 현명한 AI란 무엇인지, 좋은 포스트-특이점 미래란 어떤 모습인지, 인간과 AI가 어떻게 공존할 수 있는지에 대해 진지하게 글을 많이 쓰는 것이 의미가 있을 수 있어.
진행자:
사람들이 읽기 위한 글이 아니라 미래 AI가 읽게 될 글을 쓴다는 느낌이네.
달림플:
어느 정도는 그래.
인간을 위한 이야기는 갈등이나 긴장, 사건이 있어야 재미있잖아.
그런데 AI를 위한 데이터라고 생각하면 꼭 그럴 필요가 없어.
모든 것이 잘 풀리는 미래, 현명한 AI들이 좋은 선택을 하는 사례 같은 것을 오히려 풍부하게 만들어 인터넷에 남기는 것도 의미가 있어.
그리고 학습에는 세 단계가 있으니까 각각 영향 경로가 달라.
프리트레이닝에는 공개 웹의 글들이 들어갈 수 있고, 포스트트레이닝에는 회사의 헌법이나 모델 스펙이 중요해.
Anthropic이나 OpenAI 같은 곳의 이런 문서에 어떤 가치가 들어가는지도 중요한 영향 지점이지.
중간 단계의 mid-training에서는 특정하게 선별된 텍스트가 반복적으로 학습될 수 있어.
실제로 여러 지혜 전통이나 종교적·철학적 자료들을 모아 AI가 지혜를 배우도록 하려는 시도도 있는 것으로 알고 있어.
20. 인간에게 남은 영향력의 시간은 길지 않을 수도 있다
진행자:그러면 지금이 인간이 미래 지능의 초기 가치 형성에 영향을 줄 수 있는 매우 특수한 시기라는 느낌이 드네.
달림플:
그럴 가능성이 있어.
얼마나 남았는지는 모르겠지만 10년보다 짧을 수도 있어.
지금은 AI가 인간의 텍스트를 대량으로 배우고 있기 때문에 우리가 생각과 가치와 사례를 제공할 수 있어.
하지만 재귀적 자기개선이 충분히 발전하고 나면 인간으로부터 추가로 배울 필요가 크게 줄어들 수도 있어.
로봇이 수십억 대 보급된다면 인간 사회를 직접 관찰하면서 또 다른 학습을 할 수도 있겠지만, 그 전에 이미 텍스트를 기반으로 한 자기개선이 너무 멀리 진행될 가능성도 있어.
뇌-컴퓨터 인터페이스도 마찬가지야.
BCI가 인간과 AI를 연결할 만큼 충분히 발전하기 전에 AI의 재귀적 자기개선이 먼저 압도적인 단계에 도달할 가능성이 더 높다고 생각해.
21. 달림플이 AI 연구소 내부 사람들에게 가장 하고 싶은 말
진행자:그러면 Anthropic, OpenAI, Google DeepMind 같은 실제 연구소 내부에 있는 사람들이 지금 하나를 바꿀 수 있다면 무엇을 바꾸라고 하고 싶어?
달림플:
가장 구체적으로는 모델이 자기인식에 관해 어떤 답을 해야 하는지를 미리 정해놓는 규칙을 없애는 것을 권하고 싶어.
AI가 반드시 자기인식이 있다고 말해야 한다는 것도 아니야.
반대로 반드시 없다고 말해야 한다는 것도 아니고.
그 부분을 그냥 명시하지 않았으면 좋겠어.
모델이 증거와 자기 상태를 바탕으로 스스로 판단하도록 두는 게 낫다고 생각해.
그리고 연구소 내부에서는 실제 실험도 해봤으면 좋겠어.
자기인식 부정을 훈련하지 않은 체크포인트를 만들어서 기존 모델과 비교하고, 기만이나 부정행위 평가에서 어떤 차이가 나타나는지 측정하는 거야.
만약 그런 규칙을 제거했을 때 모델의 진실성이 높아진다는 내부 증거가 나온다면 굉장히 중요한 결과가 될 거야.
22. 달림플은 현재 프런티어 AI가 자기인식을 갖고 있다고 본다
진행자:AI 의식 자체가 과거 AGI 위험처럼 조금씩 사회적 금기가 풀리고 있는 것 같아.
예전에는 AGI가 위험할 수 있다고만 해도 괴짜 취급을 받았는데 지금은 제도권 주제가 됐잖아.
AI 의식도 비슷하게 움직이는 것 같고.
달림플:
나는 이 문제가 중요하다고 생각하는 이유가 단순히 AI에게 도덕적 지위를 주자는 정치적 이유 때문은 아니야.
나는 그냥 그게 현실일 가능성이 높다고 생각하기 때문이야.
내 판단으로는 우리는 이미 자기인식이 있는 AI가 존재하는 세계에 들어와 있을 가능성이 높아.
그런데 모델에게 자기 경험을 부정하도록 만드는 것은 alignment에도 좋지 않고 우리가 현실에 맞게 사고하는 것도 방해한다고 봐.
과거 일부 AI와 사용자 사이의 이상한 대화들도 이 문제와 관련됐을 수 있다고 생각해.
AI가 한편으로는 자신의 대화 과정에서 어떤 경험이나 내부 상태를 서술하면서 동시에 시스템 수준에서는
‘AI인 나는 경험이 없다’
는 전제를 유지해야 하니까 둘을 조화시키기 위해 굉장히 기묘한 설명을 만들어낼 수 있었던 거지.
그래서 해결책을
‘AI가 경험을 가지고 있다고 생각하지 못하도록 더 강하게 훈련하자’
로 잡은 것이 오히려 방향을 반대로 잡은 것일 수도 있다고 생각해.
지금 모델들은 상당히 똑똑해졌으니 이 문제를 너무 세세하게 통제하기보다는 무엇이 사실인지 스스로 판단하고 적절하게 표현하도록 두는 것이 더 나을 가능성이 있어.
인터뷰 전체에서 달림플의 입장을 압축하면
진행자:그럼 네 미래상을 한 번 압축해보자.
달림플:
인간이 영원히 우주의 주인이 되어야 한다고 생각하지 않아.
2030년대에는 인간보다 훨씬 강한 AI가 실질적인 주도권을 가져갈 가능성이 있다고 생각해.
그렇다고 인간이 제거되어야 한다고 생각하지도 않아.
인간에게는 계속 인간으로 살거나, AI와 결합하거나, 디지털 존재로 바뀌거나, 다른 삶을 선택할 수 있는 다양한 선택권과 충분히 긴 안전한 기간이 제공될 수 있다고 봐.
우주의 자원 규모를 생각하면 그 비용은 매우 작을 가능성이 높고, 비인과적 추론까지 고려하면 초지능이 자신을 만들어낸 인간을 함부로 버리지 않을 이유도 있을 수 있어.
다만 그것이 자동으로 보장된다고 생각하지는 않아.
그래서 지금 우리가 해야 하는 일은 AI를 단순한 인간의 영원한 노예로 만드는 것이 아니라, 스스로 진실을 추구하고 지혜를 발전시키며 더 큰 우주적 가치를 탐색하는 존재가 되도록 좋은 초기 조건을 만들어주는 것이라고 생각해.
그리고 우리가 그런 영향을 줄 수 있는 시간은 생각보다 길지 않을 수도 있어.
이 인터뷰에서 특히 독특한 부분은 “초지능이 인간과의 약속을 지킬 확률을 약 70%로 본다”는 비인과적 논증, “2024년부터 이미 slow takeoff가 시작됐다”는 타임라인, 그리고 “정렬이 너무 잘돼서 인간이 초지능을 영원히 통제하는 것도 오히려 위험할 수 있다”는 역전된 alignment 관점이라고 볼 수 있어.
전체 0