다리오 아모데이 (데이터센터 속 천재들 타임라인) "제 관점은 변하지 않았습니다."

 

---

[전체 대화 번역]

재니 민턴 베도스 (사회자):
여러분 모두 환영합니다. 그리고 라이브 스트림으로 참여하고 계신 분들도 환영합니다. 솔직히 말씀드리면, 저는 이 대화를 몇 달 동안이나 고대해 왔습니다. 저는 작년 파리에서 다리오 아모데이와 데미스 하사비스, 두 분의 대화를 진행하는 행운을 누렸는데요.

안타깝게도 당시 가장 주목받았던 건 두 분이 아주 작은 러브시트(2인용 소파)에 꽉 끼어 앉아 있었고, 저는 거대한 소파에 혼자 앉아 있었다는 사실이었습니다. 아마 제 실수였겠죠. 하지만 그때 제가 이 대화는 저에게 있어 비틀즈와 롤링스톤즈의 대화를 진행하는 것과 같다고 말했었습니다. 그 이후로 두 분이 무대 위에서 대화를 나누신 적이 없으니, 이번이 그 '속편'이자 밴드가 다시 뭉친 자리라고 할 수 있겠네요. 정말 기쁩니다.

두 분 다 소개가 필요 없는 분들이죠. 우리 대화의 주제는 'AGI(인공 일반 지능) 그 다음 날(The Day After AGI)'입니다. 우리가 그 지점에 얼마나 빠르고 쉽게 도달할지를 먼저 이야기해야 하니, 제목이 다소 앞서나간 감이 있긴 합니다. 그래서 그 부분에 대한 업데이트를 먼저 하고, 그 결과에 대해 이야기해 보겠습니다.

먼저 타임라인에 대해서입니다. 다리오, 당신은 작년 파리에서 "2026년, 2027년쯤이면 인간이 할 수 있는 모든 일을 노벨상 수상자 수준으로, 그것도 여러 분야에 걸쳐 수행할 수 있는 모델을 갖게 될 것"이라고 말했습니다. 지금 우리는 2026년에 와 있습니다. 여전히 그 타임라인을 고수하시나요?

다리오 아모데이:
음, 정확히 언제 어떤 일이 일어날지 아는 것은 항상 어렵습니다만, 저는 그 시점이 그리 멀지 않았다고 생각합니다. 제가 상상했던 메커니즘은, 코딩을 잘하고 AI 연구를 잘하는 모델을 만들어서, 그 모델을 이용해 다음 세대의 모델을 생산하고 속도를 높이는 루프(loop)를 만드는 것이었습니다. 즉, 모델 개발 속도를 높이는 것이죠.

우리는 지금 코드를 작성하는 모델이라는 측면에서 보면, 앤스로픽(Anthropic) 내부의 엔지니어들 중에는 "더 이상 코드를 직접 짜지 않는다"라고 말하는 사람들도 있습니다. 그들은 모델이 코드를 짜게 하고, 자신은 그것을 편집하거나 주변 작업을 처리한다고 합니다. 제 생각에는, 소프트웨어 엔지니어들이 수행하는 업무의 대부분, 어쩌면 전체를 모델이 처음부터 끝까지 수행하게 되는 시점까지 6개월에서 12개월 정도 남았을지도 모릅니다.

그 다음 문제는 그 루프가 얼마나 빨리 닫히느냐(완성되느냐) 하는 것입니다. 루프의 모든 부분이 AI로 가속화될 수 있는 건 아닙니다. 칩이 있고, 칩 제조가 있고, 모델 훈련 시간이 있죠. 그래서 불확실성이 큽니다. 이 과정이 몇 년 걸릴 수도 있다는 건 쉽게 예상할 수 있습니다. 그보다 더 오래 걸릴 것이라고 보기는 어렵습니다. 하지만 추측해야 한다면, 사람들이 상상하는 것보다 더 빨리 진행될 것이라고 봅니다. 코드와 점차적으로 연구(research)라는 핵심 요소가 우리가 상상하는 것보다 더 빨리 진행되는 것이 핵심 동력이 될 겁니다. 다시 말씀드리지만, 그 기하급수적 성장이 우리를 얼마나 가속화할지 예측하기는 정말 어렵지만, 무언가 빠른 일이 일어날 것입니다.

재니 민턴 베도스:
데미스, 당신은 작년에 조금 더 신중했습니다. 당신은 인간의 모든 인지적 능력을 보여주는 시스템이 10년(2020년대) 말까지 나올 확률을 50%라고 했습니다. 다리오가 말했듯 코딩 분야에서는 분명 놀라운 발전이 있었습니다. 당신의 예측을 여전히 고수하시나요? 지난 1년 동안 무엇이 바뀌었나요?

데미스 하사비스:
네, 저는 여전히 비슷한 타임라인을 생각하고 있습니다. 놀라운 진전이 있었다고 생각합니다만, 코딩이나 수학 같은 엔지니어링 작업의 일부 영역은 자동화가 어떻게 될지 좀 더 쉽게 보입니다. 부분적으로는 그 결과물을 검증할 수 있기 때문이죠.

하지만 자연과학의 일부 영역은 그보다 훨씬 어렵습니다. 여러분이 만든 화합물이나 물리학 예측이 맞는지 바로 알 수 없을 수도 있습니다. 실험적으로 테스트해야 할 수도 있고, 그 과정은 더 오래 걸릴 겁니다. 그래서 저는 현재 누락된 능력들이 있다고 생각합니다. 단순히 기존의 추측이나 문제를 해결하는 것이 아니라, 애초에 질문을 던지거나 이론이나 가설을 세우는 능력 말입니다. 그건 훨씬 더 어렵고, 과학적 창의성의 가장 높은 수준이라고 생각합니다.

우리가 그런 시스템을 갖게 될 것이라고 생각하고 불가능하다고 보진 않지만, 한두 가지 요소가 빠져 있을 수 있습니다. 그리고 우리 모두가 작업 중인 이 자가 발전(self-improvement) 루프가 인간의 개입 없이 실제로 닫힐 수(완성될 수) 있을지는 지켜봐야 합니다. 참고로 그런 시스템에는 위험도 따르는데, 그 부분은 나중에 이야기하겠죠. 하지만 만약 그런 시스템이 작동한다면 속도가 빨라질 수 있습니다.

재니 민턴 베도스:
위험에 대해서는 잠시 후에 이야기하죠. 지난 1년의 또 다른 변화는 소위 경쟁의 서열 변화라고 할 수 있겠는데요. 1년 전 이맘때 우리는 '딥시크(DeepSeek) 모멘트'를 겪었고 모두가 거기에 흥분해 있었습니다. 그리고 여전히 구글 딥마인드가 오픈AI(OpenAI)에 뒤쳐져 있다는 인식이 있었습니다. 하지만 지금은 상황이 꽤 달라 보입니다. 구글은 '코드 레드'를 선언했었죠. 꽤 다사다난한 1년이었는데, 구체적으로 어떤 점이 당신을 놀라게 했고, 올해 얼마나 잘해왔다고 생각하시는지, 그리고 라인업에 대해 어떻게 생각하시는지 말씀해 주시죠.

데미스 하사비스:
글쎄요, 저는 우리가 리더보드의 상위권과 전반적인 최첨단 모델(SOTA) 수준으로 복귀할 것이라고 항상 확신했습니다. 왜냐하면 우리는 항상 가장 깊고 넓은 연구 인력(research bench)을 보유하고 있었고, 문제는 그 모든 것을 하나로 모으는 것이었으니까요. 강도와 집중력, 그리고 조직 전체에 스타트업 정신을 다시 불어넣는 것이 관건이었습니다. 정말 많은 일이 있었고, 여전히 할 일이 산더미처럼 많지만, 제미나이 3(Gemini 3) 모델과 제미나이 앱의 시장 점유율 상승 등 제품 측면 모두에서 진전을 보실 수 있을 겁니다.

그래서 저는 우리가 큰 진전을 이루고 있다고 느끼지만, 여전히 할 일이 많습니다. 우리는 구글 딥마인드를 구글의 엔진룸처럼 활용하여, 모델들을 제품 서비스에 점점 더 빠르게 출시하는 데 익숙해지고 있습니다.

재니 민턴 베도스:
다리오, 이 부분에 대해 질문이 있습니다. 당신은 지금 막대한 가치 평가를 받으며 새로운 투자 라운드를 진행 중이시죠. 하지만 데미스와 달리 당신은 '독립적인 모델 제작사'입니다. 독립 모델 제작사들이 수익이 발생할 때까지 충분히 오랫동안 버티지 못할 것이라는 우려가 커지고 있습니다. 오픈AI에 대해서도 그런 이야기가 공공연하게 나왔죠. 당신은 이 문제에 대해 어떻게 생각하시나요? 그리고 AGI 자체로 넘어가 보죠.

다리오 아모데이:
우리가 더 좋고 더 나은 모델을 만들면서, 모델에 투입하는 연산량(compute)과 인지 능력 사이뿐만 아니라, 모델의 인지 능력과 그 모델이 창출할 수 있는 수익 사이에도 일종의 기하급수적 관계가 있어 왔습니다.

우리의 수익은 지난 3년 동안 10배씩 성장했습니다. 2023년 0원에서 1억 달러, 2024년 1억 달러에서 10억 달러, 그리고 2025년 10억 달러에서 100억 달러로 성장했습니다. 그 수익 곡선이 그대로 계속될지는 모르겠습니다. 만약 그렇다면 정말 엄청나겠죠. 하지만 그 수익 수치들은 이제 세계에서 가장 큰 기업들의 규모와 그리 멀지 않은 수준에 도달하고 있습니다.

물론 불확실성은 항상 존재합니다. 우리는 무에서 유를 창조하려는 거니까요. 하지만 우리가 집중하는 분야에서 최고의 모델을 만들 수 있다면, 일이 잘 풀릴 것이라는 확신을 가지고 있습니다. 그리고 전반적으로 구글과 앤스로픽 모두에게 좋은 해였다고 생각합니다.

우리가 공통적으로 가진 점은, 두 회사 모두 연구자들이 이끌고 있다는 점입니다. 모델에 집중하고, 세상의 중요한 문제를 해결하는 데 집중합니다. 어려운 과학적 문제들을 북극성(지표)으로 삼고 있죠. 저는 앞으로 성공할 기업들은 바로 그런 기업들이라고 생각하며, 우리는 그런 점을 공유하고 있습니다.

재니 민턴 베도스:
연구자가 이끌지 않는 회사들은 어떻게 될지 묻고 싶은 유혹을 참겠습니다. (웃음)

그럼 이제 예측 영역으로 넘어가 보죠. 우리는 'AGI 그 다음 날'에 대해 이야기하기로 되어 있습니다만, '루프 닫기(closing the loop)'에 대해 이야기해 봅시다. 모델들이 루프를 닫고 스스로 힘을 얻게 될(power themselves) 확률, 즉 승자독식의 임계점에 도달할 가능성에 대해 여전히 믿으시나요? 아니면 이것이 후발 주자들이 따라잡고 경쟁할 수 있는 훨씬 더 '일반적인 기술'이 될 것이라고 보시나요?

데미스 하사비스:
글쎄요, 저는 이것이 절대 '일반적인 기술'이 될 것이라고 생각하지 않습니다. 다리오가 언급했듯이 이미 코딩이나 일부 연구 분야에서는 도움이 되고 있습니다. 하지만 루프를 완전히 닫는 것은 미지수입니다. 어떤 영역에서는 AGI 자체가 필요할 수도 있습니다.

아까 말씀드린 것처럼 결과 검증이 쉽지 않거나 복잡한 영역, NP-hard(풀기 어려운) 영역들이 있습니다. 그리고 저는 AGI의 범주에 물리적 AI, 즉 로봇공학 같은 것도 포함시키는데, 하드웨어가 개입되면 자가 발전 시스템이 얼마나 빨리 작동할지 제한될 수 있습니다. 코딩이나 수학 같은 분야에서는 확실히 작동하겠지만, 그보다 더 이론적인 질문은 공학이나 수학이 자연과학 문제를 해결하는 데 있어 어떤 한계가 있는가 하는 것입니다.

재니 민턴 베도스:
다리오, 당신은 작년에 '자애로운 기계(Machines of Loving Grace)'라는 에세이를 발표했습니다. 당신이 보게 될 잠재력에 대해 매우 낙관적인 에세이였죠. '데이터 센터의 천재'였나요? 국가 규모의?

지금 당신이 그 에세이의 업데이트 버전을 작업 중이라고 들었습니다. 아직 나오지 않았지만 곧 나올 새로운 에세이에 대해 살짝 미리보기를 해 주실 수 있을까요? 1년 후 당신의 큰 관점은 무엇인가요?

다리오 아모데이:
네, 제 관점은 변하지 않았습니다. 저와 데미스가 동의하는 부분은 AI가 엄청나게 강력해질 것이라는 점입니다. 시기의 문제일 뿐이죠. 그리고 엄청나게 강력하기 때문에 제가 에세이에서 말했던 모든 훌륭한 일들을 해낼 겁니다. 암을 치료하고, 열대성 질병을 박멸하고, 우주를 이해하도록 도울 것입니다.

하지만 엄청나고 심각한 위험들도 존재합니다. 우리가 해결할 수 없는 건 아니지만(저는 파멸론자가 아닙니다), 반드시 생각하고 대처해야 합니다. 제가 '자애로운 기계'를 먼저 쓴 이유는, 거창한 이유가 있어서가 아니라 긍정적인 에세이가 부정적인 것보다 쓰기 쉽고 재미있어서였습니다. (웃음)

드디어 휴가를 좀 내서 위험에 관한 에세이를 쓸 수 있었습니다. 위험에 대해 쓰면서도 저는 낙관적인 사람이라서, 이 위험을 어떻게 극복할 것인가, 어떻게 전투 계획을 짤 것인가에 대해 썼습니다.

제가 사용한 프레임은 칼 세이건의 '콘택트(Contact)' 영화의 한 장면입니다. 외계 생명체를 발견하고 인류를 대표해 외계인을 만날 사람을 뽑는 인터뷰 장면이 있죠. 후보자 중 한 명이 "외계인에게 딱 한 가지 질문만 할 수 있다면 무엇을 묻겠느냐"는 질문에 이렇게 답합니다. "어떻게 해냈나요? 스스로를 파멸시키지 않고 이 '기술적 사춘기(technological adolescence)'를 어떻게 통과했나요?"

20년 전에 본 영화인데 그 장면이 계속 기억에 남았습니다. 그것이 제가 사용하는 프레임입니다. 우리는 지금 모래로 기계를 만드는 것과 같은, 믿을 수 없는 능력의 문을 두드리고 있습니다. 우리가 불을 사용하기 시작했을 때처럼 이것은 필연적이었습니다. 하지만 우리가 그것을 어떻게 다루느냐는 필연적이지 않습니다.

그래서 향후 몇 년간 우리는 인간보다 똑똑하고 고도로 자율적인 이 시스템들을 어떻게 통제할 것인가, 개인이 이를 악용(바이오 테러 등)하지 않도록 어떻게 할 것인가, 국가(특히 권위주의 국가나 중국 공산당 등)가 악용하지 않도록 어떻게 할 것인가 하는 문제들을 다루게 될 것입니다.

또한 노동 시장의 혼란 같은 경제적 영향도 있습니다. 우리가 미처 생각하지 못한 것들이 가장 다루기 힘들 수도 있습니다. 각 문제에 대해 기업 리더로서 우리가 해야 할 일과 정부 등 사회 제도가 해야 할 역할이 섞여 있습니다. 저는 매일 밖에서 일어나는 일들을 보며 절박함을 느낍니다. 이 일이 너무 빨리 일어나고 있고 위기 상황이기 때문에, 우리는 이 시기를 어떻게 통과할지에 대해 거의 모든 노력을 기울여야 합니다.

재니 민턴 베도스:
당신이 휴가를 간다는 사실에도 놀랐고, 휴가 가서 AI 위험을 생각한다는 것에도 놀랐고, 에세이의 프레임이 "자멸하지 않고 기술적 사춘기를 넘길 수 있을까"라는 점에도 놀랐습니다. 머리가 좀 어지러운데요. 어쨌든 에세이가 기대됩니다.

당신이 언급한 몇 가지 영역이 남은 대화를 이끌어 줄 것 같습니다. 먼저 일자리부터 시작해 보죠. 당신은 향후 1~5년 내에 화이트칼라 초급 직종의 절반이 사라질 수 있다고 꽤 강하게 말했습니다. 하지만 데미스에게 묻겠습니다. 지금까지 노동 시장에 뚜렷한 영향은 없었습니다. 미국의 실업률이 조금 올랐지만 경제 연구들을 보면 펜데믹 이후 과잉 고용 탓이지 AI 때문은 아닌 것 같습니다. 오히려 AI 역량을 구축하기 위해 채용하고 있죠. 경제학자들이 항상 주장해 온 '노동 총량의 오류'가 아닐까요? 새로운 일자리가 생겨날까요? 지금까지의 증거는 그렇습니다.

데미스 하사비스:
단기적으로는 획기적인 기술이 등장했을 때 일어나는 일반적인 진화 과정이 일어날 겁니다. 일부 일자리는 중단되겠지만, 새롭고 더 가치 있고 의미 있는 일자리가 창출될 것이라고 봅니다.

올해 우리는 주니어 레벨, 인턴십 같은 초급 직종에 영향이 시작되는 것을 보게 될지도 모릅니다. 저도 그런 조짐을 조금 느끼고 있고요. 채용 둔화 같은 거요. 하지만 누구나 거의 무료로 쓸 수 있는 놀라운 창의적 도구들이 있다는 사실이 이를 상쇄하고도 남을 겁니다.

제가 지금 학부생들에게 조언한다면, 이 도구들을 믿을 수 없을 정도로 능숙하게 다루라고 할 겁니다. 심지어 우리 개발자들도 너무 바빠서 현재 모델의 능력치조차 다 파악하지 못할 정도니까요. 그렇게 하면 전통적인 인턴십보다 훨씬 더 빨리 유용한 전문가로 도약할 수 있을 겁니다. 향후 5년 정도는 그렇게 될 겁니다.

하지만 AGI가 도래한 이후에는 다른 문제입니다. 그때는 정말 미지의 영역이 될 겁니다.

재니 민턴 베도스:
다리오, 당신은 작년에 화이트칼라 초급 직종의 절반이 사라질 거라고 했는데, 생각보다 더 오래 걸릴까요?

다리오 아모데이:
아니요, 저는 6개월 전과 비슷한 견해를 가지고 있습니다. 사실 제가 그 발언을 했을 때 저도 당장은 노동 시장에 영향이 없다는 데 동의했었습니다. 지금은 소프트웨어 코딩 분야 등에서 아주 조금씩 시작되는 조짐이 보입니다. 앤스로픽 내에서도 주니어급이나 중간급 인력이 덜 필요하고 더 필요하지 않은 상황을 예상할 수 있습니다.

1년에서 5년이라는 예측을 고수합니다. 제가 앞서 말했듯이 AI가 1~2년 안에 인간보다 모든 것을 잘하게 될 수도 있는데 왜 일자리는 바로 안 없어지냐고 묻는다면, 시차(lag)와 대체 과정 때문입니다.

노동 시장은 적응력이 있습니다. 농업 인구가 공장 노동자가 되고 지식 노동자가 된 것처럼요. 하지만 제 걱정은 이 기하급수적 발전이 계속 복리로 불어나면서(1~5년 사이에), 우리의 적응 능력을 압도해 버릴 것이라는 점입니다. 데미스와 같은 이야기를 하고 있는 것 같지만, 타임라인에 대한 차이만 있을 뿐입니다.

재니 민턴 베도스:
정부들이 이 문제의 규모를 파악하고 정책적 대응을 고민하고 있다는 확신이 얼마나 드시나요?

데미스 하사비스:
아니요, 충분한 작업이 이루어지고 있다고 보지 않습니다. 이런 자리에서 경제학자들을 만날 때마다 더 많은 전문 경제학자들이 이 문제에 대해 연구하지 않는다는 사실에 놀랍니다. 단순히 AGI로 가는 과정뿐만 아니라, 기술적으로 성공하더라도 경제적 분배 문제는 어떻게 할 것인지요. 생산성과 부를 더 공정하게 분배하는 방법이 있을 텐데, 우리에게 맞는 제도가 있는지 모르겠습니다.

그리고 그보다 더 큰 문제는 '의미'와 '목적'에 관한 것입니다. 우리가 직업에서 얻는 것들이 단순히 경제적인 것만은 아니니까요. 이상하게도 경제적 문제보다 인간 조건과 인류 전체에 대한 문제가 해결하기 더 쉬울 수도 있습니다. 저는 우리가 예술이나 익스트림 스포츠처럼 경제적 이득과 직접 관련 없는 활동에서 의미를 찾을 것이라고 낙관합니다. 그리고 별들을 탐험하게 되겠죠. 어쨌든 지금 생각해야 할 문제입니다. 5~10년은 긴 시간이 아닙니다.

재니 민턴 베도스:
대중적인 반발(backlash) 위험은 얼마나 될까요? 1990년대 세계화 시대에 일자리가 사라졌을 때 정부가 충분히 대응하지 못해 반발이 일어났고 지금의 상황이 되었죠. 당신들이 하는 일에 대해 정치적, 대중적 반감이 커질 위험이 있다고 보시나요?

데미스 하사비스:
분명 위험이 있습니다. 일자리와 생계에 대한 두려움은 합리적입니다. 앞으로 몇 년간 지정학적으로 매우 복잡해질 겁니다. 우리는 알파폴드(AlphaFold)나 아이소모픽(Isomorphic) 등을 통해 질병을 치료하고 새로운 에너지를 만드는 등 사회가 원하는 일을 하려고 합니다. 하지만 업계 전체의 균형이 그런 활동에 충분히 맞춰져 있지 않은 것 같습니다. 우리 같은 선도 기업들이 그런 명백한 혜택을 더 많이 보여줘야 할 책임이 있습니다.

하지만 지정학적 경쟁, 주로 미국과 중국의 경쟁이 또 다른 문제입니다. 국제적인 협력이나 이해가 없다면 배포에 대한 최소한의 안전 기준 같은 것을 마련하기 어렵습니다. 저도 '콘택트'를 좋아하는데요(웃음), 만약 우리가 국제적 협력을 통해 지금의 예측보다 속도를 조금 늦출 수 있다면 사회적으로 올바르게 대응하는 데 도움이 될 겁니다. 하지만 그러려면 조정이 필요하죠.

다리오 아모데이:
저는 당신의 타임라인(더 느린 속도)을 선호합니다. 저도 인정해요.

재니 민턴 베도스:
다리오, 그 부분으로 넘어가죠. 작년 파리 이후 지정학적 환경은 더 복잡하고 미쳐가고 있습니다. 미국은 칩 수출을 통해 중국을 미국 공급망에 묶어두려는 등 매우 다른 접근을 하고 있습니다. 이런 현실 세계에서 지정학적 위험이 증가했나요? 그리고 무엇을 해야 할까요?

다리오 아모데이:
우리는 그저 존재하는 환경 속에서 최선을 다해 운영하려고 노력할 뿐입니다. 하지만 제 정책 제언은 변하지 않았습니다. 칩을 팔지 않는 것이 우리가 시간을 벌기 위해 할 수 있는 가장 큰 일 중 하나입니다.

저는 데미스의 타임라인(510년)을 선호합니다. 하지만 제가 맞고 12년 안에 가능하다고 가정해 봅시다. 왜 늦출 수 없냐고요? 똑같은 기술을 비슷한 속도로 개발하는 지정학적 적국들이 있기 때문입니다. 그들이 속도를 늦추고 우리도 늦추는 강제력 있는 합의를 하기는 매우 어렵습니다.

따라서 칩을 팔지 않는 것만이라도 할 수 있다면... 이건 미국과 중국의 경쟁 문제가 아닙니다. 이건 저와 데미스 사이의 경쟁 문제가 되는 셈인데, 그건 우리가 잘 해결할 수 있을 거라 확신합니다. (웃음)

미국 행정부의 논리는 칩을 팔아서 그들을 미국 공급망에 묶어두자는 것 같은데, 저는 그 트레이드오프가 말이 안 된다고 봅니다. 기술의 중요성을 생각해야 합니다. 통신 기술 정도라면 미국 스택을 확산시키는 게 맞겠지만, 이건 보잉의 이익을 위해 북한에 핵무기를 파는 것과 같습니다. "보잉이 만들었으니 미국이 이기는 거야"라고 할 수 있나요? 저는 그렇게 보지 않습니다.

재니 민턴 베도스:
마지막으로 한 가지 더 짚고 넘어가죠. '파멸론자(doomers)'들이 걱정하는 또 다른 위험은 전능하고 사악한 AI입니다. 지난 1년 동안 모델들이 기만과 이중성을 보일 수 있다는 것이 드러났습니다. 이 위험에 대해 1년 전과 다르게 생각하시나요?

다리오 아모데이:
앤스로픽을 시작할 때부터 우리는 이 위험을 생각해 왔습니다. 우리는 모델 내부를 들여다보는 '메커니즘적 해석 가능성(mechanistic interpretability)'을 개척했습니다. 시간이 지날수록 모델의 나쁜 행동들이 기록되고 있고, 우리는 이를 해결하기 위해 노력하고 있습니다.

저는 파멸론(우리는 끝장났다는 생각)에는 회의적이지만, 이것은 우리가 함께 노력하면 해결할 수 있는 '위험'이라고 봅니다. 하지만 제대로 만들지 못하고 안전장치 없이 속도 경쟁만 한다면 잘못될 위험이 있습니다.

재니 민턴 베도스:
데미스, 긍정적인 잠재력에 더 확신을 가지시나요, 아니면 위험이 더 걱정되시나요?

데미스 하사비스:
저는 20년 넘게 AI의 긍정적인 면, 즉 과학을 위한 최고의 도구라는 점에 집착해 왔습니다. 위험에 대해서도 15년 전 딥마인드 시작 때부터 생각해 왔고요. 기술은 양면성이 있어서 나쁜 행위자에게 악용될 수 있습니다.

저는 인간의 창의성을 믿습니다. 문제는 시간과 집중력, 그리고 최고의 인재들이 협력하여 이 문제를 해결할 수 있느냐입니다. 만약 우리가 시간과 공간을 확보할 수 있다면, 기술적 안전 문제는 해결 가능한 문제라고 봅니다. 하지만 파편화된 상태에서 서로 경쟁만 한다면 훨씬 어려워질 겁니다.

재니 민턴 베도스:
시간이 없으니 청중 질문 딱 하나만 받겠습니다.

청중 (필립, 스타 클라우드 공동창업자):
파멸론의 가장 강력한 근거 중 하나는 페르미 역설(우리 은하에 지적 생명체가 보이지 않는다는 것)입니다. 이에 대해 어떻게 생각하시나요?

데미스 하사비스:
네, 많이 생각해 봤습니다. 그게 파멸론의 이유는 아닐 겁니다. 왜냐하면 만약 AI가 문명을 멸망시켰다면, 우리는 은하계 어딘가에서 날아오는 '종이클립(AI가 만든 구조물)' 같은 것을 봐야 합니다. 다이슨 스피어 같은 것도요. 하지만 우리는 자연적인 것이든 AI든 아무런 구조물도 보지 못하고 있습니다.

따라서 제 생각에 우리는 이미 '대여과기(Great Filter)'를 통과했을 가능성이 높습니다. 아마도 다세포 생명체의 탄생이 그 필터였을 겁니다. 그건 생물학적으로 진화하기 엄청나게 어려운 거니까요. 그러니 다음에 무슨 일이 일어날지 정해진 건 없습니다. 인류로서 다음에 일어날 일을 쓰는 것은 바로 우리입니다.

재니 민턴 베도스:
이건 정말 훌륭한 토론 주제지만 시간이 없네요. 각자 15초씩, 내년 이맘때 우리가 다시 만난다면 무엇이 달라져 있을까요?

다리오 아모데이:
가장 주목해야 할 것은 'AI 시스템을 구축하는 AI 시스템'입니다. 그것이 어떻게 진행되느냐가 우리가 그 지점에 도달하는 데 몇 년이 더 걸릴지, 아니면 엄청난 경이로움과 비상사태를 동시에 맞이하게 될지를 결정할 것입니다.

데미스 하사비스:
동의합니다. 그리고 그 외에도 월드 모델, 지속적 학습 같은 흥미로운 연구들이 진행되고 있습니다. 자가 발전만으로 해결되지 않을 때 이런 것들이 필요할 겁니다. 그리고 로봇공학도 획기적인 순간을 맞이할 수 있다고 봅니다.

재니 민턴 베도스:
방금 하신 말씀에 따르면 여러분이 조금 더 오래 걸리기를, 그리고 모두가 우리에게 더 많은 시간을 주기를 바라야겠네요. 두 분 모두 감사합니다.