인터뷰/예측
세인레그 "몇 년에 걸쳐 이런 문제(지속적 학습)들이 모두 해결될 것"
🎙️ Shane Legg 인터뷰 핵심 요약
1. AGI의 정의와 지금 어디까지 왔나
Q. 지금 모델들, AGI의 ‘불꽃’ 정도까지 왔나요?A. Shane: “불꽃이 아니라… 이미 꽤 많이 왔다.”
- 언어, 지식에서는 이미 인간을 훌쩍 넘어섰다.
- 하지만 연속적 학습(continual learning), 시각적 추론, 일상적 추론 같은 인간이 당연히 하는 능력은 아직 부족.
- “사람이 일반적으로 할 수 있는 모든 인지 작업을 AI도 실패 없이 할 수 있어야 한다.”
- 인간보다 뛰어날 필요는 없지만 ‘사람이라면 당연히 할 일’을 놓치지 않는다는 것이 최소선.
➡️ 약 1~5년 내, 본인 추정은 2년 정도.
2. AGI·ASI(초지능)의 단계
Minimal AGI → Full AGI → Superintelligence- Full AGI = 인간이 도달할 수 있는 인지 영역 전체를 달성하는 수준
- Superintelligence = 그 이상
A. Shane: “절대 아니다.”
데이터센터는 인간 뇌 대비:
- 에너지: 20W → 200MW
- 신호 속도: 30m/s → 빛의 속도
- 주파수: 100Hz → 10GHz
➡️ 인간이 한계가 될 이유가 없음.
➡️ 초지능은 거의 확실한 미래라고 봄.
3. 어떻게 더 ‘신뢰할 수 있는’ AI가 되는가?
Shane의 핵심 아이디어: “System 2 Safety”- 인간의 ‘느린 사고’를 기계에게도 부여해야 한다는 주장.
- 감정적 즉각 반응(시스템1)이 아니라
윤리적·논리적 평가를 단계별로 추론하는 시스템2를 AI에 주입해야 한다고 봄.
- AI가 윤리 문제를 어떤 논리로 판단하는지 ‘내부 사고 흐름’을 검사 가능
- 결과뿐 아니라 의도(intention) 를 평가해야 한다고 강조
- “잘못했는데 그게 고의냐 사고냐”가 중요하다는 인간적 관점 적용
4. AI 윤리, 안전성, ‘의미 있는 테스트’
- 완벽한 100% 안전은 존재하지 않음
- 따라서 테스트 → 모니터링 → 내부 해석 → 롤백 시스템이 필요
- 특히 위험 영역(바이오, 해킹)은 집중 테스트를 수행
- 실패 사례가 나오면 모델 출시 중단까지 가능
5. AI가 사회를 어떻게 바꿀까? (단기·중기·장기)
① 단기 (1~5년)
- AI는 “도구(tools)” → 실제 노동을 대신하는 주체(performers) 로 변환
- 가장 빨리 영향을 받을 분야: 소프트웨어 엔지니어링
- “100명이 하던 일을 20명이 하고, 20명이 AI를 활용하는 시대”
- 고임금 ‘순수 인지 노동’ 직군이 먼저 충격받는다
- 금융
- 법률
- 머신러닝 엔지니어
- 수학적 전문직
➡️ 노동 시장의 첫 충격은 “엘리트 화이트칼라”에게 온다.
② 중기 (5~10년)
- 경제 구조 자체가 흔들림
- 생산력 폭증 → “파이는 더 커지지만, 분배 시스템을 새로 설계해야 한다”
- 교육, 법, 도시계획, 의료 등 모든 학문 분야가 새롭게 재정의되어야 함
- Shane: “러셀 그룹 대학 전체에게, 모든 학과가 AGI 영향을 재검토해야 한다고 말했다.”
③ 장기 (10년 이후) – Superintelligence
- 인간의 인지능력은 비교 대상이 되지 않을 가능성
- “과연 기계는 의식이 있는가?”라는 철학적 문제 등장
- 현 시점에서는 전문가들도 답을 못함
- 미래 AGI가 인간처럼 체험하고 기억하고 말한다면? → 사회적 갈등 예상
6. 경제 체제 자체가 재설계될 것이다
Shane이 반복해서 강조한 메시지:“사람이 노동을 제공하고 보상받는 지금의 구조는
AGI 시대에 그대로 작동하지 않을 가능성이 크다.”
- 대규모 실업이 아니라 노동의 재정의
- 자본·생산·분배 모델 전면 재검토 필요
- 하지만 생산력은 폭발하므로 잠재적 황금기(golden age) 도 가능
7. Shane Legg의 AGI 타임라인
- Minimal AGI: ★ 2028년까지 50% (2009년부터 같은 예측 유지)
- Full AGI: 최소 AGI 후 3~6년 안
- Superintelligence: 필연적이라고 봄. 시점은 더 빠를 수도.
8. 대중 vs 전문가
재밌는 포인트:일반 대중은 이미 “이 정도면 인간 아닌가?”라고 느끼는데
전문가들은 자기 분야는 AI가 못 따라온다고 과소평가하는 경향이 있음.
Shane은 대중이 오히려 트렌드를 더 잘 감지하고 있다고 봄.
📌 최종 핵심 포인트 5줄 정리
- AGI의 최소 기준은 ‘사람이 당연히 하는 모든 인지 과제를 실패 없이 수행’하는 것.
- 2028년 minimal AGI 50%, 그 후 3~6년 안에 full AGI 도달 가능.
- AI는 특정 영역에서 이미 인간을 크게 넘어섰고, 연속학습·시각추론만 해결되면 빠르게 완성될 것.
- 초지능은 필연적이며, 인간 지능은 물리적으로 상한선 역할을 하지 못한다.
- 경제·노동·사회 구조가 근본적으로 재설계되어야 하고, 준비하지 않으면 큰 위험이 있다.
00:00
셰인 레그 (Shane Legg): 그렇다면 인간 지능이 가능한 것의 상한선이 될까요? 저는 전혀 아니라고 생각합니다.
00:08
해나 프라이 (Hannah Fry): 이 모든 것이 사람들에게 어떤 의미일지 정말 궁금합니다. 제 말은, 만약 우리가 본질적으로 인간 지능이 초지능(superintelligence)에 비해 왜소해지는 지점에 도달한다면, 그것이 사회에 어떤 의미가 있을까요?
00:21
셰인 레그: 그것은 거대한 변혁을 의미합니다. 이것은 경제와 사회, 그리고 모든 종류의 것들을 구조적으로 변화시킬 무언가입니다. 그리고 우리는 이 새로운 세상을 어떻게 구조화할지에 대해 생각해야 합니다.
00:36
[구글 딥마인드: 더 팟캐스트]
00:41
해나 프라이: 구글 딥마인드 팟캐스트에 오신 것을 환영합니다. 저는 진행자 해나 프라이 교수입니다. AGI(범용 인공지능)가 오고 있다, 다들 그렇게 말하는 것 같습니다. 오늘 팟캐스트의 게스트는 셰인 레그입니다. 그는 구글 딥마인드의 수석 AGI 과학자이자 공동 창립자입니다. 셰인은 수십 년 동안, 심지어 그의 표현을 빌리자면 '광적인 비주류(lunatic fringe)' 취급을 받던 시절부터 AGI에 대해 이야기해 왔습니다. 그는 AGI라는 용어를 대중화하고, 그것이 실제로 무엇일지 알아내기 위한 가장 초기 시도들을 한 것으로 인정받고 있습니다.
오늘 대화에서 우리는 AGI를 어떻게 정의해야 하는지, AGI가 도래했을 때 어떻게 알아볼 수 있을지, 어떻게 안전하고 윤리적인지 확인할 수 있을지, 그리고 결정적으로 우리가 그곳에 도달했을 때 세상은 어떤 모습일지에 대해 이야기할 것입니다. 말씀드리자면, 셰인은 향후 10년 동안 사회 전체가 어떤 영향을 받을지에 대해 놀라울 정도로 솔직했습니다. 그 논의를 위해서라도 끝까지 들어보실 가치가 충분히 있습니다.
01:38
해나 프라이: 팟캐스트에 오신 걸 환영합니다, 셰인. 우리가 마지막으로 이야기한 게 5년 전이었죠. 그때 당신은 AGI가 어떤 모습일지에 대한 비전을 이야기해 주셨는데요. 오늘날 우리가 가진 AI 시스템들을 볼 때, 그것들이 AGI의 작은 불꽃(sparks)을 보여주고 있다고 생각하시나요?
01:50
셰인 레그: 네, 불꽃보다는 훨씬 더 많은 것을 보여주고 있다고 생각합니다.
01:54
해나 프라이: 불꽃보다 더 많다고요?
01:56
셰인 레그: 네, 그렇습니다. 저의 AGI 정의, 때로는 '최소한의 AGI(minimal AGI)'라고 부르는 것은, 적어도 사람들이 일반적으로 할 수 있는 종류의 인지적 작업들을 수행할 수 있는 인공 에이전트를 말합니다.
02:09
셰인 레그: 저는 그 기준을 좋아합니다. 만약 그보다 못하다면, 사람들이 할 수 있을 것으로 기대하는 인지적 작업들을 수행하지 못하는 것이니 아직 도달하지 못한 것처럼 느껴지기 때문입니다. 반면에 최소 기준을 그보다 훨씬 높게 잡으면, 많은 사람들이 우리가 AGI에게 요구하는 것들을 실제로 수행하지 못하는 수준이 되어버립니다. 그러니까, 우리는 사람들이 어떤 종류의 일반 지능을 가지고 있다고 믿잖아요? 따라서 AI가 적어도 사람들이 일반적으로 할 수 있는 종류의 인지적 작업을 수행할 수 있다면, 어쩌면 그 이상을 할 수 있다면, 우리는 그것을 그러한 클래스(범주) 내에 있는 것으로 고려해야 합니다.
02:46
해나 프라이: 지금 우리가 가지고 있는 것들은 그 수준에서 어느 정도인가요?
02:49
셰인 레그: 불균형합니다. 언어 구사 능력 같은 경우 이미 사람보다 훨씬 뛰어납니다. 150개 국어를 구사한다거나 하는 식이죠. 아무도 그렇게는 못 하잖아요. 그리고 일반 상식도 놀랍습니다. 제가 자란 뉴질랜드의 작은 마을에 대해 물어보면 우연히 그곳에 대한 것들을 알고 있을 정도니까요.
03:08
셰인 레그: 반면에, 사람들이라면 으레 할 수 있을 것으로 기대되는 일들을 여전히 수행하지 못하기도 합니다. '지속적 학습(continual learning)', 즉 긴 시간에 걸쳐 새로운 기술을 배우는 것에는 그리 능숙하지 않습니다. 이건 매우 중요합니다. 예를 들어 새 직장을 얻으면, 처음에 모든 것을 다 알고 업무를 수행할 것으로 기대하지는 않잖아요. 시간이 지나면서 배워야 하죠. 또한 추론, 특히 '시각적 추론(visual reasoning)' 같은 것에도 약점이 있습니다.
03:33
셰인 레그: AI는 물체를 인식하는 데는 매우 뛰어납니다. 고양이와 개를 인식하는 등 그런 일은 꽤 오랫동안 해왔죠. 하지만 장면 내의 사물들에 대해 추론하라고 하면 훨씬 불안정해집니다. 예를 들어 빨간 차와 파란 차가 있는데 어느 차가 더 크냐고 물어볼 수 있죠. 사람들은 원근법이 있다는 걸 이해합니다. 파란 차가 실제로는 더 크지만 멀리 있어서 작아 보일 수 있다는 걸 알죠. AI는 그런 걸 잘 못합니다.
04:01
셰인 레그: 혹은 노드(점)와 엣지(선)가 있는 다이어그램, 네트워크 혹은 수학자들이 말하는 그래프 같은 것이 있을 때, 그것에 대해 질문을 던져서 특정 노드에서 나오는 엣지(바퀴살)의 개수를 세라고 하면, 사람은 다른 지점들에 주의를 기울이면서 머릿속으로 세어보며 그 일을 해냅니다. 하지만 AI는 그런 유형의 일을 잘 못합니다.
04:26
셰인 레그: 현재 우리가 보는 이런 종류의 일들이 아주 많습니다. 저는 이런 것들에 근본적인 장벽(blocker)이 있다고는 생각하지 않으며, 우리는 이런 일들을 할 수 있는 시스템을 개발할 아이디어들을 가지고 있습니다. 그리고 시간이 지남에 따라 여러 분야에서 지표들이 개선되는 것을 보고 있습니다. 그래서 제 예상으로는, 몇 년에 걸쳐 이런 문제들이 모두 해결될 것이라고 봅니다. 하지만 아직은 도달하지 못했습니다.
04:50
셰인 레그: 그리고 그 과정을 거치는 데는 약간의 시간이 걸릴 것입니다. 사람들이 할 수 있는 온갖 종류의 인지적 작업들 중에서 AI가 아직 인간 수준 이하인 '긴 꼬리(long tail)'가 존재하기 때문입니다. 우리가 그 지점에 도달함에 따라(저는 몇 년 안에 올 것이라고 생각합니다만 정확히 언제인지는 불분명합니다), AI는 훨씬 더 신뢰할 수 있게 될 것이고, 그것이 여러 면에서 AI의 가치를 상당히 높여줄 것입니다.
05:16
셰인 레그: 또한 그 기간 동안 AI는 점점 더 유능해져서 전문가 수준을 넘어설 것입니다. 수학 코딩 능력이나, 이미 알고 있는 다국어 능력, 일반 상식 같은 것들 말이죠. 그래서 일종의 불균형한 상태가 될 것입니다.
05:31
해나 프라이: 시간이 지나면서 더 신뢰할 수 있게 될 거라고 생각하신다면, 어떻게 그렇게 되나요? 단순히 모델을 더 크게 만들거나 더 큰 규모로 작업을 수행하는 문제인가요? 더 많은 데이터인가요? 즉, 더 신뢰할 수 있게 만드는 명확한 경로가 있나요?
05:46
셰인 레그: 네, 있다고 봅니다. 그리고 그것은 딱 한 가지가 아닙니다. 단순히 더 큰 모델이나 더 많은 데이터만의 문제는 아닙니다. 어떤 경우에는 특정 종류의 데이터가 더 많이 필요한 경우입니다. 예를 들어 시각적 추론을 요구하는 데이터를 수집하면 모델은 그것을 수행하는 법을 배웁니다. 어떤 경우에는 알고리즘적인 것들이 필요합니다. 내부의 새로운 프로세스 같은 것들이죠.
06:11
셰인 레그: 예를 들어 지속적 학습을 수행해서 AI가 시간이 지남에 따라 계속 학습하게 하려면, 새로운 정보가 일종의 검색 시스템이나 일화 기억(episodic memory) 같은 곳에 저장되고, 시간이 지나면서 그 정보가 다시 기저 모델(underlying model)로 훈련되는 프로세스가 필요할 수 있습니다. 이런 것은 단순히 더 많은 데이터를 필요로 하는 것 이상으로, 알고리즘적이고 구조적인 변화를 요구합니다. 그래서 답은 이 모든 것들의 조합이며, 구체적인 이슈가 무엇이냐에 따라 달라집니다.
06:41
해나 프라이: 당신은 AGI가 넘어야 할 단일 임계값(예/아니오)이 아니라 일종의 스펙트럼, 즉 여러 단계가 있다고 생각한다는 걸 알고 있습니다. 그에 대해 설명해 주시겠어요?
06:53
셰인 레그: 네, 저는 '최소한의 AGI(minimal AGI)'라는 것을 두는데, 이는 인공 에이전트가 적어도 사람들이 일반적으로 할 수 있을 것으로 기대되는 모든 종류의 인지적 작업을 수행할 수 있는 때를 말합니다. 우리는 아직 그곳에 도달하지 못했지만, 1년이 걸릴 수도 5년이 걸릴 수도 있습니다. 제 추측으로는 대략 2년 정도일 것 같습니다.
07:10
해나 프라이: 그게 가장 낮은 단계군요. 최소한의 AGI요.
07:12
셰인 레그: 그게 제가 말하는 최소한의 AGI입니다. 그 시점이 되면 저는 "좋아, 이 AI는 우리가 사람에게 그 인지적 과제를 주었을 때 실패하면 놀라울 법한 방식으로는 더 이상 실패하지 않는구나"라고 말할 것입니다. 저는 그것이 최소한의 기준이라고 생각합니다.
07:27
셰인 레그: 그렇다고 해서 우리가 인간 지능의 능력치에 도달하는 방법을 완전히 이해했다는 뜻은 아닙니다. 왜냐하면 물리학이나 수학에서 놀라운 새로운 이론을 발명하거나, 믿을 수 없는 교향곡을 작곡하거나, 훌륭한 문학 작품을 쓰는 등 놀라운 인지적 위업을 달성하는 비범한 사람들이 있으니까요.
07:49
셰인 레그: 단지 우리 AI가 인간 인지의 '일반적인' 것을 할 수 있다고 해서, 인간 인지의 매우 비범한 위업을 달성하는 데 필요한 모든 레시피와 알고리즘을 우리가 안다는 것을 반드시 의미하지는 않습니다. 우리 AI가 인간 인지로 가능한 것의 전체 스펙트럼을 달성할 수 있게 되면, 그때 우리는 적어도 인간 수준까지는 완전히 정복했다는 것을 알게 될 것입니다. 우리는 그것을 '완전한 AGI(full AGI)'라고 부릅니다.
08:17
해나 프라이: 그럼 그 너머의 단계도 있나요?
08:19
셰인 레그: 네, 인간 인지로 가능한 것 너머로 가기 시작하면, '인공 초지능(Artificial Super Intelligence, ASI)'이라고 불리는 영역으로 진입하게 됩니다.
08:31
셰인 레그: 그것에 대한 훌륭하고 명확한 정의는 별로 없습니다. 저도 여러 번 좋은 정의를 내리려고 시도해 봤지만, 제가 내놓은 모든 정의에는 항상 중대한 문제점들이 있었습니다. 하지만 적어도 막연하게 표현하자면, 그것은 AGI이므로 AGI의 범용성을 갖추고 있지만, 전반적으로 너무나 유능해서 인간이 도달할 수 있는 범위를 어떤 식으로든 훨씬 뛰어넘은 것을 의미합니다.
08:58
해나 프라이: 당신이 AGI라는 용어를 만드는 데 도움을 준 사람 중 한 명이라는 걸 알고 있습니다. 그 문구가 여전히 유용하다고 생각하시나요? 제 말은, 지금 경쟁하는 정의들이 너무 많고, 모두가 사용하는 유행어(buzzword)가 된 것 같아요. 그리고 당신 말대로 AGI가 묘사되는 방식이 당신이 말하는 레벨의 연속체라기보다는, 마치 넘어야 할 불연속적인 선(예/아니오)처럼 묘사되고 있잖아요.
09:21
셰인 레그: 네, 제가 그 용어를 제안했을 때는 연구 분야(field of study)로서 더 생각했었습니다. 저는 1년 정도 전에 함께 일했던 벤 괴르첼(Ben Goertzel)이라는 사람과 이야기를 나누고 있었는데요. 그는 AI의 옛 비전에 대한 책을 쓰고 싶어 했습니다. 포커만 친다거나, 텍스트 음성 변환만 한다거나 하는 아주 구체적인 일만 하는 특화된 기계가 아니라, 여러 가지 다양한 일을 할 수 있는 '생각하는 기계(thinking machines)'에 대한 비전 말이죠. 당시에는 특화된 AI가 일반적이었거든요.
09:50
셰인 레그: 그래서 "AI의 옛 꿈은 어떻게 된 거지?"라고 생각했죠. 배우고, 추론하고, 언어를 구사하고, 시를 쓰거나 수학을 하고, 그림을 그리는 등 온갖 다양한 일을 할 수 있는 매우 범용적인 능력을 갖춘 시스템을 만드는 것 말이니. 그걸 뭐라고 불러야 할까요? 그래서 제가 말했죠. "만약 우리가 원하는 게 범용성(generality)이라면, 이름에 'General(범용/일반)'이라는 단어를 넣어서 'Artificial General Intelligence (인공 일반 지능)', 즉 AGI라고 부르면 어떨까? 입에도 잘 붙는 것 같고." 그래서 그렇게 하기로 했죠.
10:19
셰인 레그: 그런데 그 후에 무슨 일이 일어났냐면, 많은 사람들이 온라인에서 그 용어를 사용하기 시작했고, 곧바로 사람들이 "우리는 언제 AGI를 갖게 될까?"라고 이야기하기 시작했습니다. 그러면서 AGI는 연구 분야나 하위 분야에서 '인공물(artifact)의 범주'로 의미가 옮겨갔습니다. 그러다 보니 정의가 필요해진 거죠. 그래서 제가 초기에 좀 더 명확하게 정의하고 들어갔어야 했는데, 그게 실수였을지도 모릅니다.
10:43
셰인 레그: 나중에 알게 된 사실이지만, 마크 거브러드(Mark Gubrud)라는 사람이 1997년에 쓴 논문에서 이 용어를 사용했더군요. 나노테크 보안 컨퍼런스였는데 우리 중 아무도 몰랐었죠. 하지만 그가 정의한 방식도 사실 산업계 등에서 사람들이 수행하는 인지적 작업들과 관련하여 정의했기 때문에, 제가 지금 사용하는 것과 꽤 비슷한 뉘앙스였습니다.
11:04
해나 프라이: 초기에 더 명확하게 정해졌더라면 도움이 되었겠네요. 그 용어를 만든 걸 후회하시나요?
11:09
셰인 레그: 아뇨, 아닙니다. 왜냐하면 그것이 사람들로 하여금 실제로 '범용적인' AI를 구축한다는 아이디어를 지칭할 수 있는 방법을 제공했기 때문입니다. 적어도 사람의 지능이 범용적인 만큼 범용적인 것 말이죠. 그럴 필요가 있었다고 생각합니다. 그게 그 용어가 정착된 이유라고 봐요. 만약 사람들이 '고급 AI(advanced AI)' 같은 문구를 쓴다면, 알파폴드(AlphaFold)도 어떤 의미에서는 고급 AI지만 매우 좁은 영역이고, 알파고(AlphaGo)도 마찬가지로 매우 좁은 영역의 고급 AI 시스템이죠. 그러니 매우 범용적인 시스템을 어떻게 지칭하겠습니까?
11:50
셰인 레그: 하지만 그 후에 일어난 일은, 서로 다른 사람들이 그 용어를 보고 서로 다른 방식으로 받아들이거나 다른 렌즈를 통해 바라보게 되었다는 것입니다. 어떤 사람들에게는, 심지어 초창기에도 AGI를 생각할 때 미래 수십 년 뒤에나 있을 일로 생각했고, 이것이 매우 변혁적일 것이라고 생각했습니다. 그래서 그들은 AGI를 사회에 가져올 변혁의 관점에서 생각하기 시작했습니다. 그래서 그들이 AGI를 정의하려고 하면, "아, 이건 경제 성장을 이끌 테니까..." 하는 식으로 정의하게 되는 거죠.
12:24
셰인 레그: 저는 AGI를 역사적인 시점으로 생각하는 편입니다. AI가 어떤 의미에서 우리 지능과 유사한 범주에 속하게 되는, 즉 우리가 일반적으로 할 수 있는 인지적 작업들을 수행할 수 있게 되는 시점 말입니다. 그렇다고 해서 그것이 반드시 세상을 혁명적으로 바꾸는 것은 아닙니다. 길을 걷는 일반적인 사람이 모차르트나 아인슈타인처럼 양자 이론의 후속 이론을 발명하거나 하지는 않으니까요.
12:53
셰인 레그: 하지만 이것은 매우 흥미로운 역사적 시점입니다. 왜냐하면 10년, 20년 전에는 사람들이 일반적으로 할 수 있는 인지적 작업에 근접한 AI조차 없었으니까요. 그래서 저는 AI가 어떤 면에서 우리와 비슷한 범주에 들어간다는 점에서 이것이 중요한 역사적 순간이라고 생각합니다.
13:12
셰인 레그: 또한 저는 이를 정의하려고 노력하는 것이 유용하다고 생각합니다. 왜냐하면 사람들이 서로 다른 타임라인을 가지고 있다는 문제가 생기기 때문입니다. 어떤 사람은 "AGI가 3년 안에 올 거야"라고 하고, 어떤 사람은 "15년, 20년은 걸릴 거야"라고 합니다. 제가 가서 그들과 이야기를 나눠보면, 종종 그들이 서로 다른 정의를 사용하고 있다는 것을 발견합니다. 그래서 사람들이 서로 다른 의미로 그 용어를 사용하다 보니 많은 혼란이 발생합니다. 어떤 경우에는 그들이 생각하는 미래에 대해 저도 동의하지만, 단지 단어를 다르게 사용하고 있을 뿐인데, 그것이 꽤 많은 혼란을 야기합니다.
13:43
해나 프라이: 사람들이 AGI에 대해 사용하는 다른 정의들과 비교해 보고 싶어요. 어떤 사람들은 작업 체크리스트가 있다고 제안하기도 하고, 혹은 '인류의 마지막 시험'이라는 2,500개의 질문으로 구성된 언어 모델 벤치마크(인문학, 자연과학 등 다양한 주제)를 이야기하기도 하죠. 또 어떤 사람들은 주방에서 요리할 수 있어야 한다고 합니다. 셰프로 훈련받고 낯선 주방에 떨어져도 요리를 해낼 수 있어야 한다는 거죠. 심지어 10만 달러로 100만 달러를 벌 수 있어야 한다는 정의도 있습니다. 이런 정의들에 대해 어떻게 생각하시나요?
14:21
셰인 레그: 음, 각각에 대해 할 말이 있습니다. 1,000달러로 100만 달러를 만든다는 건...
14:31
셰인 레그: 그건 분명 매우 경제적인 관점이군요. 많은 사람들이 그런 건 좀 어려워할 것 같은데요. 어떤 면에서는 매우 좁은 관점이라고 생각합니다. 시장에서 거래를 하는 트레이딩 알고리즘이 있어서 그 일을 해낼 수도 있겠죠. 하지만 그게 할 수 있는 전부라면? 그건 제가 말하는 것이 아닙니다.
15:02
셰인 레그: 그래서 저는 AGI의 'G(General, 범용성)'가 흥미롭다고 생각합니다. 인간 정신의 놀라운 점 중 하나가 바로 그 유연성과 범용성이니까요. 만약 특정한 작업 세트만 있다면, 그래요, 그 작업들을 할 수 있는 시스템을 만들 수 있겠죠. 하지만 여전히 거의 모든 사람이 할 수 있을 것으로 기대되는 기본적인 인지적 작업들을 수행하지 못하고 실패할 수도 있습니다. 저는 그건 불만족스럽다고 생각합니다. "아, 우리 AI가 또 실패했네. 누구나 이해할 법한 정말 간단한 걸 이해 못 해서"라고 하게 될 테니까요.
15:38
셰인 레그: 제가 제 정의를 구체화(operationalize)하는 방식은 이렇습니다. 일반적인 인간의 수행 능력을 알고 있는 일련의 작업(suite of tasks)을 준비합니다. 그리고 AI가 그 모든 작업을 수행할 수 있는지 확인합니다. 만약 그중 하나라도 실패한다면, 제 정의를 충족하지 못한 것입니다.
15:59
해나 프라이: 충분히 범용적이지 않기 때문이군요.
15:59
셰인 레그: 네, 사람들이 할 수 있을 것으로 기대되는 어떤 인지적 작업을 수행하지 못한 거니까요. 만약 그것을 통과한다면, 저는 2단계로 넘어가서 '적대적 테스트(adversarial test)'를 하자고 제안합니다. "좋아, 우리가 가진 수천 개의 표준 테스트 배터리는 통과했어. 즉, 우리 표준 테스트 모음에서는 실패하지 않았다는 거지. 이제 적대적 테스트를 해보자."
16:20
셰인 레그: 사람들로 구성된 팀을 꾸리고 한두 달 정도 시간을 줍니다. 그들은 AI 내부를 들여다볼 수도 있고 뭐든 할 수 있습니다. 그들의 임무는 우리가 사람들이 일반적으로 할 수 있는 인지적 작업이라고 믿는 것 중에서 AI가 실패하는 무언가를 찾아내는 것입니다.
16:34
셰인 레그: 만약 그들이 찾아낸다면, 정의상 실패한 것입니다. 하지만 몇 달 동안 찔러보고 테스트하고 머리를 싸매고 고민했는데도 실패 사례를 찾지 못한다면? 제 생각에 실용적인 목적에서는 우리는 그 지점에 도달한 것입니다. 왜냐하면 실패 사례가 너무 찾기 힘들어서 사람 팀조차 오랜 시간 동안 찾을 수 없는 수준이니까요.
16:55
해나 프라이: 우리가 지능이 무엇인지, 혹은 AGI가 무엇인지에 대한 정의에 언젠가 합의할 수 있을 거라고 생각하시나요?
17:02
셰인 레그: AGI 자체에 대해서는, 제 추측으로는 지금부터 몇 년 후에 AI가 매우 다양한 방식으로 전반적으로 유능해져서 사람들이 그냥 그것을 AGI라고 부르게 되고, AGI가 곧 그러한 것들을 의미하게 될 것 같습니다.
17:21
셰인 레그: 어쩌면 사람들이 이것이 AGI인지 아닌지에 대해 덜 걱정하고 논쟁을 덜 하게 될지도 모릅니다. 사람들이 "아, 나 최신 제미나이 9(Gemini 9) 같은 걸 쓰고 있는데 정말 좋아. 시도 쓰고, 내가 만든 카드 게임을 가르쳐주면 같이 게임도 해주고, 수학도 하고, 번역도 하고, 휴가 계획도 짜줘."라고 말하게 될 테니까요. 정말 범용적으로 유능하다면, 사람들에게 그것이 어떤 종류의 범용 지능을 가지고 있다는 것이 명백해 보일 것입니다.
17:50
해나 프라이: 하지만 지금으로서는, 우리가 그곳에 도달하기 전까지, AGI로 가는 경로에 대해 정의된 길을 갖는다는 측면에서... 당신은 그런 경로가 없을 때의 위험에 대해 이야기했었죠. 예를 들어 윤리에 대해 정말 능숙해지기 전에 화학 공학 같은 특정 지식을 먼저 습득할 수도 있다고요. 우리가 그곳에 도달하기 전에 지금 이런 작업들을 하는 것이 얼마나 중요한가요?
18:17
셰인 레그: 다양한 차원에서 AI의 능력을 이해하는 작업 말씀이시죠? 매우 중요하다고 생각합니다. 왜냐하면 우리는 사회로서 강력하고 유능한 기계 지능의 도래를 어떻게 헤쳐나갈지 생각해야 하니까요. 그리고 이것을 단순히 하나의 차원에만 놓을 수는 없습니다.
18:43
셰인 레그: 어떤 것에서는 초인적으로 유능할 수 있지만, 다른 영역에서는 매우 취약하고 약할 수 있습니다. 그 분포가 어떤 모습인지 이해하지 못한다면, 존재하는 기회도 이해하지 못할 것이고, 리스크나 오용될 수 있는 방식에 대해서도 이해하지 못할 것입니다. "아, 이쪽에서는 엄청 유능하네"라고 생각하겠지만, 사실 이쪽에서는 매우 약해서 어떤 일들이 잘못될 수 있다는 걸 이해해야 하니까요. 그래서 이것은 사회가 현재 상황이 어떤지 탐색하고 이해하는 데 있어 중요한 부분이라고 생각합니다.
19:19
셰인 레그: 이미 AI에 대한 많은 대화가 "너무너무 유능하다"거나 혹은 "별로 유능하지 않고 과대포장됐다"는 식으로 흐르는 경향이 있습니다. 현실은 훨씬 더 복잡합니다. 어떤 면에서는 믿을 수 없을 정도로 유능하고, 다른 면에서는 꽤 취약합니다.
19:36
해나 프라이: 전체 그림을 봐야 한다는 거군요.
19:38
셰인 레그: 네, 전체 그림을 봐야 합니다. 인간 지능도 마찬가지잖아요. 어떤 사람은 언어를 엄청나게 많이 알고, 어떤 사람은 수학을 잘하고, 어떤 사람은 음악을 잘하지만 다른 건 못할 수도 있고요.
19:50
해나 프라이: 좋아요, 성능과 범용성이 있다고 칩시다. 제가 당신과 이야기하고 싶은 또 다른 축은 윤리입니다. 이 모든 것에서 윤리는 어떻게 들어맞나요?
19:59
셰인 레그: AI 윤리에는 많은 측면이 있습니다. 한 가지 측면은 AI 자체가 윤리적 행동이 무엇인지 잘 이해하고 있는지, 그리고 자신이 할 수 있는 행동들을 윤리적 행동 관점에서 분석하고 이를 견고하게(robustly), 우리가 신뢰할 수 있는 방식으로 수행할 수 있는지입니다.
20:21
해나 프라이: 그러니까 AI 스스로가 자신이 하는 일의 윤리에 대해 추론할 수 있다는 거군요. 그건 어떻게 작동하나요? 어떻게 그걸 내재화시키죠?
20:29
셰인 레그: 저도 몇 가지 생각은 있지만, 해결된 문제는 아닙니다. 하지만 매우 중요한 문제라고 생각합니다.
20:36
셰인 레그: 저는 어떤 사람들이 '생각의 사슬 모니터링(chain of thought monitoring)'이라고 부르는 것을 좋아합니다. 저는 짧은 강연 등에서 이를 '시스템 2 안전(System 2 safety)'이라고 불렀습니다.
20:46
해나 프라이: 대니얼 카너먼(Daniel Kahneman)의 시스템 1, 시스템 2 사고방식 말씀이군요?
20:50
셰인 레그: 정확합니다. 기본 아이디어는 이런 겁니다. 사람으로서 어려운 윤리적 상황에 직면했을 때, 직감(gut instinct)에만 의존하는 것은 종종 충분하지 않습니다. 앉아서 생각해야 하죠. '이게 상황이고, 복잡한 뉘앙스들이 있어. 취할 수 있는 행동들은 이것들이고, 각 행동의 예상 결과는 이럴 거야.' 그리고 나서 자신이 가진 윤리, 규범, 도덕 체계에 비추어 그 모든 것을 분석해야 합니다.
21:28
셰인 레그: 그리고 그 모든 것이 어떻게 맞아떨어지는지 정말 이해하기 위해 꽤 많이 추론해야 할 수도 있습니다. 그러고 나서 그 이해를 바탕으로 무엇을 해야 할지 결정하는 거죠.
21:38
해나 프라이: 인간의 뇌가 이런 상황에서 작동하는 방식, 즉 카너먼의 이론을 빌리자면 이렇죠. 누군가 당신을 짜증나게 하면 화가 치밀어 오르고 반응하고 싶어집니다. 이게 시스템 1, 즉 빠른 본능적 사고입니다. 하지만 숨을 고르고, 끝까지 생각하고, 결과를 고려합니다. 그게 시스템 2 사고이고, 그러면 다른 길을 선택할 수도 있죠.
21:59
셰인 레그: 맞습니다. 예를 들어 '거짓말은 나쁘다'라고 말할 수 있습니다. 그래서 거짓말을 하지 않겠다고 하죠. 하지만 특정 상황, 예를 들어 나쁜 사람들이 누군가를 잡으러 오는데 거짓말을 하면 그 사람의 목숨을 구할 수 있는 상황이라면, 윤리적으로 해야 할 일은 아마도 거짓말을 하는 것일 겁니다.
22:19
셰인 레그: 그래서 단순한 규칙만으로는 올바른 결정을 내리기에 항상 충분하지 않습니다. 때로는 이 경우에 실제로 윤리적인 행동이 무엇인지, 즉 거짓말을 해서 생명을 구하는 것인지를 깊이 생각하기 위해 논리와 추론이 필요합니다. 하지만 이건 매우 복잡해집니다. 트롤리 문제(trolley problems) 같은 것들 들어보셨죠? 우리의 본능과 분석이 어떤 경우에는 갈라지기 시작하고 많은 혼란을 야기합니다. 이건 전혀 간단한 영역이 아닙니다.
22:55
셰인 레그: 그리고 우리는 이제 이런 '생각하는 AI'들을 가지고 있습니다. 그래서 AI가 사용하는 '생각의 사슬(chain of thought)'을 실제로 볼 수 있습니다. 그래서 AI에게 윤리적 측면이 있는 질문을 던지면, AI가 잠시 멈춰 서서 그 상황에 대해 추론하는 것을 볼 수 있습니다. 만약 우리가 그 추론 과정을 정말 탄탄하게 만들 수 있고, 우리가 AI가 지키길 바라는 윤리와 도덕에 대해 강력한 이해를 갖게 한다면, 원칙적으로 AI는 사람보다 더 윤리적이 될 수 있다고 생각합니다.
23:29
셰인 레그: 왜냐하면 AI는 인간보다 더 일관되게, 그리고 어쩌면 초인적인 수준으로 추론하여 자신이 직면한 선택들을 적용할 수 있기 때문입니다.
23:39
해나 프라이: 윤리를 일종의 추론 문제로 전환하는 거군요. 단순히 감정적인 것이 아니라요.
23:47
해나 프라이: 하지만 동시에 당신이 그런 말을 할 때 '그라운딩(grounding, 현실 기반)'에 대해서도 궁금해집니다. 적어도 지금으로서는 이 기계들이 인간처럼 세상 속에 살고 있지 않잖아요. 인간의 관점에서 세상을 경험한다는 것이 어떤 느낌인지 받아들이고, 기계를 인간 윤리에 진정으로 기반(ground)하게 만드는 것이 가능한가요?
24:08
셰인 레그: 음, 몇 가지 복잡한 점이 있습니다. 하나는 '하나의 인간 윤리'라는 게 존재하지 않는다는 점입니다. 사람마다 다르고 문화나 지역에 따라서도 다릅니다. 그래서 AI는 특정 장소에서는 규범과 기대치가 약간 다르다는 것을 이해해야 할 것입니다. 어느 정도 모델들은 전 세계의 데이터를 흡수하기 때문에 이런 것들을 이미 꽤 알고 있기도 합니다. 하지만 네, 그런 부분에서 정말 잘해야 할 것입니다.
24:42
셰인 레그: 현실에 기반하는(grounding) 문제에 관해서는, 현재 우리는 세상의 많은 데이터를 수집하여 큰 모델로 훈련시키는 방식으로 에이전트를 구축하고 있고, 그 후에는 우리가 상호작용하는 비교적 정적인 객체가 되어 새로운 것을 많이 배우지는 않습니다.
25:05
셰인 레그: 이것이 변화하고 있습니다. 우리는 더 많은 학습 알고리즘 등을 도입하고 있습니다. 하지만 시스템을 더 '주체적(agentic)'으로 만들고 있기도 합니다. 단순히 말을 걸면 처리해서 대답하는 시스템이 아니라, 가서 무언가를 수행할 수 있는 시스템이 되는 것입니다. "이런이런 일을 하는 소프트웨어를 작성해 줘", "내 멕시코 여행 계획을 짜 줘, 난 이건 싫고 저건 보고 싶어"라고 말할 수 있는 거죠.
25:35
셰인 레그: 그리고 그런 에이전트들은 로봇 공학 등을 통해 더 '신체화(embodied)'되기 시작할 것입니다. 일부는 소프트웨어 에이전트로서 그런 일들을 할 것이고, 시간이 지나면 로봇 등으로 나타나겠죠. 우리가 이 트랙을 계속 따라가면, AI는 다양한 방식으로 현실과 더 많이 연결될 것이고, 처음에 주입되는 대용량 데이터 세트보다는 상호작용과 경험을 통해 학습해야 할 것입니다. 그 지점에서 현실과의 연결이 훨씬 더 단단해질 것입니다.
26:08
셰인 레그: 그렇긴 하지만, 초기에 쏟아붓는 많은 데이터가 어딘가에서 왔고, 그중 많은 부분이 사람들로부터 온 것입니다. 그래서 그 과정을 통해서도 현실에 대한 기반이 어느 정도 존재합니다.
26:22
해나 프라이: AI가 인간보다 윤리를 더 잘하게 될 거라는 이 아이디어 말인데요... 우리가 그 지점에 도달하기 전까지, 즉 AI의 추론 능력이 우리만큼 좋아지기 전까지는, 어떻게 이것이 안전한 방식으로 구현되도록 할 수 있나요?
26:39
해나 프라이: 제 말은... 예를 들어 '공리주의적(utilitarian)' 주장은 도로 위 자율주행차에는 꽤 잘 작동합니다. 가능한 많은 생명을 구하고 싶으니까요. 하지만 의학에서는 그 똑같은 아이디어가 더 이상 통하지 않죠. 5명을 살리기 위해 건강한 환자 1명을 희생시킬 수는 없으니까요. AI가 올바른 방향으로 추론하게 하려면 어떻게 해야 하나요?
27:01
셰인 레그: 모든 것을 보장할 수는 없습니다. 세상의 행동 가능성 공간은 너무나 거대해서 100% 신뢰성이라는 건 존재하지 않습니다. 하지만 사실 존재하는 세상의 많은 것들도 100%는 아닙니다. 수술이 필요해서 의사와 상담할 때 의사가 "100% 안전합니다"라고 한다면, 수학자인 당신은 그들이 진실을 말하고 있지 않다는 걸 알잖아요. 그 어떤 것도 100%일 수는 없습니다.
27:34
셰인 레그: 그래서 우리는 이 시스템들을 테스트하고 가능한 한 안전하고 신뢰할 수 있게 만들어야 하며, 이익과 위험을 서로 트레이드오프(trade-off) 해야 합니다. 그리고 모니터링 같은 다른 일들도 해야 합니다. 배포 중일 때 무슨 일이 일어나는지 추적해서, 우리가 수용할 수 있다고 생각하는 범위를 넘어서는 실패 사례가 보이면 롤백하거나 멈추거나 조치를 취해야 합니다.
28:03
셰인 레그: 배포 전 테스트, 작동 중 모니터링, 그리고 시스템 내부를 들여다볼 수 있는 '해석 가능성(interpretability)' 같은 것들이 필요합니다. 이것이 시스템 2 안전의 장점 중 하나인데, 올바르게 구현된다면 AI가 사물에 대해 추론하는 것을 실제로 볼 수 있습니다. 물론 그 추론이 AI가 하려는 일을 정확하게 반영하는지는 확인해야겠지만요.
28:27
셰인 레그: 시스템 내부를 들여다보고 왜 그런 행동을 하는지 볼 수 있는 방법이 있다면, 그것이 올바르게 행동하려고 노력하고 있는지에 대한 또 다른 수준의 확신을 줄 수 있습니다.
28:40
셰인 레그: 이것도 중요한 미묘한 차이인데, 단순히 결과에 대한 것만이 아니라 '의도(intention)'에 대한 것입니다. 누군가 당신을 고의로 다치게 하는 것과 실수로 부딪혀서 다치게 하는 것에는 큰 차이가 있잖아요. 우리는 그걸 매우 다르게 해석합니다. 만약 우리가 AI 내부를 볼 수 있다면, 우리는 "음, 까다로운 상황을 처리하고 있었군. 분석에 따르면 최선을 다하려고 했지만 부정적인 부작용이 있었어. 이 정도는 괜찮을 수 있어. 사람이라도 그런 상황에서 올바른 일을 하기는 어려웠을 테니까"라고 받아들일 수도 있습니다. 하지만 만약 고의로 나쁜 짓을 했다면, 그건 완전히 다른 문제입니다.
29:18
셰인 레그: 이것들이 모두 AI, AGI 안전의 모든 측면들입니다. 우리에게는 이 모든 주제에 대해 연구하는 사람들이 있습니다.
29:25
해나 프라이: 그럼 AI가 안전 임계값에 도달했다고 확신할 때까지, AI가 실제 세상과 상호작용하는 양이나 배포 속도 등을 제한하나요?
29:36
셰인 레그: 네, 우리는 온갖 종류의 테스트 벤치마크와 테스트를 가지고 있고, 내부적으로 한동안 실행해 봅니다. 그리고 위험한 영역이라고 생각되는 특정 항목들을 테스트합니다.
29:48
해나 프라이: 예를 들면요?
29:49
셰인 레그: 시스템이 생물무기(bioweapon) 개발을 도울 수 있는지 같은 거죠. 당연히 그러면 안 되니까요. 만약 그런 영역에서 도움이 되도록 속이거나 강제할 수 있다는 게 보이면 그건 문제입니다. 해킹도 또 다른 예입니다. 사람들이 해킹하는 걸 도와줄까요?
30:10
셰인 레그: 현재 우리는 이런 테스트 모음을 가지고 있고 시간이 지날수록 계속 늘어나고 있습니다. 그리고 우리는 이러한 영역들에서 AI가 얼마나 강력한지 평가하고, 우리가 발견한 능력 수준에 적절한 완화 조치(mitigation)를 마련합니다. 우리가 발견한 것에 따라 모델을 출시하지 않거나 다른 조치를 취할 수도 있습니다.
30:31
해나 프라이: 이 부분의 사회적 영향에 대해 이야기해 봅시다. 우리가 정말 유능한 AGI에 도달했을 때 말이죠. 당신이 이에 대해 정말 많이 생각했다는 걸 알고 있습니다. 맞나요?
30:40
셰인 레그: 네, 지금 저의 주된 관심사는 만약 우리가 AGI를 얻게 되고, 그 능력 수준에 비해 합리적으로 안전하다면, '그 외의 모든 것'은 어떻게 되는가 하는 것입니다. 그리고 그 '그 외의 모든 것'의 목록은 정말 거대합니다.
31:00
셰인 레그: 예를 들어, "강력하고 합리적으로 안전한 AGI가 있다면, 그것은 의식이 있는가?" 같은 질문이 있죠. 이것이 의미 있는 질문이긴 한가요? 지금 당장 입장이 있으신가요?
31:12
해나 프라이: 글쎄요, 지금으로서는...
31:16
셰인 레그: 저희 그룹에서도 보고 있고, 이를 연구하는 세계적인 전문가들과도 많이 이야기해 봤는데요. 짧은 결론은 '아무도 진짜 모른다'는 것입니다.
31:28
해나 프라이: 확실히 하기 위해 묻자면, 지금 우리가 가진 것이 아니라 '완전한 AGI'에 대해 이야기하는 거죠? 지금 있는 것들은 의식이 없다고 생각하시나요?
31:36
셰인 레그: 저는 없다고 생각합니다. 향후 10년 뒤 쯤 미래의 AGI로 가면, 그것은 매우 유능할 텐데, 그 시스템은 의식이 있을까요? 제가 이 분야를 연구하는 세계에서 가장 유명한 전문가들과 이야기해보면, 찬성하는 논거를 가진 사람도 있고 반대하는 사람도 있습니다. 하지만 제가 구체적인 시나리오를 제시하면, 예를 들어 "제미나이 10(Gemini 10)이 있고, 휴머노이드 로봇에 탑재되어 있고, 학습하고, 감각 정보를 통합하고, 세상 속의 에이전트로서 자신의 역사를 기억하고... 또한 자신의 의식에 대해 이야기합니다(적절하게 프롬프트하면 지금 AI도 의식에 대해 말하게 할 수 있으니까요). 이게 의식이 있을까요?"라고 물으면, 그들은 "음, 아마 아닐 것 같긴 한데, 혹은 그럴 것 같긴 한데, 사실 '절대적으로' 확신하진 못하겠어"라고 합니다.
32:36
셰인 레그: 누가 알겠습니까, 어쩌면 답을 얻게 될지도 모릅니다. 이건 오래된 질문이고, 측정 가능한 것으로 프레임화하는 방법을 모르기 때문에 엄격한 과학적 질문으로 만들기도 매우 어렵습니다.
32:51
셰인 레그: 제가 확신하는 것은, 어떤 사람들은 그것이 의식이 있다고 생각할 것이고, 어떤 사람들은 아니라고 생각할 거라는 점입니다. 그건 확실히 일어날 일입니다. 특히 과학적으로 널리 받아들여지는 정의나 측정 방법이 없는 상황에서는요. 그렇다면 우리는 그 상황을 어떻게 헤쳐나가야 할까요? 그것도 매우 흥미로운 질문입니다.
33:10
셰인 레그: 하지만 이건 수많은 질문 중 하나일 뿐입니다. 우리는 완전한 AGI에서 인간 지능을 훨씬 뛰어넘는 초지능으로 갈 것인가? 빨리 일어날까, 천천히 일어날까, 아니면 절대 안 일어날까? 만약 초지능으로 간다면, 그 초지능의 인지적 프로필은 어떨까? 이미 200개 언어를 한다는 점에서 인간을 훨씬 뛰어넘는 부분이 있다는 건 분명합니다. 하지만 계산 복잡도(computational complexity) 등의 이유로 인간보다 크게 낫지 않은 영역들도 있을까요?
33:53
셰인 레그: 그건 인류가 생각해야 할 정말 중요한 질문인 것 같습니다. 우리가 10년이나 20년 안에 초지능으로 가게 될까요? 당신은 어떤 입장이신가요? 초지능으로 갈 거라고 보시나요?
34:06
해나 프라이: 저는... 예를 들어 아인슈타인이 일반 상대성 이론을 생각해 낸 것처럼, AGI가 세상에 대해 이론을 세우고 인간이 해낸 것 이상의 진정한 과학적 이해를 도출해 내는 위치에 있게 될까 하는 생각을 하고 있습니다.
34:21
셰인 레그: 저는 '연산(computation)'에 기반해서 그럴 거라고 생각합니다. 인간의 뇌는 모바일 프로세서와 같습니다. 무게는 몇 파운드고, 약 20와트를 소비합니다. 뇌 신호는 수상돌기를 통해 전달되는데, 채널의 주파수는 100헤르츠, 대뇌피질에서는 200헤르츠 정도입니다. 신호 자체는 전기화학적 파동 전파인데 초속 약 30미터로 움직입니다.
34:55
셰인 레그: 이것을 데이터 센터에서 보는 것과 비교해 보세요. 20와트 대신 200메가와트를 쓸 수 있습니다. 몇 파운드 대신 수백만 파운드가 될 수 있죠. 채널 주파수는 100헤르츠 대신 100억 헤르츠가 될 수 있습니다. 그리고 초속 30미터의 전기화학적 파동 대신 빛의 속도인 초속 30만 킬로미터로 움직일 수 있습니다.
35:19
셰인 레그: 즉, 에너지 소비, 공간, 채널 대역폭, 신호 전파 속도 등 4가지 차원 모두에서 동시에 6, 7, 어쩌면 8 자릿수(orders of magnitude)의 차이가 납니다. 그렇다면 인간 지능이 가능한 것의 상한선일까요? 저는 절대 아니라고 봅니다.
35:42
셰인 레그: 그래서 지능형 시스템을 구축하는 방법에 대한 이해가 발전함에 따라, 우리는 이 AI들이 인간 지능을 훨씬 뛰어넘는 것을 보게 될 것입니다. 마치 인간이 100미터 달리기에서 최고 성능의 드래그스터(경주용 자동차)를 이길 수 없고, 크레인보다 더 많이 들어 올릴 수 없고, 허블 망원경보다 더 멀리 볼 수 없는 것과 같습니다. 우리는 이미 특정 영역에서 기계들이 가장 빠른 새보다 빨리 날고 하는 것들을 보고 있습니다. 인지 영역에서도 그런 일을 보게 될 것입니다.
36:21
셰인 레그: 정보 저장 같은 일부 측면에서는 이미 구글보다 더 많이 아는 사람은 없다는 걸 보고 있죠. 그래서 추론이나 다른 모든 종류의 영역에서도 그런 것을 보게 될 것이라고 생각합니다.
36:36
해나 프라이: 그렇다면 10년 안에 그렇게 될까요?
36:38
셰인 레그: 네, 10년 안에 될 거라고 봅니다.
36:40
해나 프라이: 이 모든 것이 사람들에게 어떤 의미일지 정말 궁금합니다. 제 말은, 만약 우리가 본질적으로 인간 지능이 초지능에 비해 왜소해지는 지점에 도달한다면, 그것이 사회에 어떤 의미가 있을까요? 그냥 막대한 불평등을 의미하는 걸까요? 더 이상 경제에 제공할 가치가 없는 사람들이 완전히 뒤쳐지게 되는 걸까요?
37:41
셰인 레그: 그것은 거대한 변혁을 의미합니다. 현재의 시스템, 즉 사람들이 경제를 창출하는 자원에 접근하는 대가로 정신적, 육체적 노동을 제공하는 시스템은 더 이상 똑같이 작동하지 않을 수 있습니다. 우리는 일을 하는 다른 방식이 필요할지도 모릅니다.
38:01
셰인 레그: 파이(전체 부)는 훨씬 커질 것입니다. 재화와 서비스 생산 부족 문제는 없을 것입니다. 오히려 훨씬 더 좋아질 것입니다. 하지만 우리는 사람들을 위한 시스템이 무엇인지에 대해 신중하게 생각해야 합니다. 사회에 존재하는 부를 어떻게 분배할 것인가? 저는 포스트 AGI 경제가 어떻게 작동할지, 포스트 AGI 사회의 구조가 어떻게 작동할지에 대해 훨씬 더 많은 고민이 필요하다고 생각합니다.
38:33
셰인 레그: 저는 영국 러셀 그룹(Russell Group) 부총장들에게 강연을 한 적이 있습니다. 저는 그들에게 "이 AGI라는 게 오고 있고, 그리 멀지 않았습니다. 10년 안에 우리는 갖게 될 겁니다. 그리고 이것은 사람들이 하는 모든 종류의 인지적 노동과 작업의 상당 부분을 수행하기 시작할 것입니다"라고 말했습니다.
39:03
셰인 레그: 우리는 사회가 작동하는 이 모든 다양한 측면에 대해 그것이 해당 영역에 무엇을 의미하는지 생각할 사람들이 필요합니다. 그래서 우리에게는 대학의 모든 학부, 모든 학과가 이것을 진지하게 받아들이고 생각해야 할 필요가 있습니다. 이것이 교육에는 무엇을 의미하는가? 법에는? 공학, 수학, 도시 계획, 문학, 정치, 경제, 금융, 의학... 등등에는 무엇을 의미하는가?
39:43
셰인 레그: 기본적으로 모든 학부와 학과는 인간 지능이 매우 중요한 무언가를 연구합니다. 따라서 저렴하고 풍부하며 유능한 기계 지능이 등장한다면, 그 모든 것들이 다시 생각되어야 합니다. 이것의 함의는 무엇인가? 다른 방식으로 수행되어야 하는가? 기회는 무엇이고 위험은 무엇인가?
40:05
셰인 레그: 저는 여기에 엄청난 기회가 있다고 생각합니다. 하지만 산업 혁명이나 다른 혁명들처럼 복잡합니다. 사회에 온갖 방식으로 영향을 미치고, 혜택을 얻고 위험과 비용을 최소화하기 위해 신중하게 헤쳐나가야 합니다. 현재로서는 이 특정 사안에 대해 AGI가 무엇을 의미하는지 생각하는 사람이 턱없이 부족하다고 생각합니다. 우리는 훨씬 더 많은 사람들이 이것을 생각하고, 긍정적인 미래가 어떤 모습일지 상상해 보기를 필요로 합니다.
40:46
해나 프라이: 그 사이에 더 이상 필요 없어진 80명의 소프트웨어 엔지니어들, 그리고 다른 모든 사람들, 특히 가장 먼저 영향을 받고 있는 대졸 신입 사원들이 있습니다. 이 영향을 받지 않을 산업이 있기는 한가요?
41:04
셰인 레그: 단기에서 중기적으로는 여전히 꽤 많은 일들이 있을 겁니다. 배관공 같은 일은 금방 대체되지 않겠죠. AI가 인지적인 의미에서 아주 빠르게 발전하더라도, 로봇 공학이 배관공이 될 수 있는 수준까지 도달할 거라고는 생각하지 않습니다. 그리고 그것이 가능해지더라도 인간 배관공과 가격 경쟁력이 생기기까지는 꽤 시간이 걸릴 것입니다.
41:38
셰인 레그: 그래서 순수하게 인지적이지 않은 온갖 종류의 일들은 이런 변화로부터 상대적으로 보호받을 것이라고 생각합니다. 흥미로운 점은, 현재 매우 높은 보상을 받는 많은 일들이 '엘리트 인지 노동'이라는 것입니다. 전 세계적으로 복잡한 M&A 거래를 하는 고소득 변호사들, 금융권에서 고급 업무를 하는 사람들, 혹은 고급 머신러닝 소프트웨어 엔지니어링을 하는 사람들 말이죠.
42:24
셰인 레그: 제가 좋아하는 경험 법칙(rule of thumb) 중 하나는 이겁니다. "만약 당신이 노트북만 사용해서 인터넷을 통해 원격으로 일을 할 수 있다면", 즉 로봇을 조종하는 전신 햅틱 슈트 같은 거 말고 그냥 키보드, 화면, 카메라, 스피커, 마우스 같은 일반적인 인터페이스만으로 일을 완전히 수행할 수 있다면, 그것은 아마도 매우 인지적인 작업일 것입니다.
42:50
셰인 레그: 당신이 그런 범주에 있다면, 저는 고급 AI가 어느 정도 그 공간에서 작동할 수 있을 것이라고 생각합니다. 또 다른 보호 요인은, 비록 그것이 일종의 인지적 작업이라 할지라도 어떤 종류의 일에는 '인간적인 측면'이 있을 수 있다는 것입니다.
43:21
셰인 레그: 예를 들어 당신이 인플루언서라고 칩시다. 원격으로 일을 할 수는 있겠죠. 하지만 당신이 특정 성격을 가진 특정 인물이라는 사실, 그리고 그 뒤에 사람이 있다는 것을 사람들이 안다는 사실, 그게 많은 경우 가치가 있을 수 있습니다.
43:39
해나 프라이: 그래도 많은 사람들이 남게 되잖아요, 그렇죠?
43:42
셰인 레그: 제 생각에 우리에게 필요한 것은(제가 러셀 그룹에게 제안한 것과 비슷한데), 사회의 이 모든 다양한 측면을 연구하는 사람들이 AGI를 진지하게 받아들여야 한다는 것입니다. 제 인상으로는 많은 사람들이 그렇지 않습니다. 제가 특정 분야에 관심 있는 사람들과 이야기해보면 "아, 네, 그거 뭐 흥미로운 도구네, 재밌네" 하는 식입니다.
44:10
셰인 레그: 그들은 지금 보고 있는 것, 그리고 그들이 알고 있는 현재의 한계(참고로 이런 정보는 종종 구식입니다. 사람들은 1년 전에 써봤다고 말하지만, 1년 전은 현재 모델들이 하는 것에 비하면 고대 역사나 다름없고, 1년 뒤에는 훨씬 더 좋아질 겁니다)가 트렌드라는 걸 내재화하지 못하고 있습니다.
44:28
셰인 레그: 어떤 면에서는 일반 대중 중 많은 사람들이 전문가들보다 앞서 있다고 생각합니다. 인간에게는 어떤 경향성이 있거든요. 제가 비기술직 사람들과 현재 AI 시스템에 대해 이야기하면, 어떤 사람들은 "어, 그거 이미 인간 지능 가지고 있는 거 아니에요? 저보다 언어도 많이 하고, 고등학교 때 저보다 수학, 물리도 잘하고, 레시피도 더 많이 알고, 온갖 걸 도와주고, 세금 환급 헷갈릴 때 설명도 해주던데요. 어떤 면에서 지능이 없다는 거죠?"라고 합니다.
45:11
셰인 레그: 하지만 특정 분야의 전문가들은 종종 자신의 분야가 매우 심오하고 특별해서 이 AI가 건드리지 못할 것이라고 느끼고 싶어 합니다.
45:21
해나 프라이: AGI에 대한 당신의 꽤 유명한 예측으로 마무리하고 싶습니다. 당신은 10년 넘게 놀라울 정도로 일관되게 이 예측을 유지해 왔는데요. 2028년까지 AGI가 실현될 확률이 50대 50이라고 하셨죠.
45:36
셰인 레그: 네.
45:37
해나 프라이: 그건 '최소한의 AGI'를 말하는 거죠?
45:38
셰인 레그: 네.
45:39
해나 프라이: 와우. 아직도 2028년까지 50대 50이라고 보시나요?
45:43
셰인 레그: 네.
45:44
해나 프라이: 그럼 '완전한 AGI'에 대한 타임라인은 어떻게 생각하시나요?
45:54
셰인 레그: 음... 그보다 몇 년 뒤겠죠. 3년, 4년, 5년, 6년 뒤일 수도 있고요.
46:03
해나 프라이: 하지만 10년 안에요?
46:05
셰인 레그: 네, 10년 안에 될 거라고 생각합니다.
46:10
해나 프라이: 이 모든 지식을 가지고 있으면서 혹시 허무주의(nihilistic)를 느끼지는 않으시나요?
46:16
셰인 레그: 저는 여기에 엄청난 기회가 있다고 생각합니다. 많은 사람들이 많은 노력을 들여 많은 일을 하지만, 그게 다 그렇게 재미있지는 않잖아요. 그리고 여기에는 산업 혁명이 에너지를 활용해 온갖 기계적인 일을 수행함으로써 사회에 훨씬 더 많은 부를 창출했던 것처럼, 믿을 수 없는 기회가 있다고 생각합니다.
46:44
셰인 레그: 이제 우리는 데이터와 알고리즘, 컴퓨팅을 활용해서 온갖 종류의 인지적인 작업들을 할 수 있습니다. 그것은 사람들을 위해 존재할 수 있는 엄청난 양의 부를 가능하게 할 수 있습니다. 재화와 서비스의 생산뿐만 아니라 신기술, 신약 등 모든 종류의 것들 말이죠.
47:05
셰인 레그: 이것은 혜택을 줄 수 있는 엄청난 잠재력을 가진 기술입니다. 이제 과제는 위험과 잠재적 비용 등을 처리하면서 어떻게 그 혜택을 얻느냐 하는 것입니다. 우리가 인공지능을 통해 인류가 번영하는 데 진정으로 도움이 되는 미래 세상을 상상할 수 있을까요? 그리고 그것은 어떤 모습일까요?
47:37
셰인 레그: 저는 그저 대답할 수 없습니다. 저는 그 점에 매우 흥미를 느끼고 제가 할 수 있는 한 최선을 다해 이해하려고 노력할 것입니다. 하지만 이건 철학, 경제학, 심리학, 윤리 등 온갖 종류의 질문을 건드리는 정말 심오한 질문입니다. 우리는 훨씬 더 많은 사람들이 이것에 대해 생각하고 긍정적인 미래가 어떤 모습일지 상상해 주기를 필요로 합니다.
47:58
해나 프라이: 셰인, 정말 감사합니다. 말 그대로 사고를 확장시켜 주는(mind-expanding) 시간이었습니다.
48:04
해나 프라이: 인간은 기하급수(exponentials)적인 것을 이해하는 데 그리 능숙하지 않습니다. 그리고 바로 지금, 이 순간, 우리는 그 곡선이 급격하게 꺾이는 지점에 서 있습니다. AGI는 더 이상 먼 미래의 사고 실험이 아닙니다. 셰인과의 대화에서 제가 정말 흥미로웠던 점은, 그가 일반 대중이 전문가들보다 이 상황을 더 잘 이해하고 있다고 생각한다는 점입니다. 그리고 만약 그의 타임라인이 조금이라도 맞다면(과거에 그가 맞았던 전력이 있죠), 우리에게는 천천히 성찰하고 깨달을 시간적 여유가 없을지도 모릅니다. 우리에게는 지금 당장 진지한 관심이 필요한 어렵고 시급하며, 잠재적으로 진정 흥미진진한 질문들이 놓여 있습니다.
48:43
해나 프라이: 지금까지 저, 진행자 해나 프라이와 함께한 구글 딥마인드 팟캐스트를 청취해 주셨습니다. 대화가 즐거우셨다면 팟캐스트를 구독하거나 리뷰를 남겨주세요. 다음 에피소드에서는 딥마인드의 공동 창립자 데미스 하사비스(Demis Hassabis)와 이야기를 나눌 예정입니다. 장담하건대, 절대 놓치고 싶지 않으실 겁니다.