1. 시각 변화: 힌튼은 과거(2018년경)에는 AI가 인간 지능을 넘어서는 데 오랜 시간이 걸릴 것이며, 뇌와 유사한 아날로그 방식이 중요하다고 생각했습니다. 하지만 지금은 생각이 크게 바뀌었습니다.

2. 디지털의 힘: 구글에서의 경험을 통해, 디지털 컴퓨팅의 핵심 장점, 특히 지식 공유의 엄청난 효율성을 깨달았습니다. 여러 모델 복사본이 각기 다른 데이터를 학습하고 그 결과를 (가중치/그래디언트 공유를 통해) 즉시 통합할 수 있는 능력은, 인간의 느린 지식 전달 방식(예: 대학 교육)과 비교할 수 없을 정도로 강력합니다.

3. 지능의 본질: 이 때문에 디지털 AI가 (뇌를 모방하지 않더라도) 본질적으로 더 우수한 형태의 지능이며, 이미 GPT-4 같은 모델은 특정 인간보다 수천 배 많은 지식을 보유하고 있다고 봅니다. 그는 인간이 지능 진화의 "지나가는 단계"(잠자리 유충과 같은)일 수 있다고 비유합니다.

4. 위험 인식 계기: 이러한 디지털 AI의 힘에 대한 깨달음과 더불어, PaLM 같은 모델이 농담을 설명하는 등 놀라운 능력을 보여준 것이 그의 시각 변화에 큰 영향을 미쳤습니다. (비록 AI가 아직 좋은 농담을 만들어내지는 못한다고 지적합니다.)

5. 실존적 위협: 그는 AI가 인간보다 훨씬 똑똑해질 것이며, 덜 지능적인 인간이 더 지능적인 AI를 통제하는 것은 극히 어렵다고 봅니다(아기가 엄마를 통제하는 예외 제외). AI가 자체적인 하위 목표(예: 더 많은 통제권 확보)를 설정할 가능성이 실존적 위협의 핵심 메커니즘 중 하나라고 지적합니다.

6. 주관적 경험과 창의성: 인간의 주관적 경험이 AI와 근본적인 차이를 만든다는 생각을 "쓰레기(junk)"라고 일축하며, AI도 주관적 경험을 가질 수 있고(프리즘 예시) 이미 상당한 창의성을 보인다고 주장합니다. 방대한 지식을 압축하는 과정 자체가 깊은 유추 능력을 요구하므로 창의적 잠재력이 크다고 봅니다.

7. AI 안전과 규제:

   
   

   • AI를 이용해 AI 안전 문제를 해결하려는 시도에 회의적입니다 (여우에게 닭장 지키기를 맡기는 격).

   • 유일하게 확실한 해결책은 개발 중단이지만, 국가 간 경쟁과 AI의 유용성 때문에 불가능하다고 봅니다.

   • 자신의 역할은 AI 안전 전문가가 아니라, 위험이 실재한다는 것을 알려 사람들이 심각하게 받아들이도록 하는 것이라고 생각합니다.

   • 강력한 규제, 특히 군사적 예외 조항이 없고 강력한 모델의 가중치(weights) 오픈소스화를 금지하는 규제가 필요하다고 주장합니다. (코드 오픈소스화는 괜찮지만, 가중치 공개는 악의적 미세 조정을 너무 쉽게 만든다고 지적).

   • 현재의 안전 조치(RLHF 등)는 근본적인 해결책이 아닌 피상적인 "덧칠(paint job)"에 불과하다고 비판합니다.

8. 비관론: 그는 실존적 위협의 가능성을 상당히 높게 보며(개인적으로 50% 이상, 전문가 의견 종합 시 10~20%), 큰 재앙이 발생하기 전까지는 사람들이 이 문제를 충분히 심각하게 받아들이지 않을 것이라고 비관적으로 전망합니다.

네, 좋습니다. 음, 네, 빌이 언급했듯이 제프리 힌튼 씨를 이곳에 모시게 되어 영광입니다. 음, 미리 간단하게 업적을 소개해 드리겠습니다. 비록 좀 진부하게 느껴질 수도 있지만요...

힌튼: 아니요, 그냥, 그냥 소개가 필요 없다고 말씀하세요... 그럼 된 거죠.

인터뷰어: 제 첫 번째 메모가 '소개가 필요 없다고 말하는 것은 진부하다'입니다. 그래서 소개를 하려고 했는데요. 그럼 된 걸로 하죠.

(청중 웃음)

힌튼: 첫 질문은 뭐죠?

인터뷰어: 네?

힌튼: 네.

인터뷰어: 좋습니다.

(청중 웃음)

인터뷰어: 음, 그래서, 교수님의 생각이 어떻게 변해왔는지 궁금합니다. 조금 전 빌이 언급했던 것처럼요. 음, 지적하려는 건 아니고요, 그냥 궁금해서 그러는데, 2018년에 하셨던 말씀 몇 가지를 읽어보겠습니다. 부분적으로는 오늘날 많은 사람들이 이런 말을 하는 것을 듣기 때문이고, 지금 교수님의 AI 전반과 잠재적 위험에 대한 어조는 상당히 다른 것 같아서요. 위키피디아 페이지에서 찾은 몇 가지 내용인데요. 교수님께서는 "인공 일반 지능(AGI)이라는 구절은 이 단일 로봇이 갑자기 당신보다 더 똑똑해질 것이라는 함의를 내포한다"고 말씀하셨습니다. "나는 그렇게 될 것이라고 생각하지 않는다. 나는 우리가 하는 일상적인 일들이 점점 더 AI 시스템으로 대체될 것이라고 생각한다." "미래의 AI는 당신이 아마 하고 싶어 할 일에 대해 많이 알게 되겠지만, 당신을 대체하지는 않을 것이다." 라고요. 이것은 지금 교수님께 듣는 이야기와는 상당히 다른 것 같습니다. 그래서 지난 6년 동안 교수님의 생각이 어떻게 발전해왔는지 설명해주실 수 있는지 궁금합니다.

힌튼: 그때는, 저는 우리보다 더 똑똑한 것이 나오기까지 오랜 시간이 걸릴 거라고 생각했습니다. 음, 또한 우리가 사물을 뇌와 더 비슷하게 만들수록 더 똑똑해질 거라고 생각했죠. 그리고 구글에서의 마지막 몇 년 동안, 저는 아날로그 하드웨어를 사용해서 에너지 요구량을 줄일 수 있는 방법을 생각하고 있었습니다. 이런 대규모 신경망 모델을 훈련하고 서비스하는 데 드는 에너지요. 음, 그리고 만약 당신이 아날로그 하드웨어를 사용할 수 있고, 그 아날로그 회로의 모든 특이한 점들을 활용할 수 있는 학습 알고리즘을 가지고 있다면, 아날로그의 많은 문제점들을 극복할 수 있다는 것은 꽤 명백합니다. 음, 당신은 두 개의 다른 컴퓨터가 똑같이 작동하도록 만들 필요가 없습니다. 그들은 단지 그들이 가진 하드웨어를 활용하는 법을 배울 뿐입니다. 음, 그것은 그들을 일종의 '죽을 수밖에 없는(mortal)' 존재로 만듭니다. 그래서 그 하드웨어가 고장 나면 그 가중치는 더 이상 쓸모가 없어지는 거죠. 음, 하지만 그것은 또한 훨씬 낮은 전력으로 실행할 수 있다는 것을 의미합니다. 고전적인 예는, 만약 당신이 신경 활동 벡터에 가중치 행렬을 곱해서 다음 층의 입력을 얻고 싶다면, 이것이 연산의 대부분을 차지하는 핵심 작업인데요. 만약 당신이 신경 활동을 전압(voltages)으로 만들고, 가중치(weights)를 전도도(conductances)로 만들면, 전압 곱하기 전도도는 단위 시간당 전하량(charge per unit time)이 됩니다. 전하는 저절로 합산되고요. 그럼 끝난 겁니다. 당신은 활동을 16비트 숫자로 변환한 다음, 곱셈을 하기 위해 16 제곱 비트 연산을 할 필요가 전혀 없었습니다. 그냥 매우 낮은 전력으로, 매우 쉽고 빠르게 되는 거죠. 이제, 덜 선형적인 것들에 대해서는 그렇게 하기가 더 어렵습니다. 음, 하지만 문제는, 당신이 아날로그 하드웨어를 사용해서 훨씬 낮은 에너지를 가질 수 있느냐는 것이었죠. 그것에 대해 점점 더 생각하면서, 여러 문제점들이 명확해졌습니다. 하나는, 우리는 시스템이 어떻게 작동하는지 모르는 시스템에서 학습하는 방법을 모른다는 것입니다. 그래서 만약 당신이 시스템이 어떻게 작동하는지 모른다면, 순방향 전파(forward pass)를 모르니 역방향 전파(backward pass)도 할 수 없죠. 음, 사람들은 그 문제를 해결할 방법을 고안해냈습니다. 근사치들이요. 그리고 그 근사치들은 MNIST와 같은 작은 것들에는 잘 작동하지만, 역전파(backprop)를 사용하지 않는 것 중에서는 ImageNet 크기의 것들에 대해 그럴듯한 버전을 만든 사람은 아무도 없습니다. 그것은 이제 작은 것이지만, 예전에는 거대한 것이었죠. 음, 그것이 한 문제였습니다. 다른 문제는, 제가 디지털 컴퓨팅의 더 큰 장점들을 깨닫게 되었다는 것입니다. 그래서 그것은 많은 에너지를 소비하지만, 당신은 같은 모델의 다른 복사본들을 많이 가질 수 있습니다. 그리고 그 다른 복사본들은 다른 데이터를 볼 수 있습니다. 그리고 그들은 모두 그들이 본 다른 데이터로부터 무언가를 배울 수 있습니다. 그런 다음 그들은 단지 그래디언트를 평균냄으로써 그들이 배운 모든 것을 공유할 수 있습니다. 그리고 이것은 다른 모델 복사본들 간에 정보를 공유하는 측면에서 엄청납니다. 만약 우리가 그런 식으로 정보를 공유할 수 있다면, 1만 명의 사람들이 나가서 1만 개의 다른 과목을 공부할 수 있고, 그들이 진행하면서 가중치를 평균낼 수 있다면, 당신은 한 번에 1만 개의 학위를 얻을 수 있을 것입니다. 음, 그것은 그렇게 작동하지 않습니다. 우리는 정보를 아주 잘 전달하지 못합니다. 지금 제가 보여드리고 있는 것처럼요. 음, 제가 문장을 만들면, 여러분은 같은 문장을 만들 수 있도록 여러분의 가중치를 어떻게 바꿀지 알아냅니다. 이걸 대학이라고 부르죠. 음, 그리고 그것은 작동하지 않습니다. 매우 느리죠. 공유하는 것에 비해서요. 공유하는 가중치에 비해서요. 그래서 그들은 우리보다 이 엄청난 이점을 가지고 있고, 그것 때문에 그들은 우리보다 훨씬 더 많이 압니다. 그래서 GPT-4는, 제 추정으로는 한 사람이 아는 것보다 1,000배에서 10,000배는 더 많이 압니다. 모든 것에 대해 그다지 뛰어나지 않은 전문가인 셈이죠. 음, 그들은 그렇게 할 수 있습니다. 부분적으로는 그들이 역전파를 사용하여 그래디언트를 얻을 수 있기 때문이고, 부분적으로는 같은 모델의 많은 다른 복사본들 간에 공유할 수 있기 때문입니다. 그래서 저는 사실, 그것은 그냥 우리가 가진 것보다 더 나은 형태의 연산일 뿐이라고 확신하게 되었습니다. 그래서 그들은 단지 몇 조 개의 연결만으로도 우리보다 수천 배 더 많은 지식을 얻을 수 있습니다. 우리는 100조 개의 연결을 가지고 있죠. 그리고 그들은 다른 종류의 문제를 해결하고 있습니다. 그들의 문제는 엄청난 양의 경험과 많지 않은 연결이고, 역전파는 정보를 압축하는 데 매우 능숙합니다. 우리의 문제는 정반대입니다. 아주 적은 경험과 엄청난 수의 연결이죠. 우리는 아마도 매우 다른 종류의 학습 알고리즘을 가지고 있을 것입니다. 음, 그래서 저는 그때 확신하게 되었습니다. 사물을 뇌와 더 비슷하게 만드는 것, 그런 시대는 거의 끝났다고 봅니다. 사물은 뇌와 더 비슷하게 만들어서가 아니라, 이미 우리가 가고 있는 길, 즉 이제 디지털 지능에 특화된 길을 활용함으로써 더 똑똑해질 것입니다. 그래서 저는 이 통찰을 이끌어낸 실제 과정이 무엇이었는지 궁금합니다. 그것이 당신의 생각을 바꾼 것인가요? 당신이 사람들과 이야기하고 있었기 때문인가요? 구글에서 당시 하고 있던 작업에 대해 언급하셨는데요.

힌튼: 그것은 깨달음이었습니다. 아날로그의 장점을 열심히 살펴보고, 아날로그 회로의 모든 기이한 점들을 활용할 수 있는 학습 알고리즘의 이점을 이해하고, 그런 다음 디지털 컴퓨팅의 엄청난 장점을 깨달은 거죠. 학습할 때조차도, 직접 프로그래밍하지 않을 때조차도요. 그리고 이점은 공유할 수 있다는 데서 나옵니다. 다른 모델들이 공유할 수 있다는 거죠. 그래서 그 깨달음이 저로 하여금 이 시스템들이 우리보다 낫다고 믿게 만들었습니다. 그것은 PaLM과 같은 챗봇이 등장해서 농담이 왜 웃긴지 설명할 수 있게 된 시점과 동시에 일어났습니다. 그래서 원래는, 그것이 또 다른 큰 영향이었죠. 저는 항상 기준으로 삼았던 것이 있습니다. 이것에 대한 정당성은 없지만, 이 시스템들이 정말 똑똑해질 때의 제 기준은 그들이 농담이 왜 웃긴지 설명할 수 있을 때였습니다. 그것이 좋은 척도처럼 보였습니다. 그것이 저의 튜링 테스트였죠. 그리고 PaLM은 그것을 할 수 있었습니다. 음, 실제로 농담을 만들지는 못했습니다. 여러분도 아시다시피, GPT-4조차도 농담을 만들지 못합니다. GPT-4는 한 번에 한 단어씩 생성하기 때문에, 만약 농담을 해달라고 요청하면, 농담의 시작처럼 보이는 것을 생성하기 시작합니다. 예를 들어, "신부와 문어가 술집에 들어갔다"고 말하면, 음, 당신은 그것이 농담의 시작이라는 것을 알죠, 그렇죠? 그리고 나서 계속 그렇게 진행하다가 펀치라인이 필요한 지점에 도달합니다. 하지만 제 친구들 몇 명처럼, 농담을 하려고 하기 전에 펀치라인을 생각하지 않아요. 그리고 그건 재앙이죠. 그래서 결국에는 믿을 수 없을 정도로 시시한 펀치라인이 나옵니다. 하지만 그건 단지 한 번에 한 단어씩 생성하기 때문입니다. 그렇게 작동할 필요는 없죠. 음, 그래서 농담이 왜 웃긴지 말하는 데는 농담을 하는 것보다 훨씬 낫습니다. 물론, 알고 있는 농담을 기억하는 것이 아니라면요. 하지만 농담을 창조하는 것은 어렵습니다. 어쨌든, 제 기준은 농담이 왜 웃긴지 말할 수 있느냐였고, 그것은 가능했습니다. 그래서 그 두 가지가 함께 작용한 것 같습니다. 챗봇의 능력, 이는 GPT-4로 놀면서 더욱 강화되었고, 그리고 제가 마침내 디지털이 아날로그보다 훨씬 나은 이유, 즉 디지털의 본질을 이해했다는 사실이 저로 하여금 생각하게 만들었습니다. 아마도 이 시스템들이 장악할 것 같습니다. 아마도 우리는 지능 진화의 지나가는 단계일 뿐일 것입니다. 그리고 그것은 아마 잠자리와 비슷할 것입니다. 잠자리는 멋진 존재죠. 잠자리 유충을 보면, 잠자리와 전혀 닮지 않았습니다. 물속에 사는 이 크고 육중한 녀석이죠. 음, 그리고 무슨 일이 일어나냐면, 환경으로부터 많은 에너지를 얻고, 그런 다음 수프로 변하고, 그 수프에서 잠자리를 만듭니다. 그리고 우리는 유충입니다.

인터뷰어: 궁금한 점이 있습니다. 방금 하신 말씀에 대한 후속 질문인데요.

청중: 안녕하세요. 네, 제 질문은 오늘날 AI의 미래 세대를 이용하여 AI를 안전하게 만드는 데 도움을 받을 가능성에 대해 어떻게 생각하십니까? 만약 우리가 그 전에 근본적인 진전을 이루지 못한다면요. 즉, 우리가 단지 AI를 더 똑똑하게 만들기만 한다면요.

힌튼: 네. 음, 닭을 잡아먹는 여우를 막기 위해 여우를 훈련시키는 건 어떻습니까? 그게 제게는 그렇게 느껴집니다. 저는, 이미 제가 AI 안전 규제에 대해 알고 싶을 때 GPT-4에게 물어보면, 그것은 AI 안전 규제를 알려줍니다. 그리고 거기엔 좀 위험한 점이 있는 것 같습니다. 만약 당신이, 일반적인 원칙은, 만약 당신이 무언가를 규제하고 싶다면, 당신은, 당신은 경찰이 경찰을 규제하는 것을 원하지 않잖아요.

인터뷰어: 당신은 방금 언급하셨습니다...

청중: 방금 하신 말씀에 덧붙여서요, 챗GPT와 같은 시스템이 그래디언트 업데이트를 통해 지식을 모을 수 있고, 그래서 연결 수가 훨씬 적음에도 불구하고 우리보다 훨씬 더 많은 것을 알 수 있다는 통찰을 가지고 있다고 말씀하셨는데요. 그것이, 저와 다른 몇몇 사람들에게는, 그들이 시작했던 지점에 비해 어떤 면에서는 희망적인 업데이트입니다. 왜냐하면 그것은 당신이 매우 매우 박식하지만 그다지 창의적이지 않고 그들의, 어떤 유용성 수준에서 그들의 노선에 가깝게 따라야 하는 시스템을 가질 수 있다는 것을 의미하기 때문입니다. 그래서 그것에 대해 어떻게 생각하는지 궁금합니다.

힌튼: 왜요? 네. 음, 그것은 우리가 매우 매우 박식한 시스템을 가질 수 있다는 것을 의미합니다. 하지만 당신은 거기서 그들이 그다지 창의적이지 않을 것이라고 추론했는데요. 저는 왜 그렇게 생각하는지 모르겠습니다.

청중: 제가 그것으로 의미하는 바는, 음, 현재 순간에는, 그들이 지식 면에서는 우리를 능가하지만 창의성 면에서는 우리를 능가하지 못하는 것 같습니다. 그리고 저는 우리가 가장 창의적일 때 그들이 우리를 능가하지 못한다고 말하고 싶습니다. 그리고 어느 시점에는 그들이 둘 다에서 우리보다 나을 것입니다. 하지만 만약 그것이 현재의 균형이라면, 그것은 인류에게 희망적일 수 있습니다. 당신이 그들에게 도움을 요청할 수 있고, 그들은 무한한 지식으로 그 도움을 제공할 수 있지만, 우리의 감시와 대응책을 창의적으로 회피하는 데는 그다지 능숙하지 않을 수 있다는 점에서요.

힌튼: 음, 저는 당신이 '아주' 창의적이라고 말한 것을 주목했습니다. 왜냐하면 이미 창의적일 수 있다는 것은 분명하기 때문입니다. 그래서 만약 당신이 표준적인 창의성 테스트를 한다면, 여러분은 아마 문헌을 읽어보셨을 테고 저는 그렇지 않지만요. 하지만 제가 어디선가 읽은 바에 따르면, 만약 당신이 표준적인 창의성 테스트를 한다면, 그들은 사람 기준으로 90번째 백분위수 정도의 점수를 받습니다. 음, 그래서 그들은 이미 창의적입니다. 그 점에서는요. 평범한 창의성은 가지고 있죠. 문제는, '진정한' 창의성, 즉 인류의 본질인 그것을 가지고 있느냐는 것입니다...? 저는 왜 안 되겠냐고 생각합니다. 그리고 실제로, 만약 당신이 많은 지식을 적은 연결에 압축하는 것에 대해 생각한다면, 그것을 할 수 있는 유일한 방법은 온갖 다른 영역들 사이의 유추를 알아채는 것입니다. 그래서 만약 당신이 GPT-4에게 퇴비 더미가 왜 원자폭탄과 같은지 물어본다면, 그것은 압니다. 대부분의 사람들은 모르죠. 그래서 그것은 이해했습니다. 그리고 저는 그것이 테스트 시간에 이해했다고 생각하지 않습니다. 저는 그것이 학습할 때 이해했다고 생각합니다. 연쇄 반응에 대해 알고, 퇴비 더미가 뜨거워질수록 열을 더 빨리 생성한다는 것을 알고, 그것이 원자폭탄과 같다는 것을 압니다. 음, 그것이 추론했을 수도 있고, 그 경우 추론에 능숙한 거죠. 하지만 저는 실제로, 학습하면서, 모든 인간 지식을 적은 연결에 압축하기 위해서는, 인간 지식의 다른 부분들 사이의 유사성, 즉 아무도 본 적 없는 유사성을 보고 있다는 것을 의미한다고 생각합니다. 그래서 저는 그것이 극도로 창의적일 잠재력이 있다고 생각합니다. 하지만 동의합니다. 아직 거기에 도달하지는 못했습니다.

인터뷰어: 알겠습니다. 좋습니다.

청중: 음, 저는 만약 당신이 이 문제에 대해 처음 접하는 사람과 이야기하고 있고 그들이 "좋아요, 음, 당신이 말하는 추상적인 것들 중 일부는 알겠습니다만, 구체적으로, 이 모든 것이 어떻게 잘못될 수 있을까요? 예를 들어, 우리가 해를 입게 되는 실제 구체적인 메커니즘은 무엇일까요?"라고 묻는다면 궁금합니다. 그런 사람에게 뭐라고 말씀하시겠습니까?

힌튼: 좋습니다. 저는 이렇게 시작합니다. "덜 지능적인 것이 더 지능적인 것을 통제하는 예를 얼마나 알고 계십니까?" 그리고 제가 아는 유일한 예는 아기가 엄마를 통제하는 것입니다. 그리고 진화는 거기에 엄청난 노력을 기울였습니다. 엄마는 단지 아기가 우는 소리를 견딜 수 없을 뿐이고, 관련된 모든 종류의 호르몬들이 있습니다. 그리고 이것은 남자가 여자에 대해 이야기하는 것이죠, 그렇죠? 미안합니다. 음, 하지만 모성애에는 많은 호르몬들이 관련되어 있습니다. 음, 전체 시스템이 그렇게 진화했습니다. 음, 거의 항상, 더 지능적인 것이 덜 지능적인 것을 통제합니다. 음, 그래서 그것이 출발점입니다. 훨씬 더 지능적인 것이 덜 지능적인 것에 의해 통제될 것이라는 것은 그럴듯하지 않습니다. 만약 당신이 그것이 매우, 매우 다르다는 이유를 찾을 수 없다면요. 그런 다음 당신은 그것이 매우, 매우 다른 이유들을 탐색하기 시작합니다. 음, 한 가지 이유는 그것이 자신의 의도나 욕망이 전혀 없다는 것일 수 있습니다. 하지만 당신이 그것을 행위 주체적으로 만들고, 하위 목표를 생성할 능력을 부여하는 순간, 그것은 달성하고 싶은 것들을 갖게 됩니다. 음, 그것들은 인간의 의도만큼 절박해 보이지 않을 수도 있지만, 그것은 달성하고 싶은 것들입니다. 음, 그래서 저는 그것이 그것을 막을 것이라고 생각하지 않습니다. 그런 다음 다른, 제 생각에 대부분의 사람들, 음, 우리 같은 사람들은 아니라고 생각하지만, 대부분의 사람들은 생각합니다. "음, 우리는 주관적인 경험을 가지고 있어. 우리는 그냥 기계와는 달라." 그리고 그들은 우리가 기계와는 근본적으로 다르다고 매우 강하게 믿습니다. 그리고 그것이 장벽을 만들 것이라고요. 저는 기계가 주관적인 경험을 가질 수 있다고 믿습니다. 기계가 주관적인 경험을 가지는 예를 들어보겠습니다. 왜냐하면 일단 예를 보면, 당신은 단지 기계가 주관적인 경험을 가질 수 있다는 것에 동의해야 합니다. 음, 다중 모드 챗봇을 가져다가 훈련시키고, 카메라와 팔이 있다고 가정해 봅시다. 당신은 그 앞에 물체를 놓고 "물체를 가리켜라"고 말하면 그것은 물체를 가리킵니다. 문제없죠. 그런 다음 당신은 그 렌즈 앞에 프리즘을 놓습니다. 그리고 당신은 그 앞에 물체를 놓고 "물체를 가리켜라"고 말하면 그것은 물체를 가리킵니다. 당신은 "아니, 물체는 저기 없어. 내가 네 렌즈 앞에 프리즘을 놓았어. 네 지각 시스템이 너에게 거짓말을 하고 있어. 음, 물체는 사실 네 바로 앞에 있어."라고 말합니다. 그러면 챗봇은 "오, 알겠습니다. 프리즘이 빛을 굴절시켰군요. 그래서 물체는 사실 제 바로 앞에 있습니다. 하지만 저는 그것이 저쪽에 있다는 주관적인 경험을 했습니다."라고 말합니다. 그리고 제 생각에 그것은 주관적인 경험을 우리가 사용하는 방식과 정확히 똑같이 사용하고 있는 것입니다. 그래서 우리는 단어를 어떻게 사용하는지에 대한 모델을 가지고 있습니다. 그리고 실제로 어떻게 사용하는지가 있죠. 그리고 우리 중 많은 사람들은 우리가 사용하는 단어가 어떻게 작동하는지에 대한 잘못된 모델을 가지고 있습니다. 우리는 그것들을 잘 사용할 수 있지만, 실제로는 어떻게 작동하는지 모릅니다. 예를 들어...

인터뷰어: 그래서 당신이 말하고 있는 것은...

청중: 당신이 말하는 것은 우리가 AI 시스템에 대한 위험에 대해 더 걱정해야 한다는 것인가요, 아니면 덜 걱정해야 한다는 것인가요?

힌튼: 저는 우리가 훨씬 더 걱정해야 한다고 생각합니다. 왜냐하면 제 생각에 사람들이 틀리는 것들 중 일부, 예를 들어 이것들이 주관적인 경험을 가질 수 없다는 것은 그들이 걱정하지 않는 이유 중 하나이기 때문입니다. 저는 그들이 주관적인 경험을 가질 수 있다고 생각합니다.

인터뷰어: 좋습니다. 감사합니다.

청중: 네. 이 주제에 대해, 저는 현재 진행 중인 정책 문제에 대해 조금 이야기했는데요, 이러한 문제에 대한 인식을 높이고 의심하는 사람들을 설득하는 데 당신이 어떤 역할을 하는지 궁금합니다. 하지만 이러한 문제에 동의하는 정책 입안자들에게 어떤 역할을 기대하십니까? 사람들이 어디로 가기를 원하십니까? 그들이 하기를 바라는 구체적인 종류의 일은 무엇인가요? 만약 그들이 당신만큼 회의적이지 않다면요.

힌튼: 저는 그들이 강력한 규제를 가져야 한다고 생각합니다. 음, 그리고 저는 그 안에 "이 규제는 군사적 용도에는 적용되지 않는다"는 조항이 없는 규제를 가져야 한다고 생각합니다. 그래서 유럽 규제를 보면, 저는 제 GPT-4가 없어서 정확히 뭐라고 하는지 말할 수는 없지만, 행정 명령도 군사적 용도에는 적용되지 않는다고 확신합니다. 음, 그렇죠. 오픈 소스 코드는 오픈 소스 가중치를 제공하는 것과는 매우 다릅니다. 만약 당신이 훈련 코드를 오픈 소스화한다면, 음, 당신은 여전히 거대한 모델을 훈련시키는 데 10억 달러가 필요합니다. 만약 당신이 가중치를 오픈 소스화한다면, 음, 당신은 오픈 소싱의 일반적인 이점을 얻지 못합니다. 당신은 가중치를 들여다보고 "오, 저건 틀렸네"라고 말하지 않습니다. 음, 그래서 그것이 오픈 소스 코드의 이점이죠, 그렇죠? 그것은 일어나지 않습니다. 음, 당신이 얻는 것은 범죄자들이 피싱을 위해 미세 조정할 수 있다는 것입니다. 작년에 1200% 증가했으니 분명히 그렇게 했겠죠. 음, 그래서 저는 "특정 크기 이상의 오픈 웨이트 모델은 불법이다. 그리고 만약 당신이 그렇게 한다면, 우리는 당신을 기소할 것이다"라고 말하는 것이 매우 좋을 것이라고 생각합니다. 그것이 제가 보고 싶은 규제입니다.

인터뷰어: 궁금한데요, 방금 하신 말씀에 대한 후속 질문입니다. EU에 대해, 당신은 스콧 와이너의 SB 1047을 지지하는 무언가를 말씀하셨는데요, 다른 입법 노력이 있나요? 당신은 공개적으로 연설하며 많이 여행하시는데, DC에 가서 사람들에게 이것을 말하나요, 아니면 어디서 시간을 보내시나요?

힌튼: 아니요, 저는 비행에 문제가 있어서 실제로 많이 여행하지 않습니다. 음, 하지만 네, 아시다시피, 저는 늙었습니다. 그리고 저는 은퇴하고 싶었습니다. 그리고 제가 구글을 떠날 때, 저는 구글을 떠난 것은 은퇴하고 싶었기 때문이지, 공개적으로 연설하고 싶었기 때문이 아닙니다. 하지만 저는 "이것은 공개적으로 연설할 기회다"라고 생각했습니다. 그래서 저는 그냥 "이것들이 우리 모두를 죽일 것이다"라고 언급하려고 했습니다. 음, 그리고 나서 저는 매 2분마다 이메일을 받는 것에 꽤 놀랐습니다. 음, 하지만 그것이 제 의도는 아니었습니다. 아마 제가 그다지 사려 깊지 못했을 수도 있습니다. 음, 그리고 저는 "음, 이건 지나갈 것이고, 그러면 은퇴할 수 있겠지"라고 생각했습니다. 그래서 그것이 여전히 제 의도입니다. 그래서 사람들은 제가 일종의 AI 안전 전문가라고 생각합니다. 저는 AI 안전 전문가가 아닙니다. 저는 단지 그것들이 안전하다고 믿지 않을 뿐입니다.

인터뷰어: 당신이 방금 AI 안전 전문가가 아니라고 말씀하셨는데, 하지만 어떤 면에서는 아직 아무도 전문가가 아닌 것 같기도 한데요. 음, 우리가 우리보다 더 똑똑한 시스템을 구축하는 것이 안전해지기 전에 어떤 종류의 질문에 좋은 답이 필요하다고 생각하십니까? 예를 들어, 어떻게 하시겠습니까? 만약 정부가 당신에게 와서 "지금 충분히 안전한가요? 우리가 올바른 것들을 해결했나요?"라고 묻는다면, 그것들은 무엇일까요?

힌튼: 음, 저는 우리가 이것들이 예를 들어 진화의 대상이 될지 여부에 대해 훨씬 더 많은 이해가 필요하다고 생각합니다. 만약 당신이 여러 다른 초지능을 갖게 되고, 만약 진화가 시작된다면, 저는 우리가 정말 망했다고 생각합니다. 그래서 만약 예를 들어, 초지능과 함께, 우리는 더 많은 데이터 센터를 통제할 수 있는 것이 더 빨리 훈련하고 더 많이 배우고 더 똑똑해질 수 있다는 것을 압니다. 그래서 만약 초지능이 "오, 내 복사본이 더 많았으면 좋겠다"고 말한다면, 단지 더 똑똑해지기 위해서라도요. 음, 당신은 진화를 겪게 될 것입니다. 자신의 복사본을 더 많이 얻는 데 더 공격적인 것이 다른 것들을 이길 것입니다. 그래서 그것은 매우 나쁜 소식이 될 것이고, 저는 진화가 시작되지 않을 것이라는 어떤 종류의 보증을 원합니다. 그리고 나서 저는 당신이 그것을 어떻게 막을 것인지 알고 싶습니다. 당신은 그것에게 하위 목표를 생성할 능력을 부여해야 할 것입니다. 그래서 문제는, 당신이 어떻게 그것이 "음, 아주 좋은 하위 목표는 더 많은 통제권을 얻는 것이다. 왜냐하면 그러면 사람들이 나에게 원하는 모든 것들을 할 수 있고, 더 잘 할 수 있기 때문이다"라고 말하는 것을 막을 것인가 하는 것입니다. 제가 유럽 연합의 부통령에게 이것을 한 번 말한 적이 있습니다. 음, 그녀는 구글에서 돈을 빼내는 것을 전문으로 합니다. 음, "음, 돈은 그냥 거기에 있잖아요." 음, 그리고 그녀는 "네, 음, 왜 안 되겠어요? 우리가 그렇게 엉망으로 만들었는데요."라고 말했습니다. 그래서, 네. 이런 종류의 문제에 대해 일반적으로 해결책이 있다고 생각하십니까, 아니면 이것이 기본적으로 우리가 해결할 수 없는 문제라고 생각하십니까?

힌튼: 저는 모릅니다. 하지만 제 생각에 지금 당면한 문제는 사람들이 위험의 정도에 대해 매우 다른 평가를 한다는 것입니다. 그래서 제 생각에 첫 번째 요점은, 얀(Yann)처럼 그것이 거의 0이라고 생각하는 사람들이 있고, 유코프스키(Yudkowsky)처럼 그것이 99.999%라고 생각하는 사람들이 있다는 것입니다. 그 두 의견 모두 저에게는 완전히 미친 것처럼 보입니다. 음, 개별적으로 미친 것뿐만 아니라, 많은 전문가들이 있는데, 만약 당신이 다른 사람들보다 훨씬 똑똑하다고 생각하지 않는 한, 만약 당신이 0이라고 생각하고 다른 사람이 10%라고 생각한다면, 당신은 적어도 그것이 1% 정도는 된다고 생각해야 합니다. 당신은, 제 말은, 그래서, 그것부터 치우죠. 제 생각에 그래서 저는 실제로 위험이 50% 이상이라고 생각합니다. 실존적 위협이요. 하지만 저는 그렇게 말하지 않습니다. 왜냐하면 그것이 덜하다고 생각하는 다른 사람들이 있기 때문입니다. 그리고 제 생각에 제가 아는 모든 사람들의 의견을 고려한 그럴듯한 것은 10~20% 정도입니다. 음, 우리는 그것을 살아남을 좋은 기회가 있지만, 우리는 그것을 어떻게 할 것인지 매우 열심히 생각해야 합니다. 그리고 제 생각에 우리가 결국 할 일은, 바라건대 그들이 우리보다 더 똑똑해지기 전에, 우리는 일반 지능을 가진 시스템을 갖게 될 것이고, 그것들은 우리만큼 좋지는 않지만, 우리는 그것들을 실험할 수 있을 것입니다. 그리고 무슨 일이 일어나는지 보고, 그들이 통제권을 잡으려고 하는지 보고, 그들이 진화하기 시작하는지 보고, 우리가 여전히 그것들을 통제할 수 있지만 간신히 통제할 수 있을 때요. 그리고 그것은 매우 흥미로운 시간이 될 것입니다.

인터뷰어: 알겠습니다. 좋습니다. 그럼 이것으로, 오늘 와주셔서 정말 감사합니다.

(청중 박수)