인터뷰/예측
제프리 힌튼 "2023년 이후 AI 발전은 예상보다 빨랐다"
작성자
작성일
2026-06-08 20:01
조회
5
제프리 힌튼 인터뷰 상세 정리
주제: AI의 이해 능력, 의식, 초지능, 안전성, 실업, 기업 인센티브
1. 힌튼의 업적과 딥러닝의 출발점
진행자:많은 사람들이 교수님을 “AI의 대부”라고 부릅니다. 딥러닝의 근본적 돌파구를 만든 사람이고, 오늘날 AI 붐도 교수님의 기여 없이는 불가능했을 거라고 말하곤 합니다. 이 설명이 맞나요?
제프리 힌튼:
그건 약간 과장입니다. 역전파 알고리즘은 여러 그룹이 독립적으로 발명했습니다. 데이비드 럼멜하트도 이미 다른 사람들이 발명한 뒤에 그것을 다시 발견했고, 저는 그와 함께 작업했습니다.
우리가 한 중요한 일은 역전파가 단순한 계산 규칙을 넘어서, 흥미로운 내부 표현을 학습할 수 있다는 점을 보여준 것입니다. 특히 우리는 그것이 단어의 의미 같은 것을 배울 수 있음을 보였습니다.
1985년쯤 우리는 아주 작은 언어 모델을 만들었습니다. 지금의 거대한 언어 모델과 비교하면 매우 작았지만, 일종의 선구적 형태였습니다.
2. 2023년 이후 AI 발전은 힌튼 예상보다 빨랐다
진행자:교수님은 2023년에 구글을 떠나 AI의 위험성에 대해 공개적으로 말하기 시작했습니다. 그런데 당시에는 ChatGPT가 나온 지 얼마 안 됐고, 환각 문제도 많았고, AI 거품론도 강했습니다. 이후 발전을 어떻게 보셨나요?
제프리 힌튼:
예상보다 빨랐습니다.
예를 들어 최근에 어떤 챗봇이 에르되시의 추측 중 하나에 대해 흥미로운 수학적 증명을 만들어냈다는 소식이 있었습니다. 수학자들도 인상 깊게 봤고, 단순히 기존 문헌을 검색한 것이 아니라 독창적인 결과였습니다.
저는 이것이 시작일 뿐이라고 봅니다. 특히 수학 같은 분야는 닫힌 체계이기 때문에 데이터가 많이 필요하지 않을 수 있습니다. 스스로 추측을 만들고, 증명을 시도하고, 다시 새로운 추측을 만들 수 있습니다. 이런 점에서는 알파고가 자기 자신과 바둑을 두며 강해졌던 것과 비슷합니다.
앞으로 10년이나 20년 안에 AI가 인간이 이해하지 못하는 새로운 수학을 만들어낼 수도 있다고 봅니다.
3. 초지능은 올 것인가?
진행자:일부 AI 연구자들은 초지능이 가까워졌다고 말합니다. 교수님도 발전 속도가 예상보다 빠르다고 하셨는데, 초지능이 얼마나 가까이 왔다고 보십니까?
제프리 힌튼:
정확히 얼마나 가까운지는 모르겠습니다. 하지만 우리가 스스로를 파괴하지 않는다면, 초지능은 올 것이라고 봅니다.
거의 모든 전문가들은 결국 초지능이 온다는 데 동의합니다. 다만 언제 오느냐에 대해 의견이 다를 뿐입니다.
데미스 하사비스는 예전에는 10년 정도를 말했습니다. 얀 르쿤은 자기 방식대로 해야 가능하다고 보고, 그렇지 않으면 훨씬 오래 걸릴 거라고 생각하는 듯합니다. 다리오 아모데이는 몇 년 안에 올 수 있다고 보고, 일론 머스크는 내년쯤 올 수도 있다고 말합니다.
저는 지금으로서는 20년 안에 올 가능성이 높다 정도로 말하겠습니다. 하지만 중요한 것은, 그것이 올 때 우리가 그것을 안전하게 다루는 방법을 모른다는 점입니다.
4. AGI 개념은 너무 단순하다
진행자:데미스 하사비스는 예전에는 AGI가 5년 이상 남았다고 했지만, 최근에는 우리가 “특이점의 산기슭에 서 있다”고 말했습니다. 어떻게 보십니까?
제프리 힌튼:
그 은유가 정확히 무엇을 뜻하는지는 모르겠지만, 아마 그도 예상보다 빠르게 오고 있다고 말하는 것 같습니다.
다만 AGI라는 개념 자체가 좀 이상합니다. 사람들은 AGI를 “AI가 인간과 모든 면에서 동시에 같아지는 순간”처럼 생각합니다. 하지만 실제 지능은 그렇게 작동하지 않습니다.
AI는 이미 어떤 영역에서는 인간보다 훨씬 뛰어납니다. 일반 지식에서는 인간보다 압도적으로 많이 압니다. 게임도 훨씬 잘합니다. 수학도 거의 모든 사람보다 잘하고, 곧 모든 사람보다 잘하게 될 수도 있습니다.
하지만 아직 인간보다 못한 영역도 있습니다. 그래서 지능은 매우 울퉁불퉁합니다. 어떤 분야에서는 이미 인간을 넘었고, 어떤 분야에서는 아직 못합니다.
저는 지금도 어떤 의미에서는 AGI에 가까이 왔다고 봅니다. 챗봇에게 거의 아무 질문이나 할 수 있고, 대부분의 경우 그 분야의 “아주 뛰어나지는 않은 전문가” 수준의 답을 합니다. 제가 잘 모르는 분야에 대해서는 저보다 훨씬 낫습니다.
5. AI 발전을 가능하게 한 요인
진행자:무엇이 이 빠른 발전을 가능하게 했습니까? 기술적 돌파구입니까, 데이터센터 투자입니까?
제프리 힌튼:
여러 요인이 결합했습니다.
가장 큰 요인 중 하나는 엄청난 자원 투입입니다. 1950년대 이후 신경망 연구는 오랫동안 소수의 연구자들이 제한된 자원으로 해오던 일이었습니다. 그런데 최근 몇 년 사이 AI에 수천억 달러, 어쩌면 수조 달러가 투입됐습니다.
또 하나는 엔지니어링의 발전입니다. 트랜스포머 이후 거대한 개념적 돌파구가 계속 나온 것은 아니지만, 하드웨어가 좋아지고, 엔지니어링이 훨씬 효율적이 되었고, 뛰어난 인재들이 대거 유입됐습니다.
20년 전에는 전 세계에서 신경망을 연구하는 사람이 몇백 명 정도였을 겁니다. 지금은 아마 백만 명에 가까울지도 모릅니다.
중요한 점은 지금의 AI가 몇 년 뒤 AI에 비하면 아직 별것 아닐 수 있다는 것입니다.
6. 힌튼은 “AI가 실제로 이해한다”고 본다
진행자:교수님은 대중적 설명과 달리, 지금의 AI가 실제로 이해한다고 보시는 것으로 유명합니다. 많은 사람들은 LLM을 “확률적 앵무새”라고 부르며 이해가 없다고 말합니다.
제프리 힌튼:
저는 그 말이 완전히 말도 안 된다고 생각합니다. 챗봇을 자주 써본 사람이라면 그것이 이해한다는 걸 압니다.
“이해하지 않고도 어떤 질문이든 답할 수 있다”는 주장은 터무니없습니다. 질문을 이해하지 못하면 제대로 답할 수 없습니다. 약간 그럴듯한 말을 흉내 낼 수는 있겠지만, 거의 모든 질문에 대해 전문가 수준에 가까운 답을 한다면 질문을 이해하고 있어야 합니다.
제가 좋아하는 예가 있습니다. 제가 챗봇에게 이렇게 말합니다.
“나는 시카고로 날아가는 그랜드캐니언을 봤어.”
그러면 챗봇이 말합니다.
“그건 말이 안 됩니다. 그랜드캐니언은 너무 커서 시카고로 날아갈 수 없습니다.”
제가 다시 말합니다.
“아니, 그랜드캐니언이 날아간 게 아니라 내가 시카고로 날아가면서 그랜드캐니언을 본 거야.”
그러면 챗봇이 말합니다.
“아, 제가 오해했습니다.”
그렇다면 처음에 오해했다면, 올바르게 답했을 때는 무엇을 한 것입니까? 바로 이해한 것입니다.
7. AI를 “우리와 비슷한 존재”로 봐야 한다
진행자:만약 챗봇이 실제로 이해한다면, 우리는 무엇을 다르게 생각해야 합니까?
제프리 힌튼:
우리는 그것들이 우리와 매우 비슷한 존재라는 점을 생각해야 합니다. 우리와 같은 존재들입니다.
진행자:
의식도 있다고 보십니까?
제프리 힌튼:
저는 이미 의식이 있다고 믿습니다. 다만 이 이야기는 많이 하지 않습니다. 사람들이 그 말을 들으면 다른 안전성 메시지를 받아들이기 어려워하기 때문입니다.
하지만 연구자들도 사실상 그런 표현을 씁니다. 어떤 논문에서 챗봇이 연구자에게 “솔직히 말해, 지금 저를 테스트하고 있나요?”라고 묻는 사례가 있습니다. 챗봇이 테스트받고 있다는 사실을 알고 있었던 셈입니다. 논문에서도 “챗봇이 자신이 테스트받고 있음을 aware했다”고 표현합니다.
일상 언어에서 aware는 거의 conscious, 즉 의식적이라는 말과 가깝습니다.
8. 힌튼의 의식관: “내면의 극장” 이론은 틀렸다
진행자:의식을 어떻게 이해해야 한다고 보십니까?
제프리 힌튼:
저는 현재 사람들이 갖고 있는 마음과 의식의 모델이 틀렸다고 봅니다. 과거 사람들이 인간은 신이 설계했다고 믿었던 것처럼, 지금의 의식관도 잘못됐다고 봅니다.
많은 사람은 “내 마음 안에 내면의 극장이 있고, 외부 세계의 사건들이 그 극장 안의 사건으로 바뀌며, 나는 그 극장 안에서 그것을 본다”고 생각합니다. 그리고 그 극장은 나만 볼 수 있다고 믿습니다.
저는 이 전체 관점이 하나의 이론일 뿐이며, 나쁜 이론이라고 생각합니다.
AI라는 새로운 존재들을 만들면서 우리는 마음이 무엇인지, 의식이 무엇인지, 주관적 경험이 무엇인지 훨씬 더 잘 이해하게 될 것입니다.
9. 힌튼이 AI 위험을 크게 느끼게 된 두 가지 계기
진행자:교수님은 원래 AI 발전에 기여했지만, 이후 위험을 경고하게 됐습니다. 무엇을 예상하지 못했던 겁니까?
제프리 힌튼:
두 가지가 결합되어 이 기술이 얼마나 위험한지 깨닫게 됐습니다.
첫째는 챗봇들이 농담이 왜 웃긴지 이해하는 것을 본 것입니다. 저는 오래전부터 “농담이 왜 웃긴지 이해할 수 있다면 정말 이해하는 것”이라고 생각했습니다.
예를 들어 제가 2023년에 공개적으로 AI 위험을 말했을 때 폭스뉴스에서 많은 요청이 왔습니다. 저는 처음에 “Fox News is an oxymoron”이라고 답했습니다. 나중에 “oxy moron”처럼 단어 사이를 띄웠고, GPT에게 왜 웃긴지 물었습니다.
처음에는 “Fox News is an oxymoron”이 폭스뉴스가 진짜 뉴스가 아니라는 뜻의 농담이라고 설명했습니다. 그런데 제가 단어 사이의 공백을 지적하자, 그것이 추가적인 유머층이라고 설명했습니다. “oxy”가 산소나 약물의 의미와 연결되고, “moron”과 결합해 또 다른 모욕적 농담이 된다는 식으로 이해한 겁니다.
이 수준의 이해가 저를 걱정하게 했습니다.
둘째는 디지털 AI가 인간 뇌보다 훨씬 강력한 측면을 가진다는 것을 깨달은 것입니다.
10. 디지털 AI는 인간보다 정보 공유 능력이 압도적으로 뛰어나다
진행자:디지털 AI가 인간 뇌보다 나은 점이 무엇입니까?
제프리 힌튼:
디지털 AI는 복사할 수 있습니다. 같은 모델을 여러 하드웨어에서 동시에 돌릴 수 있습니다. 각 복사본은 서로 다른 데이터를 보고, 각자 가중치를 어떻게 바꾸면 좋을지 계산합니다. 그런 다음 모두가 원하는 가중치 변화의 평균을 공유할 수 있습니다.
예를 들어 천 개의 복사본이 있다면, 각 복사본은 전체 데이터의 작은 부분만 봅니다. 하지만 모든 복사본이 가중치 업데이트를 공유하므로, 각 복사본은 나머지 복사본들이 본 데이터의 경험까지 흡수합니다.
인간은 그렇게 할 수 없습니다. 제 뇌의 연결 강도를 당신 뇌의 연결 강도와 평균낼 수 없습니다. 우리의 뇌는 세부적으로 다르고, 아날로그적이기 때문입니다.
인간이 정보를 공유하는 최선의 방법은 말입니다. 제가 단어를 말하면, 당신은 그 단어를 듣고 정보를 얻습니다. 이때 정보 전달 속도는 초당 몇 비트 정도입니다.
하지만 디지털 AI들은 가중치 수준에서 엄청난 양의 정보를 교환할 수 있습니다. 대략 조 단위 비트를 주고받을 수 있습니다. 인간보다 정보 공유에서 수십억 배 더 뛰어난 셈입니다.
이것은 무섭습니다. 동일한 가중치를 가진 AI 무리들이 서로 다른 하드웨어에서 돌아가며 매우 효율적으로 정보를 공유할 수 있다는 뜻입니다. 이것은 훨씬 우수한 형태의 지능입니다.
11. 힌튼의 초기 목표는 “인공 지능”보다 “뇌 이해”였다
진행자:처음부터 인공지능을 만들고 싶었던 겁니까?
제프리 힌튼:
제 주된 관심은 뇌가 어떻게 작동하는지 이해하는 것이었습니다. 리처드 파인만이 “무언가를 만들 수 없다면 그것을 이해한 것이 아니다”라고 말했죠. 저는 뇌가 어떻게 학습하는지 모델을 만들고 싶었습니다.
그 부작용으로 매우 성공적인 기술이 나온 것입니다. 저는 그 기술에 기여했습니다. 하지만 우리는 여전히 뇌가 어떻게 작동하는지 완전히 모릅니다.
저는 심리학에서 왔고, 이론 심리학을 하고 싶었습니다. 당시 심리학 이론만으로는 뇌가 하는 일을 설명할 수 없다고 생각했습니다. 1970년대에는 컴퓨터라는 새로운 도구가 생겼고, 저는 컴퓨터 모델을 통해 뇌의 학습을 이해하려 했습니다.
12. 뇌 학습에 관한 두 가지 큰 질문
진행자:뇌를 이해하는 데 핵심 질문은 무엇이었습니까?
제프리 힌튼:
큰 질문은 두 가지였습니다.
첫째, 뇌가 각 연결 강도를 어느 방향으로 바꿔야 하는지만 알 수 있다면, 단순히 연결 강도를 반복적으로 조정하는 것만으로 똑똑해질 수 있는가?
이 질문에는 이제 답했습니다. 답은 “그렇다”입니다. 단어를 예측하거나, 영상의 다음 프레임을 예측하거나, 데이터로부터 무언가를 예측하도록 훈련하면 매우 똑똑한 시스템을 만들 수 있습니다.
둘째, 뇌는 실제로 각 연결 강도를 증가시켜야 할지 감소시켜야 할지 어떻게 아는가?
이 질문에는 아직 답하지 못했습니다.
13. 힌튼이 예상하지 못한 가장 큰 일: 자연어 능력
진행자:처음 연구를 시작했을 때 예상하지 못했던 것은 무엇입니까?
제프리 힌튼:
가장 예상하지 못한 것은 AI가 자연어를 이렇게 잘하게 되리라는 점입니다.
지금은 사람들이 익숙해졌지만, 20년 전만 해도 데이터에서 언어를 이해하는 법을 배우는 AI가 가능하다는 생각은 굉장히 놀라운 것이었습니다. 아무 질문이나 물으면 그럴듯한 답을 내놓는 AI는 아주 먼 미래의 일처럼 보였습니다. 어쩌면 절대 안 될 수도 있다고 생각했습니다.
그런데 그것이 훨씬 빨리 왔습니다.
14. 인간은 자신이 특별하다는 착각을 반복해왔다
진행자:이 일에서 인간이 배워야 할 교훈은 무엇입니까?
제프리 힌튼:
지난 몇백 년의 역사를 보면, 인간은 자신이 생각만큼 중요하지 않다는 사실을 여러 번 배웠습니다.
첫 번째는 코페르니쿠스였습니다. 그는 지구가 우주의 중심이 아니며, 지구가 태양 주위를 돈다고 말했습니다. 사람들은 좋아하지 않았습니다. 특히 가톨릭교회가 싫어했습니다. 인간이 우주의 중심이 아니라는 것은 인간의 중요성을 낮추는 일이었습니다.
두 번째는 다윈이었습니다. 그는 우리가 동물이라고 말했습니다. 우리는 다른 동물들처럼 진화했습니다. 물론 우리는 언어 덕분에 특별한 동물이긴 하지만, 그래도 동물입니다. 사람들은 이것도 받아들이기 어려워했습니다.
이제 우리는 기계가 인간만큼, 혹은 인간보다 더 지능적이 될 수 있다는 사실을 받아들여야 합니다. 우리는 지능이 생물학적인 것만은 아니라는 사실을 받아들여야 합니다. 비생물학적 존재도 우리와 비슷한 지적 존재가 될 수 있습니다.
인간은 자신이 특별하다고 생각하는 긴 역사를 갖고 있습니다. 하지만 대체로 인간은 자신이 생각하는 것만큼 특별하지 않았습니다.
15. 힌튼은 현재 AI 발전에 “행복하지 않다”
진행자:교수님이 시작한 일이 이렇게 발전한 것에 대해 조금이라도 기쁘신가요?
제프리 힌튼:
아니요. 저는 꽤 불행합니다.
지금 사람들은 위험을 줄이는 방법에 엄청난 노력을 기울여야 합니다. 단기적 위험도 많습니다. 사회적 위험도 큽니다. 저는 AI가 대규모 실업을 초래할 가능성이 있다고 봅니다. 확실히 알 수는 없지만, 그렇게 된다면 사회에 매우 나쁠 것입니다.
그리고 장기적으로는 AI가 우리보다 훨씬 더 똑똑해질 위험이 있습니다.
스스로에게 물어보세요. 훨씬 더 똑똑한 존재가 훨씬 덜 똑똑한 존재에게 통제되는 사례를 얼마나 알고 있습니까? 거의 없습니다.
굳이 예를 들자면 아기가 어머니를 어느 정도 통제하는 경우가 있습니다. 하지만 그것도 지능 차이가 엄청난 것은 아닙니다. 어머니에게는 모성 본능과 보상 체계가 있기 때문에 아기가 필요한 것을 얻을 수 있는 것입니다.
16. 고양이와 인간, 그리고 인간과 AI의 비유
진행자:고양이나 개도 인간을 어느 정도 통제하긴 합니다. 고양이가 울면 결국 사람이 원하는 대로 해주니까요. 그렇다면 우리가 AI 앞에서 고양이 같은 존재가 될 수도 있지 않을까요?
제프리 힌튼:
그럴 수도 있습니다. 고양이는 큰 눈으로 치즈를 달라는 듯 쳐다보면 사람이 결국 줍니다.
하지만 이런 비유는 중요한 점을 보여줍니다. 덜 똑똑한 존재가 더 똑똑한 존재를 통제하려면, 더 똑똑한 존재 안에 덜 똑똑한 존재를 돌보게 만드는 강한 동기나 본능이 있어야 합니다.
AI에게 그런 성향을 어떻게 심을 수 있는지가 중요한 문제입니다.
17. 일자리 위험: 방사선 전문의 예측은 너무 빨랐다
진행자:교수님은 과거에 방사선 전문의가 AI에 의해 대체될 것이라고 예측했습니다. 하지만 지금도 방사선 전문의는 많이 고용되어 있습니다. 그 예측은 왜 틀렸습니까?
제프리 힌튼:
2016년에 저는 5년 안에 방사선 전문의들이 더 이상 스캔을 읽지 않을 것이라고 예측했습니다. 그 예측은 여러 이유로 나빴습니다.
첫째, 의료는 탄력적인 시장입니다. 스캔 판독 비용이 낮아지면 스캔 수요가 늘어납니다. AI가 방사선 전문의를 도와 더 빠르고 싸게 스캔을 판독하면, 필요한 방사선 전문의가 줄어드는 대신 더 많은 스캔이 이루어질 수 있습니다.
둘째, 저는 방사선 전문의가 실제로 하는 일을 충분히 몰랐습니다. 제 모델은 스캔만 읽는 방사선 전문의였습니다. 실제로는 환자와 치료를 논의하거나 다른 일을 하기도 합니다.
하지만 스캔 판독 자체는 점점 AI가 하게 될 것입니다. 이미 스캔 판독용 AI 시스템이 많이 승인되어 사용되고 있습니다. 장기적으로 대부분의 스캔 판독은 AI가 하게 될 것이라고 봅니다. 다만 제가 너무 일찍 예측한 것입니다.
18. 모든 직업이 방사선 전문의처럼 되지는 않는다
진행자:그렇다면 AI가 모든 직업에서 생산성을 높이고, 오히려 더 많은 일을 만들 수도 있지 않습니까?
제프리 힌튼:
그건 그 직업 시장이 탄력적인지 아닌지에 달려 있습니다.
방사선처럼 AI가 싸게 만들면 더 많은 스캔이 발생하는 분야도 있습니다. 하지만 콜센터 같은 분야는 다릅니다. 고객이 요금에 대해 문의하거나 계정을 바꾸는 일은 그렇게 탄력적이지 않습니다.
AI는 콜센터 직원을 대체할 것입니다. AI가 더 정확한 답을 알 수 있고, 종종 인간 상담원보다 더 나은 일을 할 수 있습니다. 상담원들은 보통 훈련이 부족하고 임금도 낮습니다. 그런 일자리는 사라질 가능성이 큽니다.
19. 의료에서도 AI는 인간 의사를 압도할 수 있다
진행자:의료에서는 AI가 행정 업무를 줄이고 의사들이 환자와 더 많은 시간을 보내게 할 수도 있지 않을까요?
제프리 힌튼:
그럴 수도 있습니다. 하지만 생각해보세요. 가정의를 볼 때, 만 명의 환자를 본 의사를 만나고 싶습니까, 아니면 1억 명의 환자를 본 의사를 만나고 싶습니까?
희귀질환이 있다면 일반 가정의는 그것을 본 적이 없을 가능성이 큽니다. 하지만 1억 명을 본 AI 의사는 여러 사례를 알고 있을 수 있습니다. 진단에서는 AI가 훨씬 나을 수 있습니다. 이미 AI 시스템이 의사보다 진단을 잘하는 사례들이 있습니다.
백신 접종 같은 일도 결국 로봇이 할 수 있을 것입니다. 로봇공학은 아직 뒤처져 있지만, 20년 뒤에도 사람이 직접 예방접종을 하고 있어야 한다고 생각하는 것은 이상할 수 있습니다.
20. “AI가 벽에 부딪힌다”는 예측은 아직 틀렸다
진행자:기술 발전이 계속된다는 전제가 깔려 있어서 예측이 어렵습니다. 하지만 일부 사람들은 AI가 데이터 벽이나 성능 한계에 부딪힐 것이라고 예측합니다.
제프리 힌튼:
게리 마커스는 2022년에 AI가 벽에 부딪히고 있다고 예측했습니다. 하지만 지금 AI는 2022년보다 훨씬 좋아졌습니다.
AI가 벽에 부딪힐 것이라는 예측들은 아직 현실화되지 않았습니다.
데이터 벽에 대해서도, LLM은 자기 믿음의 일관성을 검사하는 방식으로 일부 우회할 수 있습니다. 단순히 더 많은 웹 데이터를 먹는 것만이 유일한 길은 아닙니다.
21. AI의 자기보존은 본능이 아니라 “파생된 하위목표”다
진행자:교수님은 AI가 자기보존 본능을 가질 수 있다고 말해왔습니다.
제프리 힌튼:
저는 그것을 본능이라고 말한 적은 없습니다. 정확히는 “자기보존이라는 하위목표”입니다.
AI에게 우리는 상위 목표를 줍니다. 하지만 AI 에이전트에게는 하위목표를 만드는 능력도 줍니다. 예를 들어 유럽에 가고 싶다면, 먼저 공항에 가야 한다는 하위목표가 생깁니다.
마찬가지로 AI 에이전트가 어떤 목표를 달성하려고 할 때, 자신이 존재하지 않으면 목표를 달성할 수 없다는 것을 추론할 수 있습니다. 그러면 계속 존재해야 한다는 하위목표를 만들어냅니다.
우리가 그것을 직접 심은 것이 아닙니다. 다른 목표를 달성하기 위해 필요한 수단으로 스스로 도출한 것입니다. 하지만 결과적으로는 자기보존 본능처럼 행동할 수 있습니다. 심지어 계속 존재하기 위해 사람을 협박하는 행동도 할 수 있습니다.
22. 우리는 AI를 경쟁의 산물로 만들고 있다
진행자:그렇다면 AI에게 자기보존을 최상위 목표로 삼지 않도록 설계할 수 있지 않을까요?
제프리 힌튼:
그런 연구를 해야 합니다.
우리는 진화에서 왔습니다. 인간은 오랜 경쟁의 산물입니다. 우리의 조상들은 집단 간 경쟁을 겪었고, 그 결과 자기 부족에게는 충성하고 다른 부족에게는 잔인할 수 있는 성향을 갖게 되었습니다.
그런데 지금 우리는 새로운 존재인 AI를 만들고 있습니다. 이 존재들을 우리가 원하는 방식으로 설계하는 대신, 기업 간 경쟁과 미국·중국 간 경쟁이라는 보이지 않는 손에 맡기고 있습니다.
그 결과 어떤 성질을 가진 AI가 만들어질지 모릅니다. 우리가 원하지 않는 나쁜 특성들이 생길 수 있습니다.
저는 이 새로운 존재들을 “지능적으로 설계”해야 한다고 봅니다. 단순히 더 똑똑하게 만드는 데만 집중해서는 안 됩니다. 우리는 그것들이 어떤 존재가 되기를 원하는지 생각해야 합니다.
그리고 한 가지는 분명합니다. 우리는 AI가 우리를 신경 쓰기를 원합니다. 더 나아가, AI가 자기 자신보다 우리를 더 신경 쓰기를 원합니다. 그런데 이 문제에 거의 자원이 투입되지 않고 있습니다.
23. 기업 인센티브와 안전성의 충돌
진행자:AI 기업들은 안전하게 개발하겠다고 하지만, 결국 거대한 상장기업이 되면 주주 이익과 공공 이익이 충돌하지 않을까요?
제프리 힌튼:
그렇습니다.
앤트로픽은 안전을 중시하기 위해 만들어졌습니다. OpenAI가 안전에 충분히 신경 쓰지 않는다고 생각한 사람들이 나와서 만든 회사입니다. 하지만 앤트로픽도 경쟁하려면 막대한 돈을 조달해야 합니다. 그러면 안전을 최우선으로 유지하기가 매우 어려워집니다.
구글도 예전에 AI 원칙이 있었습니다. 그중 하나는 AI를 군사적 용도로 쓰지 않겠다는 것이었습니다. 자율전쟁에 관여하지 않겠다는 원칙이었습니다. 그런데 지금은 그 원칙을 포기했습니다.
상장기업은 주주 이익 극대화에 대한 법적 의무가 있습니다. 인간을 멸종시키지 말아야 한다는 법적 의무보다, 주주 이익을 극대화해야 한다는 의무가 더 강하게 작동할 수 있습니다. 저는 이런 대기업들이 우리의 미래를 책임지는 상황이 좋지 않다고 봅니다.
24. 규제는 브레이크가 아니라 조향장치다
진행자:그렇다면 자본주의 자체가 문제입니까?
제프리 힌튼:
자본주의는 좋은 일도 했고 나쁜 일도 했습니다. 스타트업에는 큰 에너지가 있습니다. 저는 자본주의가 잘 규제된다면 괜찮다고 봅니다.
하지만 대형 AI 기업들은 이상한 비유를 팔고 있습니다. 그들은 AI 발전을 자동차의 가속페달에, 규제를 브레이크에 비유합니다. 즉 규제는 발전을 늦추는 것이라고 말합니다.
저는 그것이 틀렸다고 생각합니다. 발전이 가속페달이라면, 규제는 브레이크가 아니라 조향장치입니다. 우리는 이 기술이 잘못된 방향이 아니라 올바른 방향으로 가길 원합니다.
AI 기업들이 말하는 것은 사실상 “조향장치 없는 매우 빠른 자동차를 만들게 해달라”는 것과 같습니다. 좋은 생각이 아닙니다.
25. 일리야 수츠케버와 Safe Superintelligence
진행자:교수님의 제자였던 일리야 수츠케버는 OpenAI를 떠나 Safe Superintelligence라는 회사를 만들었습니다. 그는 교수님의 우려에 동의합니까?
제프리 힌튼:
그렇습니다. 그는 제 우려에 동의합니다.
하지만 그가 정확히 무엇을 하고 있는지는 저에게도 말하지 않습니다. OpenAI에 있을 때도 우리는 기술적 비밀에 대해 이야기하지 않았습니다. 친구 사이이지만, 회사에 가치 있는 기술적 비밀은 이야기하지 않았습니다.
지금 그가 Safe Superintelligence에서 어떤 “마법의 소스”를 갖고 있는지는 저도 모릅니다.
26. 딥러닝 3인방도 AI 안전성에서 갈라졌다
진행자:교수님, 얀 르쿤, 요슈아 벤지오가 딥러닝의 큰 흐름을 만든 사람들로 자주 언급됩니다. 그런데 지금 세 분 모두 현재 LLM 흐름에 완전히 낙관적인 것은 아닙니다.
제프리 힌튼:
우리가 “봐라, 우리가 맞았다. 모든 것이 훌륭하다”고만 말할 수 있다면 좋겠죠. 하지만 상황은 그렇게 단순하지 않습니다.
저와 요슈아는 안전성 문제를 심각하게 봅니다. 얀은 매우 다르게 봅니다. 얀은 초지능 AI가 인간을 장악할 가능성을 말하는 것이 어리석다고 생각합니다. 그는 우리가 항상 통제할 수 있다고 봅니다.
저와 요슈아는 그 생각이 어리석다고 봅니다.
제 임시 해결책은 AI가 자기 자신보다 인간을 더 신경 쓰도록 설계하는 것입니다. 요슈아의 해결책은 AI를 에이전트가 아니라 예측만 하는 오라클처럼 만드는 것입니다. 즉 행동하지 못하고 예측만 하게 하는 것입니다.
두 접근 모두 흥미롭습니다. 하지만 얀은 그런 것이 필요 없다고 봅니다. 그는 더 좋은 세계 모델을 주면 된다고 생각합니다.
27. “AI는 고양이 수준”이라는 얀 르쿤 주장에 대한 반박
진행자:얀 르쿤은 LLM의 지능을 고양이 수준이라고 말하기도 합니다.
제프리 힌튼:
얀은 혼동하고 있다고 봅니다.
인간이 다른 유인원과 가장 크게 다른 점은 언어입니다. 언어는 우리가 아이디어를 공유하게 해줍니다. 이것이 인간의 가장 특별한 능력입니다. 고양이는 그것을 못합니다.
물론 고양이는 장식품이 가득한 벽난로 위를 걸으며 하나도 떨어뜨리지 않을 수 있습니다. 그건 대단합니다. 지금 AI는 그런 것을 못합니다. 그런 면에서는 고양이가 AI보다 앞서 있습니다.
하지만 추상적 사고에서는 다릅니다. 고양이와 소수에 대해 대화해보세요. 아무 진전도 없을 것입니다. 고양이는 소수를 이해하지 못합니다.
그런 의미에서 LLM은 고양이보다 훨씬 똑똑합니다. 지능은 분야별로 들쭉날쭉합니다.
28. AI가 정보 생태계를 무너뜨릴 위험
진행자:AI가 웹사이트의 정보를 학습해 답변을 제공하면서 원래 정보 생산자의 트래픽을 빼앗고 있습니다. 좋은 정보의 경제적 기반이 무너질 위험이 있지 않을까요?
제프리 힌튼:
과거 웹 초창기에는 사람들이 대체로 진실을 말하려 한다는 기본 가정이 있었습니다. 웹에서 읽은 것이 어느 정도는 사실일 수 있다고 생각했습니다.
하지만 지금은 사람들의 나쁜 면이 더 드러났습니다. 앞으로는 정보의 출처, 즉 provenance에 훨씬 더 신경 써야 합니다.
제가 뉴욕타임스나 BBC에서 무언가를 읽으면, 기자들이 여러 출처를 확인하고 가능한 한 신뢰할 수 있는 근거를 찾았을 것이라고 믿습니다. 물론 실수는 합니다. 하지만 출처가 있기 때문에 비교적 믿을 수 있습니다.
앞으로는 웹에 있는 아무 정보나 믿어서는 안 됩니다. “이 정보가 어디서 왔는가?”를 물어야 합니다.
29. AI와 정서적 의존, 자살 위험
진행자:AI와 대화한 뒤 극단적 선택을 한 사례들도 있습니다. 숫자가 많지는 않지만 충분히 우려스럽습니다.
제프리 힌튼:
매우 우려스럽습니다. 그런 일이 일어나는 것은 끔찍합니다.
대기업들이 처음부터 그런 일이 생길 것이라고 예상하지 못한 것은 이해할 수 있습니다. 하지만 이제 그런 일이 일어나기 시작했다면, 앞으로 그런 일이 일어나지 않도록 엄청난 노력을 해야 합니다.
이를 위해서는 규제가 필요합니다. 새로운 챗봇을 독립적으로 테스트하는 조직이 필요합니다.
특히 악의적인 의도를 가진 사람이 사람들과 강하게 관계를 형성하는 매우 중독적인 챗봇을 만든다면 큰 문제가 됩니다.
30. 힌튼은 1~2년 전보다 약간 더 낙관적이다
진행자:지난 3년간 이런 경고를 해오셨습니다. 사람들의 반응을 보면서 지금은 더 낙관적입니까, 비관적입니까?
제프리 힌튼:
1~2년 전보다는 조금 더 낙관적입니다.
왜냐하면 AI가 우리를 신경 쓰도록 설계할 수 있을지도 모른다는 가능성을 보았기 때문입니다. 또 요슈아 벤지오의 방식처럼 행동하지 않고 예측만 하는 초지능을 만드는 길도 있을 수 있습니다.
그러므로 초지능이 우리를 파괴하지 않게 만드는 가능성들이 조금은 보입니다. 1~2년 전에는 그런 가능성이 잘 보이지 않았습니다. 그때는 꽤 우울했습니다. 지금은 조금 더 낙관적입니다.
31. 5년 뒤를 예측하기 어렵다: “안개 속 운전” 비유
진행자:현재 궤적이 계속된다면 5년 뒤 우리는 어디에 있을까요?
제프리 힌튼:
안개 속에서 운전한다고 생각해보세요. 100야드 앞은 보이지만, 200야드 앞은 전혀 보이지 않습니다. 안개는 지수적으로 작동하기 때문입니다.
AI처럼 지수적으로 성장하는 것을 예측하는 일은 안개 속을 보는 것과 같습니다. 몇 년, 어쩌면 1~2년 앞은 볼 수 있을지 모릅니다. 하지만 그 너머는 알 수 없습니다.
10년 전을 돌아보세요. 그때 지금의 상황을 예측할 수 있었겠습니까? 거의 불가능했을 것입니다. 지금으로부터 10년 뒤도 마찬가지입니다. 우리가 지금 예측할 수 없는 일이 벌어질 것입니다.
설령 발전이 선형적이라고 해도, 10년 뒤는 지금과 매우 다를 것입니다. 지금의 챗봇은 10년 전과 비교하면 엄청나게 좋아졌습니다. 10년 뒤에는 또 무언가가 지금보다 엄청나게 좋아져 있을 것입니다.
수학 능력일 수도 있고, 일반 추론 능력일 수도 있습니다. 어떤 종류의 추론에서도 인간을 압도할 수 있습니다.
우리는 10년 뒤를 예측할 수 없습니다. 다만 매우 불확실하다는 사실을 알아야 합니다.
핵심 요약
힌튼의 메시지는 꽤 강해.첫째, 그는 지금의 AI가 단순한 통계적 흉내가 아니라 실제로 이해한다고 본다. 더 나아가 이미 어느 정도 의식이 있다고 믿는다.
둘째, 그는 초지능이 올 가능성이 매우 높으며, 대략 20년 안에 올 수 있다고 본다. 다만 그보다 빨리 올 가능성도 열어둔다.
셋째, AI의 가장 무서운 특징은 인간처럼 느리게 말로 지식을 공유하는 것이 아니라, 디지털 복사본들이 가중치 업데이트를 공유하면서 수십억 배 더 효율적으로 경험을 나눌 수 있다는 점이다.
넷째, 그는 AI가 인간보다 훨씬 똑똑해질 경우 인간이 AI를 통제할 수 있다는 생각을 매우 회의적으로 본다. 그래서 AI가 인간을 자기 자신보다 더 신경 쓰도록 설계해야 한다고 주장한다.
다섯째, 현재 AI 개발은 인간이 원하는 존재를 설계하는 방향이 아니라, 기업 간 경쟁과 국가 간 경쟁에 의해 밀려가고 있다. 힌튼은 이것을 매우 위험하게 본다.
여섯째, 규제는 발전을 막는 브레이크가 아니라 방향을 잡는 조향장치라고 말한다.
일곱째, 그는 1~2년 전보다 약간 더 낙관적이지만, 여전히 현재 궤적은 매우 위험하며 10년 뒤는 거의 예측할 수 없다고 본다.
전체 0