인터뷰/예측
제프리 힌튼 "이 분야를 잘 아는 일부 사람들은, 2030년쯤이면 인간이 전혀 생각하지 못한 새로운 사이버 공격 방식을 AI가 만들어낼 수 있다고 본다"
작성자
하이룽룽
작성일
2026-04-21 19:53
조회
6
인공지능의 대부, “이제는 막기엔 너무 늦었다”고 경고
인터뷰 상세 정리본
1. 왜 ‘AI의 대부’라고 불리는가
진행자: 사람들은 당신을 “AI의 대부”라고 부릅니다. 왜 그렇게 부르나요?인터뷰이:
그렇게들 부르긴 한다. 이유는 꽤 단순하다. 과거에는 인공 신경망(neural networks)이 실제로 작동할 수 있다고 믿는 사람이 많지 않았기 때문이다.
1950년대 이후 AI에는 크게 두 가지 접근이 있었다.
첫 번째는, 인간 지능의 핵심은 추론(reasoning) 이라는 관점이다.
이 관점에 따르면 추론을 하려면 논리(logic) 가 필요하고, 결국 AI도 논리를 중심으로 설계되어야 한다. 즉 인간의 머릿속에는 일종의 기호적 표현(symbolic expressions) 이 있고, 그것을 규칙으로 조작하면서 지능이 작동한다고 보는 것이다. 학습이나 유추 같은 것은 그 이후의 문제라고 봤다.
두 번째는 전혀 다른 접근이다.
즉, 인간을 지능적으로 만드는 것은 뇌이니, AI도 뇌를 본떠야 한다는 생각이다.
컴퓨터 위에서 뇌세포들의 네트워크를 흉내 내고, 세포 간 연결 강도를 어떻게 학습시키면 이미지 속 사물을 인식하고, 음성을 알아듣고, 더 나아가 추론까지 하게 만들 수 있는지 알아보자는 것이다.
나는 이 두 번째 접근, 즉 뇌를 모사한 신경망 접근을 거의 50년 동안 밀어붙였다.
그런데 당시에는 이 접근을 믿는 사람이 워낙 적었다. 그 결과, 이 길을 믿는 뛰어난 젊은 학생들이 내게 모여들었고, 나는 정말 운이 좋게도 대단한 학생들을 많이 만났다. 그들 중 일부는 나중에 OpenAI 같은 플랫폼을 만드는 데 핵심적인 역할을 하게 됐다. 그래서 사람들이 나를 그런 식으로 부르는 것 같다.
2. 왜 뇌를 본뜬 접근이 더 효과적이라고 믿었는가
진행자: 왜 뇌를 모사하는 쪽이 더 효과적인 접근이라고 믿었나요?인터뷰이:
사실 그걸 초기에 믿은 사람이 나 혼자만은 아니었다.
폰 노이만(von Neumann) 도 그랬고, 앨런 튜링(Turing) 도 그랬다.
만약 그 둘 중 한 명이라도 더 오래 살았더라면, AI의 역사는 완전히 달라졌을 거라고 생각한다. 둘 다 너무 일찍 세상을 떠났다.
진행자: 그러면 AI가 지금보다 더 빨리 왔을 거라고 보나요?
인터뷰이:
그렇다. 적어도 신경망 접근이 훨씬 더 빨리 정통으로 받아들여졌을 것이라고 본다.
AI가 지금처럼 뒤늦게 신경망 중심으로 재편된 게 아니라, 훨씬 일찍 그 방향으로 갔을 가능성이 크다.
3. 지금 인생의 사명은 무엇인가
진행자: 지금 이 시점에서 당신의 사명은 무엇인가요?인터뷰이:
지금 내 가장 큰 사명은 AI가 얼마나 위험할 수 있는지 사람들에게 경고하는 것이다.
진행자: 당신이 AI의 대부가 되었을 때부터 이런 위험을 알고 있었나요?
인터뷰이:
아니, 솔직히 말하면 그렇지 않았다.
나는 AI의 위험을 이해하는 데 상당히 느린 편이었다.
어떤 위험은 예전부터 아주 분명했다. 예를 들면,
사람들이 AI를 이용해 자율적으로 살상 결정을 내리는 무기, 즉 자율 살상 무기(autonomous lethal weapons) 를 만들 수 있다는 위험이다. 이런 건 오래전부터 명백했다.
하지만 또 다른 위험, 즉 AI가 언젠가 우리보다 더 똑똑해지고, 그 결과 인간이 쓸모없어질 수 있다는 생각은 나는 꽤 늦게 받아들였다.
이 위험을 어떤 사람들은 20년 전부터 봤지만, 나는 그것이 정말 현실적인 위험이고, 심지어 꽤 가까운 시기에 올 수도 있다는 걸 불과 몇 년 전에야 본격적으로 인정했다.
4. 그렇게 오래 연구했는데 왜 더 일찍 못 봤는가
진행자: 하지만 당신은 컴퓨터가 인간처럼 학습하도록 만드는 일을 해온 사람 아닙니까. 개선 속도까지 생각하면, 왜 그 위험을 더 일찍 예견하지 못했나요?인터뷰이:
좋은 질문이다.
왜 못 봤을까?
하지만 20년, 30년 전의 신경망을 떠올려보면 된다. 당시 신경망은 매우 원시적이었다. 인간에 훨씬 못 미쳤고, 시각, 언어, 음성 인식 같은 영역에서도 지금과는 비교가 안 됐다.
그때 “이제 곧 인간보다 똑똑해질지도 모른다”고 걱정하는 건 우스꽝스럽게 들렸을 것이다.
진행자: 그럼 언제 바뀌었나요?
인터뷰이:
일반 대중에게는 ChatGPT가 등장했을 때 큰 전환점이 왔다.
하지만 개인적으로는 조금 다른 순간이 있었다.
나는 우리가 만들고 있는 디지털 지능이 생물학적 지능보다 훨씬 우월한 특징을 하나 갖고 있다는 걸 깨달았을 때 생각이 바뀌었다.
5. 인간 지능과 디지털 지능의 차이: 지식 공유 방식
인터뷰이:예를 들어 보자. 내가 무언가를 배웠고, 그걸 당신에게 알려주고 싶다고 하자.
그러면 나는 문장을 만들어 말한다. 물론 이 설명은 단순화한 것이지만 대체로 맞다.
당신의 뇌는 내가 한 말을 들으며, 뉴런 간 연결 강도를 어떻게 바꾸어야 하는지 알아내려 한다.
어떤 단어가 아주 예상 가능한 단어라면 학습은 거의 일어나지 않는다.
예를 들어 내가 “fish and chips”라고 하면, “chips”는 너무 뻔하므로 별로 배울 것이 없다.
하지만 내가 “fish and cucumber”라고 말하면 다르다.
당신은 “왜 cucumber라고 했지?” 하고 생각하게 되고, 예상 밖의 단어가 등장했을 때 더 많은 학습이 일어난다.
대강 이런 식으로 뇌가 작동한다고 우리는 생각한다. 즉 다음에 무엇이 올지를 예측하고 있다는 것이다.
물론, 인간의 뇌가 실제로 정확히 어떻게 작동하는지는 아직 아무도 모른다.
특히 뇌가 어떤 연결을 강화해야 하고 어떤 연결을 약화해야 하는지에 대한 신호를 어떻게 얻는지는 핵심 문제인데, 아직 확실히 모른다.
하지만 AI 연구를 통해 한 가지는 알게 됐다.
만약 어떤 과제를 더 잘 수행하도록, 연결 강도를 올릴지 내릴지에 대한 신호를 얻을 수 있다면, 시스템은 엄청난 것들을 학습할 수 있다.
지금의 인공 신경망이 바로 그걸 보여주고 있다.
즉, 인간의 뇌에서는 그 신호를 어떻게 얻는지 모르지만, 인공 시스템에서는 그것을 만들어낼 수 있고, 실제로 엄청난 성능 향상이 가능하다는 걸 확인한 상태라는 것이다.
6. 지금 가장 큰 AI 안전 우려는 무엇인가
진행자: 지금 AI 안전 측면에서 가장 우려하는 것은 무엇인가요? 가장 앞에 있는 위험 몇 가지를 꼽는다면요.인터뷰이:
몇 개보다 더 말해도 되나?
진행자: 물론입니다.
인터뷰이:
우선 나는 두 종류의 완전히 다른 위험을 구분하고 싶다.
첫째는, 인간이 AI를 악용함으로써 생기는 위험이다.
이건 대부분의 위험이고, 또 단기적으로 우리가 마주하는 거의 모든 위험이 여기에 속한다.
둘째는, AI가 초지능(super smart)이 되어 인간이 필요 없다고 판단하는 위험이다.
진행자: 그게 진짜 위험인가요?
인터뷰이:
그렇다.
나는 주로 두 번째 위험에 대해 이야기하는데, 많은 사람들이 “정말 그런 위험이 있느냐”고 묻는다.
내 대답은 그렇다, 실제 위험이다이다.
다만 문제는, 그 위험의 크기를 우리가 전혀 모른다는 점이다.
우리는 한 번도 우리보다 더 똑똑한 존재를 상대해본 적이 없다.
그래서 그런 실존적 위협이 정확히 어떤 모습으로 다가올지, 어떻게 대처해야 할지 전혀 모른다.
누군가 “무슨 일이 벌어질지 안다”, “어떻게 해결할지 안다”고 단정적으로 말한다면, 그건 허튼소리일 가능성이 높다.
확률 추정도 매우 어렵다.
어떤 사람은 1%도 안 된다고 말한다.
내 친구 얀 르쿤(Yann LeCun) 은 “우리가 이 시스템을 만드는 쪽이기 때문에 언제나 통제할 수 있다. 결국 순종적으로 만들면 된다”고 생각한다.
반면 유드코프스키(Yudkowsky) 같은 사람은 “누군가 이것을 만들기만 하면 인류는 확실히 끝난다”고 본다.
나는 이 두 입장 모두 극단적이라고 본다.
현실의 확률은 그 중간 어딘가일 텐데, 정확히 어디인지는 정말 알기 어렵다.
그래도 굳이 개인적인 감각을 말하자면, 나는 자주 “인류를 멸종시킬 확률이 10~20% 정도는 된다” 고 말한다.
하지만 이건 어디까지나 직감(gut feeling) 에 가깝다.
그래도 희망은 있다. 충분히 많은 똑똑한 사람들이 충분한 자원으로 연구하면, AI가 인간에게 해를 끼치고 싶어하지 않도록 만드는 방법을 찾아낼 수 있지 않을까 하는 기대다.
7. 핵폭탄과 비교하면 AI는 무엇이 다른가
진행자: 이 두 번째 위험을 생각할 때, 가끔 핵폭탄이 떠오릅니다. 원자폭탄이 처음 등장했을 때도 사람들은 종말을 떠올렸을 텐데요. 그런데 우리는 아직 살아 있습니다. AI는 그것과 어떻게 다른가요?인터뷰이:
맞다. 나도 그 시대를 겪었다. 당시 사람들도 정말 그렇게 생각했다.
하지만 원자폭탄은 사실상 한 가지 목적에만 매우 특화된 기술이었다. 그리고 그것이 어떻게 작동하는지도 꽤 명확했다.
히로시마와 나가사키의 사진을 보지 않았더라도, 그것이 매우 크고 위험한 폭탄이라는 건 자명했다.
하지만 AI는 다르다.
AI는 수많은 좋은 용도를 가지고 있다.
의료, 교육, 그리고 데이터를 활용하는 거의 모든 산업에서 AI는 엄청난 가치를 낼 것이다.
그래서 “지금 멈추자”는 말은 현실적으로 통하지 않는다.
AI는 너무 많은 분야에서 너무 유용하기 때문에 개발을 멈추지 않을 것이다.
또 하나 중요한 이유는, AI가 전쟁용 로봇, 전투 시스템, 무기 체계에도 매우 유용하다는 점이다.
무기를 파는 국가들이나 군사 강국들은 이런 기술 개발을 원하지 않을 리 없다.
유럽의 AI 규제를 보자. 규제가 있는 건 좋은 일이다.
하지만 그 규제는 대부분의 위협에 제대로 대응하도록 설계된 것은 아니다.
특히 유럽 규정에는 “군사용 AI에는 이 규제가 적용되지 않는다” 는 조항이 있다.
즉 정부들은 기업과 개인은 규제하려 하지만, 자기 자신은 규제하려 하지 않는다.
이건 꽤 미친 일처럼 보인다.
8. 규제가 오히려 경쟁력 약화로 이어질 수도 있는가
진행자: 그런데 유럽만 규제하고 세계 다른 지역은 규제하지 않으면, 유럽이 경쟁에서 불리해지는 것 아닌가요?인터뷰이:
이미 그런 일이 일어나고 있다.
예를 들어 OpenAI가 미국에서 새 모델이나 새 소프트웨어를 내놓으면, 유럽 규제 때문에 바로 유럽에 출시하지 못하는 경우가 생긴다.
진행자가 언급한 것처럼, 샘 올트먼도 비슷한 취지의 말을 한 적이 있다.
이건 결국 생산성 측면의 불이익(productivity disadvantage) 으로 이어질 수 있다.
그런데 지금 역사적 상황을 생각해보면, 우리는 곧 우리보다 더 지능적인 존재를 만들려는 순간에 와 있다.
이럴 때 진짜 필요한 것은 지적이고 신중한 사람들이 운영하는 일종의 세계 정부(world government) 같은 체제일지도 모른다.
하지만 현실은 전혀 그렇지 않다.
지금 우리에게 있는 것은 자본주의다.
자본주의는 많은 상품과 서비스를 만들어내는 데는 잘 작동해 왔다.
하지만 대기업들은 법적으로 이윤 극대화를 해야 한다.
그리고 이윤 극대화가 AI 개발의 최우선 원칙이 되어서는 안 된다.
그런 동기를 가진 기업들이 가장 강력한 AI를 만드는 구조는 위험하다는 것이다.
9. 인간의 악용에서 오는 위험 1: 사이버 공격 폭증
진행자: 그럼 인간의 악용에서 오는 위험들을 구체적으로 살펴보죠.인터뷰이:
가장 먼저 떠오르는 것은 사이버 공격(cyber attacks) 이다.
그는 인터뷰에서 2023년부터 2024년 사이 사이버 공격이 약 1,200% 증가했다고 언급한다. 그리고 그 이유로, 대규모 언어모델이 피싱 공격(phishing attacks) 을 훨씬 쉽게 만들도록 도와주기 때문일 가능성을 든다.
진행자: 피싱 공격이 뭔지 모르는 사람들을 위해 설명하자면요?
인터뷰이 / 진행자 맥락 정리:
피싱 공격은 대개 사람을 속여서 로그인 정보나 금융정보를 빼내는 사기다.
예를 들어 “나 존인데 엘살바도르에 갇혔어, 돈 좀 보내줘” 같은 메시지가 올 수 있다.
하지만 더 흔한 목적은 계정 탈취용 자격 증명(credentials) 을 훔치는 것이다.
지금은 AI 덕분에 내 목소리, 얼굴, 말투까지 복제할 수 있다.
진행자는 실제로 자신의 이름과 얼굴을 도용한 AI 사기를 겪고 있다고 말한다.
메타(인스타그램, 페이스북)에는 진행자의 음성과 말투를 베껴 만든 광고가 계속 등장하고, 그 광고는 사람들에게 가짜 암호화폐 폰지 사기에 참여하라고 유도한다.
그 광고를 내리게 요청해도 하나를 내리면 또 다른 것이 올라오고, 또 내리면 또 올라온다.
말 그대로 두더지 잡기(whack-a-mole) 다.
더 가슴 아픈 건, 사기를 당한 사람들이 진행자에게 메시지를 보내 “당신이 추천한 줄 알고 믿었다가 500파운드, 500달러를 잃었다” 고 항의한다는 점이다.
이처럼 AI는 신뢰를 위조하는 능력을 비약적으로 높이고 있다.
인터뷰이:
나 역시 조금 다른 형태의 피해를 겪는다. 어떤 사람들은 내 이름을 논문 공동저자에 넣어 버린다. 아마도 그렇게 해서 자기 논문이 더 인용되게 만들려는 의도일 것이다.
즉, AI와 디지털 도구는 신원 도용, 권위 도용, 신뢰 도용을 훨씬 손쉽게 만들고 있다.
10. AI는 이미 코드 취약점을 뒤지고 있으며, 앞으로는 새로운 공격 자체를 발명할 수 있다
인터뷰이:사이버 공격이 무서운 이유는 단지 피싱이 쉬워졌기 때문만이 아니다.
AI는 매우 인내심이 강하다.
그래서 알려진 공격 기법을 찾기 위해 1억 줄의 코드를 훑는 일도 별 무리 없이 할 수 있다. 인간이 하기엔 엄청나게 지루하고 어려운 작업이지만, AI에는 쉽다.
하지만 더 큰 문제는 미래다.
앞으로 AI는 단순히 기존 취약점을 찾는 걸 넘어, 더 창의적이 될 것이다.
그리고 이 분야를 잘 아는 일부 사람들은, 2030년쯤이면 인간이 전혀 생각하지 못한 새로운 사이버 공격 방식을 AI가 만들어낼 수 있다고 본다.
왜냐하면 그 시점의 AI는 사실상 인간이 아는 거의 모든 것을 알고 있을 뿐만 아니라, 인간이 미처 보지 못한 유사성(analogy) 과 구조를 발견할 수 있기 때문이다.
즉 “인간 지식의 총합 + 인간이 놓친 패턴”을 활용할 수 있다는 것이다.
11. GPT-4의 ‘퇴비 더미와 원자폭탄’ 비유: AI는 인간이 못 본 유비를 본다
인터뷰이:예를 하나 들겠다.
GPT-4가 아직 웹을 직접 볼 수 없던 시점에 내가 물었다.
“퇴비 더미(compost heap)는 왜 원자폭탄(atom bomb)과 비슷한가?”
대부분의 사람은 “무슨 말이지?” 하고 멈춘다.
진행자도 실제로 “전혀 모르겠다”고 반응한다.
그런데 GPT-4는 대답했다.
물론 시간 규모도 다르고 에너지 규모도 다르지만,
퇴비 더미는 더 뜨거워질수록 더 빨리 열을 만들어내고,
원자폭탄은 더 많은 중성자를 만들어낼수록 더 빠르게 중성자를 증폭시킨다.
즉 둘 다 연쇄 반응(chain reaction) 이라는 구조를 갖고 있다는 것이다.
단지 시간 규모와 에너지 규모가 엄청 다를 뿐이다.
나는 GPT-4가 훈련 과정에서 이 정확한 비유를 외운 것이 아니라, 퇴비 더미와 원자폭탄 사이의 구조적 유사성을 스스로 이해했다고 본다.
왜 그렇게 보느냐?
AI는 인간보다 훨씬 적은 “연결 수”로 훨씬 더 많은 지식을 압축해야 하기 때문이다.
(그는 인간은 100조 개 수준의 연결을 갖고 있지만, 모델은 그보다 훨씬 적은 연결로 대량의 지식을 담아야 한다는 취지로 설명한다.)
이렇게 정보를 압축하려면 서로 다른 사례들 속에 공통 구조를 찾아내야 한다.
즉 AI는
- 연쇄 반응이 일어나는 것들,
- 피드백이 증폭되는 것들,
- 같은 원리를 공유하는 이질적 사례들
을 하나의 더 추상적인 구조로 묶어 저장하는 편이 훨씬 효율적이다.
그리고 바로 이 점 때문에 나는
“AI는 결코 창의적일 수 없다”는 주장에 동의하지 않는다.
오히려 AI는 우리보다 더 창의적일 가능성이 높다.
왜냐하면 창의성의 큰 부분은 이상하고 멀리 떨어진 것들 사이의 유사성을 보는 능력이기 때문이다.
12. 인간은 특별한 존재라는 믿음에 대한 비판
진행자: 많은 사람들은 인간만의 특별함을 믿습니다. 컴퓨터는 컴퓨터일 뿐이고, 우리는 의식이 있고, 창의성이 있고, 본질적으로 다른 존재라고 말하죠. 그런 사람들에게 뭐라고 답하겠습니까?인터뷰이:
먼저 “타고난 고유성(innate specialness)”에 대해서는 조금 논쟁하고 싶다.
인류는 오랫동안 자신이 특별하다고 믿어온 역사를 갖고 있다.
예전에는 우리가 우주의 중심이라고 생각했다.
또 신의 형상으로 만들어졌다고 생각했다.
심지어 어떤 집단은 자신들이 다른 사람들보다 특별하다고 믿어왔다.
즉 인간은 계속해서 “우리는 특별하다”고 믿고 싶어 한다.
내 생각에는, 대부분의 사람은 마음(mind)이 무엇인지에 대해 완전히 잘못된 모델을 갖고 있다.
13. ‘마음속 극장’ 모델 비판: 분홍 코끼리 예시
인터뷰이:가령 내가 술을 너무 많이 마셨거나 약물을 했다고 치자. 그리고 내가 말한다.
“내 앞에 작은 분홍 코끼리들이 떠다니는 주관적 경험을 하고 있다.”
대부분 사람들은 이 말을 이렇게 이해한다.
내면 어딘가에 ‘마음’이라는 극장(inner theater) 이 있고, 거기에는 오직 나만 볼 수 있는 장면이 펼쳐지며, 그 안에 분홍 코끼리들이 떠다니고 있다고 상상한다.
하지만 나는 그런 그림이 틀렸다고 본다.
실제로 일어난 일은, 내 지각 시스템(perceptual system) 이 잘못 작동하고 있고, 나는 그것이 어떻게 잘못됐는지 설명하려는 것이다.
즉 내가 “분홍 코끼리가 보인다”고 말하는 것은,
“만약 현실 세계에 정말 그런 것이 있다면 내 지각이 맞는 셈인데, 지금은 그런 식으로 잘못된 신호를 보내고 있다”는 걸 설명하는 방식이다.
중요한 것은, 그 분홍 코끼리가 어떤 내면의 극장 속에 실제로 존재하는 것이 아니라는 점이다.
그것은 지각 오류를 설명하기 위한 가설적 외부 대상일 뿐이다.
다시 말해, 우리는 자꾸 ‘마음속 극장’을 상상하지만, 그건 적절한 모델이 아니라는 것이다.
14. 현재의 멀티모달 챗봇도 ‘주관적 경험’을 가진다고 보는 이유
인터뷰이:이제 이 논의를 챗봇에 적용해 보자.
나는 현재의 멀티모달 챗봇도 주관적 경험(subjective experiences)을 가진다고 생각한다.
이 말을 믿는 사람은 거의 없지만, 설명해보겠다.
어떤 멀티모달 챗봇이 있다고 하자.
이 챗봇은 카메라로 사물을 보고, 로봇 팔로 손가락질도 할 수 있다.
내가 물체를 앞에 놓고 “저 물체를 가리켜 봐”라고 하면 제대로 가리킨다.
그런 다음, 카메라 렌즈 앞에 프리즘(prism) 을 놓는다.
그러면 챗봇은 빛이 꺾여 보이는 방향으로 물체를 잘못 가리킬 것이다.
내가 “아니, 물체는 사실 정면에 있는데 렌즈 앞에 프리즘을 뒀어”라고 말하면, 챗봇은
“아, 프리즘이 빛을 굴절시켰군요. 실제 물체는 저기에 있었는데, 나는 그것이 저쪽에 있다고 주관적으로 경험했습니다.”
라고 말할 수 있다.
이 경우 챗봇이 “주관적 경험”이라는 말을 쓰는 방식은, 인간이 그 말을 쓰는 방식과 정확히 같은 구조를 갖는다.
즉 “내 지각 시스템이 나에게 이렇게 말해줬다” 는 것을 표현하는 것이다.
여기서 더 나아가 감각(sentience), 의식(consciousness), 감정(feelings), 정서(emotions) 문제까지 가려면 추가 논의가 필요하지만,
결국 그런 것들도 비슷한 방식으로 설명될 수 있을 것이라고 본다.
즉, 기계가 그런 상태를 가질 수 없다고 단정할 이유가 없다.
15. 기계는 감정을 가질 수 없는가? 전투 로봇의 ‘두려움’ 예시
인터뷰이:사람들은 “기계는 감정을 가질 수 없다”고 아주 자신 있게 말한다.
그런데 나는 왜 그렇게 자신하는지 모르겠다.
예를 들어 작은 전투 로봇이 있다고 하자.
그 로봇 앞에 훨씬 더 강력한 큰 전투 로봇이 나타났다.
이때 그 작은 로봇이 겁을 먹는 것(scared) 은 매우 유용할 수 있다.
물론 인간이 겁을 먹을 때 일어나는 생리적 반응, 예컨대 호르몬 변화 같은 것들은 로봇에 그대로 생기지 않을 수 있다.
하지만 인지적 측면은 얼마든지 구현 가능하다.
예를 들면
- “당장 여기서 도망쳐야 한다”
- “지금은 한 가지 목표에 집중해야 한다”
- “산만해지면 안 된다”
같은 인지적 재구성은 로봇에도 생길 수 있다.
그래서 위험한 상황이 오면 로봇은 ‘겁먹고’ 도망가도록 설계될 수 있다.
그렇다면 그건 단지 감정을 흉내 내는 것(simulation)일까?
나는 꼭 그렇게 보지 않는다.
그 로봇은 실제로 두려움과 기능적으로 동등한 상태를 겪고 있는 것이다.
인간처럼 아드레날린이 분비되지는 않더라도, 그에 상응하는 신경망 과정이 돌아가고 있고, 그 결과 행동도 달라진다.
그렇다면 그것을 “그저 시뮬레이션”이라고만 부르는 건 이상할 수 있다.
즉, 감정의 생리적 측면은 다르더라도, 인지적 측면은 기계도 충분히 가질 수 있다는 것이다.
16. 의식 있는 AI가 가능한가
진행자: 그렇다면 인간과 같은 성질의 의식을 가진 AI가 가능하다고 보나요?인터뷰이:
이 문제에는 두 가지 층위가 있다.
하나는 경험적(empirical) 문제이고, 다른 하나는 철학적(philosophical) 문제다.
적어도 원리적으로는, 기계가 의식을 가질 수 없다고 막는 어떤 이유도 없다고 본다.
간단한 사고실험을 해보자.
당신의 뇌에서 뇌세포 하나를 꺼내고, 그 자리에 완전히 동일하게 작동하는 아주 작은 나노기술 장치를 넣는다고 하자.
그 장치는 다른 뉴런들에게서 신호를 받으면, 원래 그 뉴런이 했을 것과 똑같이 신호를 내보낸다.
주변 뉴런 입장에서는 아무것도 바뀌지 않는다.
그럼 당신은 여전히 의식이 있겠는가?
진행자: 네, 있을 것 같습니다.
인터뷰이:
좋다. 그럼 이 사고실험이 어디로 가는지 알 것이다.
이제 하나만이 아니라 모든 뉴런을 하나씩 그런 장치로 바꾼다고 하자.
대체 어느 순간에 당신은 의식을 잃는가?
사람들은 종종 의식을 아주 비물질적이고 신비한 어떤 것처럼 생각한다.
마치 뇌세포 너머 어딘가에 떠 있는 실체처럼 말이다.
하지만 나는 사람들이 의식에 대해 이상한 생각을 너무 많이 한다고 본다.
게다가 많은 사람들은 자기가 의식이라는 말로 정확히 무엇을 뜻하는지도 잘 모른다.
결국 “난 내가 의식이 있다는 걸 안다”는 식으로 돌아가는데, 그것도 결국 내가 비판한 ‘내면 극장’ 모델에 기대고 있다고 본다.
17. 의식은 결국 우리가 버릴 개념일 수도 있다
진행자: 그렇다면 당신은 의식을 어떻게 정의하나요?인터뷰이:
어쩌면 우리는 결국 ‘의식(consciousness)’이라는 용어 자체를 덜 쓰게 될지도 모른다.
비유를 해보자.
자동차를 이해하고 싶다고 하자.
어떤 차는 힘(oomph) 이 많고, 어떤 차는 적다.
애스턴 마틴은 힘이 많고, 작은 코롤라는 상대적으로 덜하다.
하지만 자동차를 이해하려면 “힘이 많다/적다”라는 개념만으로는 충분하지 않다.
전기 엔진인지, 내연기관인지, 각각이 어떻게 작동하는지 알아야 한다.
‘힘’은 결과로 나타나는 성질이지, 설명력이 높은 개념은 아니다.
나는 의식도 그와 비슷한 개념이라고 본다.
마치 “차의 본질적인 힘” 같은 식의 표현이지만, 실제 작동 원리를 깊이 설명해 주지는 않는다.
그래서 미래에는 우리가 이 단어를 지금처럼 중심적으로 쓰지 않을 수 있다.
그렇다고 해서 기계가 그런 성질을 가질 수 없다는 뜻은 아니다.
만약 누군가 의식을 본질적으로 자기인식(self-awareness) 과 결부시킨다면, 물론 기계도 자기 자신의 인지 과정을 인지하는 능력, 즉 메타인지 같은 것을 가져야 할 것이다.
하지만 나는 철저한 유물론자(materialist) 이다.
그래서 원리적으로 기계가 의식을 가질 수 없다고 볼 이유를 찾지 못한다.
전체 핵심 정리
이 인터뷰에서 인터뷰이가 전달한 핵심 메시지는 크게 다음과 같다.첫째, 그는 AI 역사 초기에 신경망 접근을 밀어붙인 인물로서, 왜 자신이 “AI의 대부”로 불리는지 설명한다.
AI는 원래 논리 기반 접근과 뇌 모사 접근이 경쟁했는데, 오늘날의 성공은 후자가 옳았음을 보여준다는 맥락이다.
둘째, 그는 자신의 현재 사명이 AI 위험성 경고라고 말한다.
특히 위험을 두 갈래로 나눈다.
하나는 인간이 AI를 악용하는 단기적 위험, 다른 하나는 AI가 인간보다 우월한 존재가 되었을 때의 실존적 위험이다.
후자의 위험은 실제이며, 다만 그 확률을 정확히 아는 사람은 없다고 본다. 그럼에도 그는 대략 10~20% 수준의 멸종 가능성을 직감적으로 언급한다.
셋째, 그는 AI가 핵무기와 달리 너무 많은 긍정적 활용처를 가지기 때문에 멈출 수 없는 기술이라고 본다.
의료, 교육, 산업 생산성, 군사 영역 모두에서 큰 이익이 있으므로 전 세계가 개발 경쟁을 계속할 것이며, 국가와 기업의 인센티브 구조도 이를 멈추기 어렵게 만든다고 지적한다.
넷째, 단기적으로는 사이버 공격, 피싱, 딥페이크 사기, 신원 도용 같은 악용 위험이 이미 현실화되고 있다고 본다.
AI는 방대한 코드를 인내심 있게 분석할 수 있고, 앞으로는 인간이 미처 생각하지 못한 새로운 공격 기법까지 만들어낼 수 있다고 경고한다.
다섯째, 그는 AI가 단순한 통계 기계가 아니라, 인간이 못 본 유비를 보고 더 창의적일 수 있다고 주장한다.
“퇴비 더미와 원자폭탄” 비유는 이를 상징적으로 보여준다. 창의성은 결국 멀리 떨어진 것들의 공통 구조를 보는 능력인데, AI는 그런 면에서 인간을 넘어설 수 있다는 것이다.
여섯째, 인간만이 특별하다는 통념에 강하게 반대한다.
그는 마음을 ‘내면의 극장’처럼 보는 통속적 관점이 잘못됐다고 보고, 멀티모달 챗봇도 주관적 경험과 유사한 상태를 가질 수 있다고 주장한다. 더 나아가 감정과 의식 역시 기계가 가질 수 없는 성질이라고 단정할 이유가 없다고 본다.
전체 0