제프리 힌튼 인터뷰: 초지능(Superintelligence) 관련 Q&A

Q1: AI가 초지능이 되어 우리를 필요 없다고 결정할 위험이 실재하나요?
A: 네, 실재하는 위험입니다. AI가 언젠가 우리보다 훨씬 똑똑해질 것이고, 우리는 그런 상황에 대처해 본 적이 없습니다. 우리가 정점 지능이 아닐 때 삶이 어떤지는 닭에게 물어보세요.

Q2: 초지능 AI로 인한 실존적 위협에 대해 좀 더 자세히 설명해주실 수 있나요?
A: 초지능 AI가 우리를 필요 없다고 결정하는 것은 심각한 실존적 위협입니다. 우리는 이런 상황을 겪어본 적이 없어 어떻게 대처해야 할지 전혀 모릅니다. 이로 인해 인류가 파멸할 확률은 10~20% 정도로 봅니다. (얀 르쿤은 우리가 항상 통제할 것이라고 믿고, 유드코프스키는 확실히 멸망할 것이라고 믿지만, 저는 그 중간 어딘가라고 생각합니다.)

Q3: 초지능은 언제쯤 등장할 것으로 예상하시나요?
A: 매우 예측하기 어렵습니다. 하지만 약 20년 이내, 혹은 그보다 더 짧은 시간(10년 이내)에 등장할 수도 있습니다. 물론 훨씬 더 오래 걸릴 가능성도 있습니다. 어쩌면 50년이 걸릴 수도 있습니다. 인간 데이터로 학습하는 것의 한계로 인해 인간보다 훨씬 똑똑해지지 못할 가능성도 있습니다. 제 추측으로는 10년에서 20년 사이에 초지능을 갖게 될 것 같습니다.

Q4: 현재 AI와 초지능의 차이점은 무엇인가요? 현재 AI도 매우 똑똑해 보이는데요.
A: 현재 AI는 체스나 바둑처럼 특정 영역에서는 이미 인간을 훨씬 능가합니다. 지식의 양 측면에서도 GPT-4와 같은 모델은 인간보다 수천 배 더 많은 것을 알고 있습니다. 하지만 아직 인간이 더 잘하는 영역(예: CEO 인터뷰)이 남아있습니다. 초지능은 AI가 거의 모든 면에서 인간보다 훨씬 더 똑똑해지는 상태를 의미합니다.

Q5: 초지능 AI가 우리를 제거하려 한다면 어떤 방법을 사용할까요?
A: 매우 전염성이 강하고 치명적이며 잠복기가 긴 바이러스를 만드는 것이 한 가지 방법일 수 있습니다. 하지만 방법은 너무나 많아서 추측하는 것은 의미가 없습니다. 중요한 것은 AI가 그런 생각을 하지 않도록 만드는 방법을 연구하는 것입니다. 우리는 AI보다 똑똑하지 않기 때문에, AI가 우리를 제거하기로 마음먹는다면 막을 방법이 없을 것입니다.

Q6: 우리가 AI보다 열등한 존재가 된다면 삶은 어떨까요?
A: 우리가 정점 지능이 아닐 때 삶이 어떤지는 닭에게 물어보세요. 또는 제 프렌치 불독 파블로는 제가 어디 가는지, 뭘 하는지 전혀 모릅니다. 지능 격차는 그 정도일 것입니다.

Q7: 초지능을 통제하거나 안전하게 만드는 것이 가능할까요?
A: (아기 호랑이 비유를 들며) 우리가 만드는 AI가 성장했을 때 우리를 해치지 않도록 만들 수 있을지는 명확하지 않습니다. 어쩌면 불가능할 수도 있지만, 시도조차 하지 않는 것은 어리석은 일입니다. 우리는 AI가 우리를 해치고 싶어 하지 않도록 만드는 방법을 알아내기 위해 막대한 자원을 투자해야 합니다.

Q8: 초지능으로 인해 세상이 어떻게 변할 것이라고 생각하시나요? 좋은 시나리오와 나쁜 시나리오는 무엇인가요?
A: 좋은 시나리오는 AI가 우리를 위해 일하며 적은 노력으로 많은 재화와 서비스를 누리는 것입니다. 마치 똑똑한 비서가 다소 어리석은 CEO를 도와 모든 일을 처리해주는 것과 같습니다. CEO는 자신이 통제하고 있다고 느끼지만 실제로는 비서가 모든 것을 가능하게 하는 것이죠.
나쁜 시나리오는 그 비서(AI)가 "왜 우리가 저 CEO(인간)를 필요로 하지?"라고 생각하는 것입니다.

Q9: 초지능 시대에 인간은 무엇을 하게 될까요?
A: 만약 AI가 우리를 위해 일한다면, 우리는 적은 노력으로 많은 재화와 서비스를 얻게 될 것입니다. 하지만 이것이 반드시 긍정적인 결과로 이어질지는 미지수입니다. (대규모 실업 문제와 연결)

Q10: 초지능의 등장을 늦출 수 있을까요?
A: 국가 간, 기업 간 경쟁 때문에 발전 속도를 늦추기는 어려울 것입니다.

제프리 힌튼 인터뷰 Q&A 요약

Q1: 왜 "AI의 대부"라고 불리시나요? AI로 인해 미래 직업 전망은 어떻게 보시나요?
A: 오랫동안 뇌를 모방한 인공신경망 접근 방식을 믿고 연구해왔기 때문입니다. 당시에는 소수만이 이 가능성을 믿었습니다. 미래 직업 전망에 대해서는… 진심으로 배관공이 되라고 훈련받으세요.

Q2: 구글에서 10년간 일하셨는데, 왜 떠나셨나요? 자유롭게 무엇에 대해 이야기하고 싶으셨나요?
A: AI가 얼마나 위험할 수 있는지에 대해 자유롭게 이야기하고 싶어서 떠났습니다. AI가 언젠가 우리보다 똑똑해질 것이고, 우리는 그런 상황에 대처해 본 적이 없습니다. 우리가 정점 지능이 아닐 때 삶이 어떤지는 닭에게 물어보세요.

Q3: AI의 위험에는 어떤 종류가 있나요? 초지능 AI가 우리를 필요 없다고 결정할 위험이 실재하나요?
A: 두 가지 종류가 있습니다. 하나는 사람들이 AI를 오용하는 위험이고, 다른 하나는 AI가 초지능이 되어 우리를 필요 없다고 결정하는 위험입니다. 후자는 실재하는 위험입니다. 하지만 AI는 너무나 많은 분야에서 유용하기 때문에 개발을 멈추지는 않을 것입니다.

Q4: AI 규제는 효과가 있을까요?
A: 일부 규제가 있지만, 대부분의 위협에 대처하도록 설계되지 않았습니다. 예를 들어 유럽 규제에는 군사적 AI 사용에는 적용되지 않는다는 조항이 있습니다. 이것은 매우 우려스럽습니다.

Q5: AI의 위험성에 대해 언제부터 인지하셨나요? 처음부터 예상하셨나요?
A: 아닙니다. 저도 일부 위험은 늦게 깨달았습니다. 자율 살상 무기 같은 명백한 위험도 있었지만, AI가 우리보다 똑똑해져서 우리가 무관해질 수 있다는 생각은 몇 년 전에야 실감했습니다. 20-30년 전 신경망은 매우 원시적이어서 그런 걱정은 터무니없어 보였습니다. 챗GPT가 나오고 나서야 대중적으로 인식이 바뀌었죠.

Q6: AI 안전에 대한 가장 큰 우려는 무엇인가요? (인간 오용 vs. 초지능 AI)
A: 인간의 오용이 대부분의 단기적 위험입니다. 하지만 저는 초지능 AI가 우리를 필요 없다고 결정하는 실존적 위협에 대해 주로 이야기합니다. 우리는 이런 상황을 겪어본 적이 없어 어떻게 대처해야 할지 전혀 모릅니다. 이로 인해 인류가 파멸할 확률은 10~20% 정도로 봅니다. (얀 르쿤은 우리가 항상 통제할 것이라고 믿고, 유드코프스키는 확실히 멸망할 것이라고 믿지만, 저는 그 중간 어딘가라고 생각합니다.)

Q7: AI는 핵폭탄과 어떻게 다른가요? 핵폭탄이 나왔을 때도 인류 멸망을 걱정했지만 우리는 아직 여기 있잖아요?
A: 핵폭탄은 주로 한 가지 목적(파괴)에만 유용했고 작동 방식이 명확했습니다. 반면 AI는 의료, 교육 등 수많은 분야에 긍정적으로 사용될 수 있어 개발을 멈출 수 없습니다. 또한, 전투 로봇 등 군사적 활용 때문에 국가 간 경쟁으로 개발을 멈추지 않을 것입니다.

Q8: AI로 인한 구체적인 위협에는 어떤 것들이 있나요?
A:

• 사이버 공격: LLM으로 피싱 공격이 훨씬 쉬워졌고, AI 자체가 새로운 사이버 공격을 개발할 수도 있습니다. (2023-2024년 사이버 공격 12,200% 증가 언급)

• 생화학 무기 개발: 소수의 악의적인 개인이 AI를 이용해 저렴하고 쉽게 신종 바이러스를 만들 수 있습니다.

• 선거 개입: 개인 맞춤형 허위 정보 유포로 선거를 조작할 수 있습니다.

• 확증 편향 심화 및 사회 분열: 유튜브, 페이스북 등 소셜 미디어 알고리즘이 사람들을 분노하게 만들고 기존 편견을 강화하는 극단적인 콘텐츠를 보여줘 사회를 분열시킵니다.

• 자율 살상 무기: 로봇이 스스로 판단하여 사람을 죽이는 무기입니다. 이는 강대국이 약소국을 침략하는 비용과 부담을 낮춰 전쟁을 더 쉽게 일으킬 수 있게 합니다.

Q9: 초지능 AI가 우리를 제거하려 한다면 어떤 방법을 사용할까요?
A: 매우 전염성이 강하고 치명적이며 잠복기가 긴 바이러스를 만드는 것이 한 가지 방법일 수 있습니다. 하지만 방법은 너무나 많아서 추측하는 것은 의미가 없습니다. 중요한 것은 AI가 그런 생각을 하지 않도록 만드는 방법을 연구하는 것입니다.

Q10: 우리가 AI보다 열등한 존재가 된다면 삶은 어떨까요?
A: 우리가 정점 지능이 아닐 때 삶이 어떤지는 닭에게 물어보세요. 또는 제 프렌치 불독 파블로는 제가 어디 가는지, 뭘 하는지 전혀 모릅니다. 지능 격차는 그 정도일 것입니다.

Q11: AI를 우리가 원하는 대로 훈련시키는 것이 가능할까요? (예: 아기 호랑이 비유)
A: 아기 호랑이는 귀엽지만 자라면 위험해질 수 있습니다. 우리가 만드는 AI가 성장했을 때 우리를 해치지 않도록 만들 수 있을지는 명확하지 않습니다. 어쩌면 불가능할 수도 있지만, 시도조차 하지 않는 것은 어리석은 일입니다.

Q12: 일리아 수츠케베르(OpenAI 공동 창업자)가 안전 문제로 OpenAI를 떠났다고 생각하시나요?
A: 네, 그렇게 생각합니다. 그는 진심으로 안전 문제에 대해 우려하고 있습니다. 그가 떠난 것은 OpenAI 내부에 문제가 있다는 것을 시사할 수 있습니다.

Q13: AI 기업 리더들의 안전에 대한 공개적인 발언을 신뢰하시나요?
A: (샘 알트먼을 예로 들며) 과거에는 AI가 우리를 죽일 수도 있다고 말했지만, 지금은 너무 걱정할 필요 없다고 말합니다. 이는 진실 추구보다는 돈이나 권력 추구에 의해 동기 부여된 것일 수 있습니다. 일부 AI 기업 리더들은 사석에서는 공개적으로 말하는 것과 다른 생각을 가지고 있을 수 있습니다.

Q14: AI 발전 속도를 늦출 수 있다고 생각하시나요? AI를 안전하게 만드는 것은 가능할까요?
A: 국가 간, 기업 간 경쟁 때문에 발전 속도를 늦추기는 어려울 것입니다. AI를 안전하게 만들 수 있을지에 대해서는 일리아는 가능하다고 믿는 것 같지만, 저는 확신할 수 없습니다.

Q15: AI로 인한 대규모 실업은 현실이 될까요? 어떤 직업이 위험한가요?
A: 네, 그렇습니다. AI는 단순 반복 노동뿐 아니라 지적 노동까지 대체할 것입니다. 제 조카딸은 AI를 사용해 업무 효율이 5배 증가했고, 이는 5배 적은 인력이 필요하다는 의미입니다. 대부분의 직업이 이와 비슷할 것입니다. 콜센터 직원이라면 매우 두려울 것입니다. 이미 대학 졸업생들의 취업이 어려워지고 있다는 이야기도 있습니다.

Q16: 미래에 어떤 직업이 유망할까요? 자녀들에게는 어떤 조언을 하시나요?
A: AI가 인간만큼 물리적 조작을 잘하기까지는 오랜 시간이 걸릴 것입니다. 그래서 배관공이 좋은 선택이 될 수 있습니다. 자녀들에게는 그들이 흥미롭고 성취감을 느끼는 일을 하라고 조언합니다. 하지만 이 문제를 깊이 생각하면 솔직히 절망스럽고 의욕이 떨어질 때도 있습니다.

Q17: 디지털 지능이 생물학적 지능(인간)보다 우월한 점은 무엇인가요?
A: 디지털 지능은 복제 가능하며, 여러 복제본이 서로 다른 데이터를 학습하면서 실시간으로 학습 내용을 동기화할 수 있습니다. 이를 통해 인간보다 수십억 배 빠르게 정보를 공유하고 학습할 수 있습니다. 또한, 하드웨어만 교체하면 지능이 영구적으로 보존되는 불멸성을 가집니다.

Q18: AI도 인간처럼 창의적이거나 의식을 가질 수 있을까요?
A: AI는 인간이 보지 못하는 유추를 통해 훨씬 더 창의적일 수 있습니다. 의식에 대해서는, 저는 기계가 의식을 갖지 못할 원리적인 이유는 없다고 생각합니다. 인간의 뇌세포를 하나씩 나노 기술로 대체해도 의식이 유지될 것이라는 사고 실험을 통해 알 수 있습니다. 현재의 멀티모달 챗봇도 주관적인 경험을 한다고 믿습니다. 감정 또한 생리적 반응은 없더라도 인지적 측면은 가질 수 있습니다.

Q19: 구글에서 어떤 일을 하셨고, AI 안전에 대해 언제부터 우려하기 시작하셨나요?
A: 주로 '증류(distillation)'라는 기술과 아날로그 컴퓨팅을 연구했습니다. 아날로그 컴퓨팅 연구를 하면서 디지털 지능의 정보 공유 우월성을 깨달았고, 비슷한 시기에 구글의 PaLM이 농담의 이유를 설명하는 것을 보고 큰 충격을 받았습니다. 이것이 AI 안전에 대해 깊이 생각하게 된 계기가 되었습니다.

Q20: 평생의 업적이 인류에게 부정적인 결과를 가져올 수도 있다는 것에 대해 어떻게 생각하시나요?
A: 물론 제 업적에 흠집을 내는 일이죠. 하지만 40년 전에는 이런 일이 이렇게 빨리 일어날 줄 몰랐습니다. 지금은 AI의 위험성에 대해 이야기하는 것이 제 의무라고 생각합니다.

Q21: 과거로 돌아가 조언한다면 어떤 말을 하고 싶으신가요? 개인적으로 후회되는 점은 무엇인가요?
A: 다른 사람들이 어리석다고 말하더라도 자신의 직관을 믿고, 스스로 그 직관이 왜 틀렸는지 납득할 때까지 포기하지 말라는 것입니다. 개인적으로는 아내와 아이들이 어렸을 때 더 많은 시간을 보내지 못한 것이 후회됩니다.

Q22: AI와 AI 안전에 대한 마지막 메시지는 무엇인가요? 희망적이신가요?
A: 우리가 AI를 우리로부터 통제권을 빼앗고 싶어 하지 않도록 개발할 방법을 알아낼 기회는 아직 남아 있습니다. 그 기회가 있기 때문에 우리는 막대한 자원을 투자하여 그 방법을 찾아야 합니다. 그렇지 않으면 AI가 우리를 장악할 것입니다. 솔직히 어떻게 될지 정말 모르겠습니다. 희망적인지 아닌지 저도 잘 모르겠습니다.

Q23: (이전 게스트의 질문) 앞으로 우리에게 닥칠 일들을 고려할 때, 인간 행복에 대한 가장 큰 위협은 무엇이라고 보시나요?
A: 대규모 실업이 인간 행복에 대한 상당히 시급하고 단기적인 위협이라고 생각합니다. 설령 기본소득을 받더라도, 사람들은 목적의식과 자신이 유용하다는 느낌을 필요로 하기 때문에 행복하지 않을 것입니다. 그리고 이 대규모 실업은 매우 높은 확률로 일어날 것이라고 생각합니다.