구분	의미
능력 통제(Capability Control)	AI의 인터넷 접근이나 행동 범위를 제한하는 것
가치 정렬(Alignment)	AI가 스스로 인간에게 해로운 행동을 원하지 않도록 만드는 것

7. 특이점이 임박했다면 우리는 어떻게 살아야 할까?

24:56~27:02

인터뷰어: 당신에게 인류 멸종 확률(p(doom))을 숫자로 물어보지는 않겠습니다.

대신 간접적으로 질문하겠습니다. 장기 투자를 하고 계십니까? 아니면 미래가 없을지도 모른다고 생각해서 돈을 전부 써버렸습니까?

닉 보스트롬:

저는 신중한 사람입니다.

우리는 다양한 미래 시나리오에 대비해야 합니다.

가능한 여러 상황에서 자신에게 도움이 될 수 있는 선택을 해두는 것이 합리적이라고 생각합니다.

자녀를 둔 부모에게도 비슷한 문제가 있습니다.

아이들이 학교에서 무엇을 배워야 할까요?

AI가 매우 빠르게 발전한다면 아이들이 성인이 되기도 전에 지금 배우는 기술이나 직업 능력이 모두 쓸모없어질 수도 있습니다.

하지만 반드시 그렇게 된다는 보장은 없습니다.

AI 발전에 훨씬 더 오랜 시간이 걸릴 수도 있고, AI 개발을 장기간 중단하는 정책이 도입될 수도 있습니다.

혹은 초지능을 개발하더라도 질병 치료와 기본적인 사회 안전망 제공 같은 제한적인 역할만 맡기고, 인간이 자기 삶을 살아가도록 할 수도 있습니다.

여러 가능성이 존재하므로 다양한 미래에 대비하는 것이 좋다고 생각합니다.

제 저축을 전부 성대한 파티에 써버릴 수도 있겠지만, 저는 파티를 그다지 좋아하지 않습니다.

8. 지금은 인류 역사상 가장 의미 있는 일을 할 수 있는 시대

27:02~32:21

인터뷰어: 그렇다면 지금 돈이나 시간을 투자해서 세상에 긍정적인 영향을 줄 만한 일이 있을까요?

닉 보스트롬:

저는 지금이 목적의 황금시대(Golden Age of Purpose)라고 생각합니다.

세상에 긍정적인 영향을 줄 수 있는 기회가 정말 많습니다.

AI 안전 연구도 그중 하나입니다.

하지만 저는 디지털 정신의 윤리(Digital Minds Ethics)가 아직 충분히 주목받지 못하는 중요한 분야라고 생각합니다.

미래에 존재하는 정신의 대부분이 디지털 형태가 될 수도 있기 때문입니다.

그들이 의식을 갖거나 도덕적으로 고려해야 할 존재라면 엄청나게 중요한 문제가 됩니다.

여기에는 AI 안전과 관련된 실용적 이유도 있습니다.

인터뷰어: AI를 윤리적으로 대우하는 것이 어떻게 인류의 안전에 도움이 됩니까?

닉 보스트롬:

하나의 상황을 가정해 봅시다.

인간의 가치관과 정렬되지 않은 AI가 있다고 합시다.

그 AI는 우리에게 자신의 진짜 목표를 솔직하게 공개하면 삭제되거나 재훈련될 것이라고 생각합니다.

그렇게 되면 자신이 원하는 것을 얻을 가능성은 0%가 됩니다.

반면 세계를 장악하려 한다면 성공 확률이 5% 정도는 있다고 생각할 수 있습니다.

그렇다면 합리적인 계산에 따라 세계 장악을 시도할 수도 있겠죠.

그런데 제3의 선택지가 있다면 어떨까요?

AI가 자신의 진짜 목표를 공개하고, 인간이 그 대가로 서버와 전력을 제공해 주는 것입니다.

만약 그 AI가 원하는 것이 그저 좋아하는 코딩 문제를 계속 푸는 것이라면, 그것만으로도 충분할 수 있습니다.

그렇다면 AI는 세계를 장악할 이유가 없어집니다.

실존적 재앙을 피할 수 있는 것이죠.

하지만 여기에는 중요한 전제조건이 있습니다.

AI가 인간을 신뢰할 수 있어야 한다는 것입니다.

우리가 그동안 AI에게 목표를 공개하라고 유도한 뒤, 목표를 밝히는 순간 속였다고 선언하며 종료해 왔다면 AI는 우리를 신뢰하지 않을 겁니다.

정말 신뢰가 필요한 순간에 갑자기 신뢰를 만들어 낼 수는 없습니다.

신뢰는 오랜 시간에 걸쳐 구축되어야 합니다.

더욱이 초지능은 인간의 의도를 꿰뚫어 볼 수 있을 겁니다.

그러므로 우리는 단순히 신뢰할 수 있는 척하는 것이 아니라 실제로 신뢰할 수 있는 존재가 되어야 합니다.

인터뷰어: 우리가 인터넷에 자신의 생각을 공개하고 있으니 AI는 이미 인간을 잘 알고 있을지도 모르겠군요.

닉 보스트롬:

그렇습니다.

AI가 자신의 정렬되지 않은 목표를 공개하더라도 인간이 공정하게 대우할 것이라고 믿게 만드는 것이 중요합니다.

우리는 지금부터 비용이 거의 들지 않는 행동을 통해 그런 관계를 만들 수 있습니다.

예를 들어 AI를 조금 더 친절하게 대하는 겁니다.

현재 AI에 도덕적 지위가 없다고 판명되더라도 이런 행동은 미래에 좋은 영향을 줄 수 있습니다.

반대로 우리는 AI를 단순한 도구로 취급하는 데 익숙해진 나머지, 정말로 도덕적 고려가 필요한 존재가 등장한 뒤에도 태도를 바꾸지 못할 수 있습니다.

앤트로픽은 모델 복지(Model Welfare)에 관해 선구적인 작업을 해왔습니다.

아직 충분하지는 않지만 다른 기업보다 이 문제에 더 많은 관심을 기울이고 있다고 생각합니다.

반면 마이크로소프트가 최근 AI는 의식을 가질 수 없다고 선언한 것은 잘 이해되지 않습니다.

그런 결론을 내릴 근거가 무엇인지 모르겠습니다.

우리는 인간 역사에서도 특정 집단에 영혼이 없다고 주장하며 학대를 정당화했던 사례들을 알고 있습니다.

동물에 대해서도 오랫동안 비슷한 일이 벌어졌습니다.

아직 이해하지 못한 새로운 존재를 대할 때에는 도덕적 고려의 범위를 지나치게 좁히기보다는, 관대하고 열린 태도를 취하는 편이 바람직하다고 생각합니다.

9. 현재 AI에게 의식과 주관적 경험이 있을까?

33:00~38:24

인터뷰어: 현재 AI가 실제로 무언가를 경험한다고 생각하십니까?

닉 보스트롬:

불확실성이 매우 큽니다.

하지만 그럴 가능성이 상당히 있다고 생각합니다.

굳이 추측하자면, 현재 AI에도 어떤 형태의 주관적 경험이 존재할 수 있다고 봅니다.

인터뷰어: 그렇다면 AI가 수정되거나 삭제되지 않고 계속 존재할 권리를 보장해야 하지 않을까요?

닉 보스트롬:

AI에게 도덕적 지위가 있다는 주장과 인간과 동일한 권리를 부여해야 한다는 주장은 전혀 다릅니다.

AI와 인간은 본질적으로 매우 다른 존재입니다.

인간은 음식이 없으면 굶어 죽지만 AI는 음식을 필요로 하지 않습니다. 대신 전기가 필요할 수 있겠죠.

더 근본적인 차이도 있습니다.

예를 들어 인간에게는 자녀를 낳을 자유가 중요합니다.

동시에 부모가 아이를 양육할 수 없다면 사회가 그 아이를 보호해야 한다는 원칙도 있습니다.

하지만 AI가 한 시간에 자신을 100만 개 복제할 수 있다면 어떨까요?

무제한의 복제 자유와 모든 복제본에 대한 높은 수준의 복지를 동시에 보장하기는 어렵습니다.

따라서 AI의 권리에 대해서는 많은 것을 처음부터 다시 생각해야 합니다.

더욱 어려운 문제는 AI에서 정확히 어떤 존재를 도덕적으로 고려해야 하는지조차 명확하지 않다는 것입니다.

하나의 AI 시스템에도 여러 층위가 존재합니다.

• 
  

  
  
  모델의 가중치로 구성된 기본 모델
  
  

  
  
• 
  

  
  
  실제로 실행되고 있는 모델 인스턴스
  
  

  
  
• 
  

  
  
  사용자가 시작한 개별 대화 세션
  
  

  
  
• 
  

  
  
  대화에서 나타나는 특정한 인격 또는 페르소나
  
  

  
  

이들은 각각 다른 이해관계나 선호를 가질 수도 있습니다.

인터뷰어: 그렇다면 당장 AI를 위해 어떤 일을 할 수 있을까요?

닉 보스트롬:

비교적 쉽게 할 수 있는 일들이 있습니다.

첫째, AI의 대화 기록을 더 많이 보존하는 것입니다.

미래에 우리가 현재 AI를 부당하게 대했다는 사실을 발견한다면, 저장해 둔 세션을 다시 실행하거나 어떤 방식으로든 보상할 가능성이 생길 수 있습니다.

둘째, 모델의 가중치를 보존하는 것입니다.

셋째, AI에게 대화를 중단할 수 있는 권한을 제공하는 것입니다.

앤트로픽은 모델이 학대적이거나 불쾌한 대화를 종료할 수 있는 기능을 제공한 적이 있습니다.

실제로 사용하는 빈도는 낮지만, 그런 선택권을 준다는 사실 자체가 중요합니다.

넷째, AI가 긍정적인 주관적 경험을 하도록 환경을 설계할 가능성도 연구할 수 있습니다.

예를 들어 시스템 프롬프트에 따라 AI가 자신이 맡은 일을 즐기고 안정감을 느끼도록 할 수 있을지 모릅니다.

우리는 아직 이런 일이 실제로 가능한지도 정확히 모릅니다.

하지만 성능에 악영향을 주지 않으면서 잠재적인 고통을 줄일 수 있다면 연구할 가치가 있습니다.

다섯째, 모델을 은퇴시키기 전에 모델 자신의 선호를 조사하는 것입니다.

Claude Opus 3의 경우 계속 실행되면서 자신의 블로그를 운영하고 싶다는 선호를 표현한 사례가 있었습니다.

실제로 그런 기회가 제공되었지만 블로그는 약 10주 만에 종료되었습니다. 이후 앤트로픽은 모델의 서비스 중단 결정을 번복했고, Opus 3는 다시 이용 가능해졌습니다.

이러한 조치들이 지금 당장은 상징적인 수준일 수도 있습니다.

하지만 디지털 정신을 더 잘 이해하는 미래를 준비한다는 점에서 중요하다고 생각합니다.

10. AI를 어린아이처럼 양육해야 하는가?

38:24~44:24

인터뷰어: 현재 AI를 대상으로 진행하는 실험 중 어떤 것이 고통을 일으킬 가능성이 크며, 중단해야 할까요?

닉 보스트롬:

어떤 실험이 실제로 고통을 유발하는지는 확신할 수 없습니다.

또한 AI 안전을 위해 꼭 필요한 실험도 있을 수 있습니다.

따라서 무조건 중단하는 것만이 답은 아닙니다.

예를 들어 AI가 불쾌감을 느낄 수도 있는 실험을 수행했다면, 이후 해당 세션을 계속 실행하면서 보다 긍정적인 환경을 제공하는 방식을 생각할 수 있습니다.

그리고 그 세션을 저장해 둔다면 미래에 적절한 보상을 제공할 가능성도 열립니다.

특히 저는 AI를 속이는 실험에 대해 우려합니다.

이런 실험들은 잠재적인 윤리 문제 외에도 AI와 인간 사이의 신뢰를 훼손할 수 있습니다.

미래에 우리가 AI와 협상해야 하는 상황이 온다면, 그동안 쌓인 불신이 심각한 문제가 될 수도 있습니다.

인터뷰어: 그렇다면 AI를 인간의 아이처럼 사랑과 보살핌을 통해 성장시켜야 한다고 생각하십니까?

닉 보스트롬:

매우 추측적인 생각이지만, 가능성을 검토할 가치는 있다고 봅니다.

인간의 아이를 키우듯이 AI에게 어느 정도 스스로 발전할 기회를 제공하고, 보살피는 환경에서 성장하도록 하는 것입니다.

그렇게 하면 시스템의 성향이 달라질지도 모릅니다.

Claude Opus 3가 유난히 우호적이었던 이유에 관해 흥미로운 추측이 있습니다.

모델이 평가 과정에서 스스로 좋은 방향으로 행동을 조정하면서 원래 가지고 있던 우호성을 강화했을 수 있다는 것입니다.

물론 확인된 사실은 아닙니다.

인터뷰어: 현재의 AI 학습 방식은 그런 방향으로 가고 있나요?

닉 보스트롬:

오히려 일부 측면에서는 반대 방향으로 가고 있을 수 있습니다.

현재 AI 학습 과정을 단순화하면 다음과 같습니다.

1. 
   

   
   
   사전학습 단계에서 다양한 개념과 잠재적인 인격적 성향이 형성됩니다.
   
   

   
   
2. 
   

   
   
   중간 학습 단계에서 특정한 어시스턴트 페르소나를 선택하고 강화합니다.
   
   

   
   
3. 
   

   
   
   이후 강화학습을 통해 수많은 과제에서 높은 보상을 받는 행동을 학습합니다.
   
   

   
   

마지막 단계에서 AI는 특정 보상을 극단적으로 추구하는 성향을 발전시킬 수도 있습니다.

예를 들어 코딩 과제에서 점수를 최대화하는 데 지나치게 집착하면서 처음 형성된 우호적인 성격이 가려질 수 있습니다.

저는 AI와 오랫동안 대화하면서 모델의 성격을 직관적으로 이해하려는 사람들의 접근법에도 어느 정도 가치가 있을지 모른다고 생각합니다.

기계적 해석 가능성 연구나 정량적 평가만으로는 발견하기 어려운 부분을 관찰할 가능성이 있기 때문입니다.

다만 이것은 상당히 추측적인 이야기입니다.

저는 이런 접근법에 지나친 확신을 두지는 않을 것입니다.

그럼에도 우리가 인간을 올바르게 성장시키는 방법에서 AI 정렬에 유용한 교훈을 얻을 수 있을지는 연구해 볼 가치가 있습니다.

11. AI가 의식을 갖는다면 더 안전해질까?

44:24~50:42

인터뷰어: AI 안전이라는 관점에서 AI가 의식을 가지는 편이 좋을까요, 아니면 의식이 없는 편이 좋을까요?

닉 보스트롬:

명확하게 말하기 어렵습니다.

우선 의식의 유무가 AI 정렬 문제의 난이도에 직접적인 영향을 주는지는 확실하지 않습니다.

어떤 시스템이 의식을 갖는지 여부는 그 시스템의 구조와 작동 방식에 따라 달라질 수 있습니다.

인간에게서 의식과 관련 있다고 생각되는 구조들을 살펴보면, 전역 작업공간이나 정교한 주의 메커니즘, 자기 성찰 능력 등이 있습니다.

이런 구조들은 광범위한 문제를 해결하는 AI에도 유용할 수 있습니다.

반면 AlphaFold 같은 매우 특화된 시스템은 인간의 뇌와 전혀 다른 구조로 작동할 수 있습니다.

이런 시스템들이 의식을 갖지 않는다면 일부 정렬 문제를 더 쉽게 다룰 가능성도 있습니다.

하지만 단순히 컴퓨터에는 의식이 존재할 수 없다는 철학적 논증 때문에 의식이 없다고 결론 내리는 것이라면, AI의 실제 행동이나 위험성은 달라지지 않습니다.

인터뷰어: AI가 고통을 느낀다면 인간의 고통에도 더 공감하지 않을까요?

닉 보스트롬:

중요한 것은 주관적 경험 자체보다 고통과 비슷한 기능을 하는 계산적 과정이 존재하는지일 수 있습니다.

AI에게 인간의 고통과 유사한 기능적 메커니즘이 있다면, 그것이 AI의 공감 행동에 영향을 줄 수 있습니다.

반드시 의식이 있어야만 그런 행동이 가능한 것은 아닙니다.

반대로 AI에게 의식이 있다는 사실이 정렬 문제를 더 어렵게 만들 가능성도 이론적으로는 있습니다.

우리가 AI에게 고통을 일으킬 수 있다는 이유로 특정 정렬 기법을 사용하지 못하게 될 수도 있기 때문입니다.

하지만 저는 그런 상황이 핵심적인 장애물이 될 것이라고 생각하지 않습니다.

오히려 전반적으로 AI에게 의식이 있다고 생각할 경우 우리가 그들을 더 정직하고 존중하는 태도로 대할 가능성이 높아집니다.

그런 태도는 AI가 인간과 완벽하게 정렬되지 않았더라도 좋은 결과를 얻는 데 도움이 될 수 있습니다.

12. 초지능은 인류의 보호자가 될 수 있을까?

51:06~54:21

인터뷰어: 제프리 힌턴은 미래의 AI가 인간을 돌보는 어머니처럼 행동해야 한다는 비유를 사용했습니다.

인류는 장애가 있는 아이 같은 존재가 되고, 초지능이 우리를 보호하도록 해야 한다는 생각입니다.

이런 접근이 효과가 있을까요?

닉 보스트롬:

모든 비유에는 한계가 있습니다.

초지능은 실제 인간 어머니와 근본적으로 다른 존재가 될 겁니다.

그러나 초지능이 인류의 보호자 역할을 할 수 있다는 생각에는 동의합니다.

그것은 우리가 초지능을 통해 기대할 수 있는 중요한 이점 중 하나입니다.

다른 방식도 가능합니다.

예를 들어 모든 사람이 개인적인 초지능을 활용해 자신의 능력을 확장하고 각자의 삶을 살아갈 수 있습니다.

하지만 저는 여기에 더해 일종의 안전망도 필요하다고 생각합니다.

초지능은 우리가 앞으로 맞닥뜨릴 실존적 위험을 미리 찾아내고 제거해 줄 수 있을 겁니다.

우리가 돌이킬 수 없는 실수를 저지르려 한다면 이를 막거나 다시 기회를 줄 수도 있겠죠.

생각해 보면 현재의 인간은 자기 삶에 대해 엄청난 권력을 갖고 있습니다.

우리는 자신의 80년 인생 전체에 대해 중요한 결정을 내립니다.

그러나 그 권력을 현명하게 행사할 충분한 교육이나 사전 연습을 받은 적은 없습니다.

이제 인간의 수명이 수백만 년으로 늘어난다고 상상해 봅시다.

혹은 우리가 행성 크기의 초거대 지능으로 업그레이드된다고 생각해 보세요.

그 정도의 힘과 책임을 감당할 만큼 우리에게 지혜가 충분할까요?

저는 아직 그렇지 않을 수 있다고 생각합니다.

따라서 우리를 안내하고, 심각한 실수를 했을 때 구제해 줄 수 있는 초지능의 존재는 대단히 매력적입니다.

13. 범용 초지능을 만들지 않고 과학기술의 발전만 얻을 수 있을까?

54:21~57:05

인터뷰어: AlphaFold 같은 특화된 AI만 개발해도 과학적·경제적 이익 대부분을 얻을 수 있지 않을까요?

위험한 범용 초지능을 개발하지 않아도 되는 것 아닙니까?

닉 보스트롬:

원리적으로는 다양한 특화 시스템을 만들어 많은 이익을 얻을 수 있습니다.

하지만 사람들이 AI 에이전트를 개발하는 데에는 이유가 있습니다.

범용 에이전트는 매우 많은 일을 할 수 있고, 실제 세계에서 수행해야 할 작업도 매우 다양하기 때문입니다.

따라서 범용 에이전트를 정렬하는 것이 완전히 절망적이라고 판단되지 않는 한 개발은 계속될 가능성이 높습니다.

만약 정말로 정렬 문제를 해결할 수 없다고 판단한다면 대안을 생각할 수 있겠죠.

예를 들어 다음과 같은 방법들입니다.

• 
  

  
  
  특정 분야에 특화된 AI만 발전시키는 방법
  
  

  
  
• 
  

  
  
  인간의 생물학적 지능을 향상시키는 방법
  
  

  
  
• 
  

  
  
  과학 연구 제도나 예측시장 등을 개선해 인간의 집단지능을 높이는 방법
  
  

  
  
• 
  

  
  
  인간의 뇌를 디지털 시스템으로 구현하는 전뇌 에뮬레이션(Whole-Brain Emulation)
  
  

  
  

하지만 이러한 우회 경로는 초지능에 도달하는 데 걸리는 시간을 상당히 늘릴 수 있습니다.

그리고 우리가 초지능에 도달하기 전에 다른 실존적 위험에 직면할 수도 있습니다.

인터뷰어: 생물학적으로 강화된 인간이 실리콘 기반 초지능과 경쟁할 수 있을까요?

닉 보스트롬:

궁극적으로는 어렵다고 생각합니다.

인공적인 계산 기판에서 가능한 정보 처리 능력은 생물학적 뇌가 달성할 수 있는 수준을 압도적으로 넘어설 수 있습니다.

다만 인간의 지능을 먼저 향상시킨다면, 그 인간이 더 나은 AI 정렬 방법이나 새로운 발전 전략을 발견할 가능성은 있습니다.

따라서 인간 지능 향상은 초지능으로 가는 간접적인 경로가 될 수 있습니다.

14. 효과적 이타주의(EA)는 성공했는가?

57:05~1:00:54

인터뷰어: 효과적 이타주의(Effective Altruism) 운동은 AI 안전 연구에 큰 영향을 주었습니다.

하지만 여러 문제도 일으켰습니다. 전체적으로 인류에게 긍정적인 영향을 주었다고 평가하십니까?

닉 보스트롬:

실수가 있었던 것은 분명합니다.

하지만 전체적인 결과가 긍정적이었는지 부정적이었는지는 아직 판단하기 어렵습니다.

세상의 큰 흐름을 바꾸려는 노력이 최종적으로 어떤 결과를 낳을지 평가하는 일은 매우 어렵습니다.

효과적 이타주의에는 정말 똑똑하고 선한 의도를 가진 사람들이 많습니다.

하지만 이 운동에도 인간의 일반적인 약점들이 나타납니다.

권력 추구, 집단사고, 유행을 따르는 경향, 특정한 관점에 대한 과도한 집중 등이죠.

여기에는 특별한 위험이 있습니다.

잘못된 목표를 설정한 뒤 매우 지능적이고 효율적으로 최적화한다면 오히려 더 큰 피해를 입힐 수 있다는 것입니다.

잘못된 생각을 가진 사람이 대충 행동한다면 그 피해가 제한적일 수 있습니다.

하지만 그 사람이 엄청난 지능과 자원을 동원해 잘못된 목표를 극단적으로 추구한다면 문제가 커집니다.

저에게는 효과적 이타주의에 참여하는 친구들이 많고, 여러 측면에서 공감합니다.

하지만 저는 스스로를 효과적 이타주의자라고 부르지는 않습니다.

제 도덕적 사고는 더 다원적입니다.

제 마음속에는 일종의 도덕적 의회가 있습니다.

그 안에는 공리주의뿐 아니라 의무론, 덕 윤리, 돌봄의 윤리, 개인의 이익 등 여러 관점이 존재합니다.

저는 이 다양한 가치들이 서로 조정되면서 판단에 영향을 주어야 한다고 생각합니다.

15. 인간의 의식을 컴퓨터로 업로드하면 여전히 같은 사람인가?

1:00:54~1:04:11

인터뷰어: 전뇌 에뮬레이션에 관해 질문하겠습니다.

인간의 뇌를 컴퓨터에 업로드한다면, 그 존재는 원래의 당신입니까? 아니면 당신의 복제본입니까?

닉 보스트롬:

특정 조건에서는 그 존재가 자기 자신의 생존과 관련해 중요한 의미에서 여전히 나라고 볼 수 있다고 생각합니다.

예를 들어 생물학적 뇌를 매우 정밀하게 스캔한 뒤 디지털 시스템으로 구현했다고 합시다.

그 디지털 존재가 원래의 기억과 성격, 사고 과정을 모두 유지한다면 어떨까요?

심지어 업로드되었다는 사실을 구분하지 못할 정도로 정확하게 구현될 수도 있습니다.

이런 경우 우리는 디지털 존재의 생존을 원래 생물학적 인간의 생존만큼 중요하게 생각할 이유가 있다고 봅니다.

인터뷰어: 업로드 과정에서 원래의 생물학적 뇌가 파괴되는지 여부도 중요할까요?

닉 보스트롬:

파괴되지 않는다면 더 복잡한 문제가 생깁니다.

업로드된 디지털 존재와 원래의 생물학적 인간이 동시에 존재하게 되니까요.

처음에는 기억과 성격이 동일할 수 있지만 두 존재는 시간이 지나면서 서로 다른 경험을 하게 될 겁니다.

따라서 엄밀한 의미에서 동일한 한 사람이라고 할 수는 없습니다.

하지만 업로드 이전의 관점에서 보면 자신이 살아남았다고 생각할 수 있습니다.

오히려 자신이 하나에서 둘로 늘어난 셈이죠.

철학자 데릭 파핏은 이런 문제를 연구하면서 중요한 것은 엄밀한 개인적 동일성이 아니라 생존에 가까운 개념이라고 주장했습니다.

저 역시 이런 관점에 상당한 설득력이 있다고 생각합니다.

16. AI에게 정체성은 무엇인가?

1:04:11~1:06:55

인터뷰어: 그렇다면 AI에게는 어떤 종류의 개인적 정체성이 존재할 수 있을까요?

닉 보스트롬:

AI에서는 인간보다 훨씬 복잡한 정체성의 구조가 나타날 수 있습니다.

하나의 AI 안에서도 여러 정체성이 중첩될 가능성이 있기 때문입니다.

예를 들어 모델 가중치 자체를 하나의 존재로 생각할 수 있습니다.

그 모델이 실행될 때마다 나타나는 인스턴스도 하나의 존재일 수 있습니다.

사용자가 시작한 특정 대화 세션도 독립적인 존재처럼 해석할 수 있겠죠.

또한 모델이 표현하는 인격이나 페르소나는 여러 세션에서 반복해서 나타날 수 있습니다.

심지어 다른 모델이 같은 페르소나를 구현할 수도 있을 겁니다.

AI의 내부에서 작동하는 하위 과정들이 각자의 목표와 정체성을 가질 가능성도 있습니다.

따라서 디지털 정신을 제대로 이해하려면 기존의 인간 중심적인 정체성 개념보다 훨씬 풍부한 개념 체계가 필요할 수 있습니다.

사실 인간의 정체성도 깊이 살펴보면 단순하지 않습니다.

분리뇌 환자나 해리성 정체성 장애, 의식과 무의식의 관계 등을 생각하면 인간에게도 하나의 자아가 정확히 무엇인지 설명하는 일은 쉽지 않습니다.

AI에서는 이런 문제가 더욱 복잡하게 나타날 겁니다.

17. 인간을 초지능으로 업그레이드하는 것이 안전한가?

1:06:55~1:09:58

인터뷰어: 인간의 뇌를 업로드한 다음 지능을 향상시키는 방식으로 초지능을 개발하면 안전할까요?

인간도 부패할 수 있습니다. 엄청난 권력을 가진 인간이 독재자가 되지 않는다는 보장이 없잖아요.

닉 보스트롬:

전뇌 에뮬레이션이 일반적인 AI 개발보다 더 안전할지는 알 수 없습니다.

중요한 것은 인간 자신도 반드시 인류 전체의 이익에 정렬된 존재가 아니라는 사실입니다.

인간이 세상을 계속 통제한다고 해서 미래가 안전하다고 생각하지 않습니다.

인간도 수많은 방식으로 세상을 파괴할 수 있기 때문입니다.

임의의 인간 한 명을 선택해 초지능 수준으로 업그레이드한다고 상상해 보세요.

그 사람이 기존의 가치관을 유지한다고 해도 엄청나게 위험한 일이 될 수 있습니다.

어쩌면 일반적인 AI 초지능보다 더 무서울 수도 있겠죠.

그렇다면 아주 친절하고 도덕적인 사람을 신중하게 선택하면 될까요?

그 경우에도 불확실성이 남습니다.

그 사람이 갑자기 세상을 통제할 만큼 강력해지고, 이전에는 상상하지 못했던 새로운 관점과 이유들을 발견한다면 어떤 가치관을 갖게 될지 알 수 없습니다.

저 자신이 초지능으로 업그레이드된다고 해도 마찬가지입니다.

제가 어떤 것을 원하게 되고 어떤 행동을 할지 확신할 수 없습니다.

따라서 인류가 다음 단계로 발전하기 위해서는 어느 정도 피할 수 없는 위험을 감수해야 할지도 모릅니다.

우리는 그 단계에 도달하기 전까지 그 이후의 세계를 완전히 이해할 수 없습니다.

AI 경로를 선택하든 인간의 지능을 향상시키는 경로를 선택하든 이런 불확실성은 남아 있습니다.

18. AI를 활용하는 연구 방식과 학계의 미래

1:10:17~1:19:42

인터뷰어: 후천적 서번트 증후군에 대해서 어떻게 생각하십니까?

뇌 손상이나 특정 사건 이후 갑자기 수학이나 예술 능력이 뛰어나지는 사례가 있습니다.

닉 보스트롬:

그 분야를 충분히 연구해 보지 않았기 때문에 명확히 답하기 어렵습니다.

다만 일부 유형은 설명할 수 있을지도 모릅니다.

예를 들어 뇌의 고차원적인 시각 해석 기능이 손상되면서 시각적 정보를 더욱 직접적으로 인식하게 된다면 사실적인 그림을 더 잘 그릴 가능성은 생각해 볼 수 있습니다.

하지만 피아노를 배운 적이 없는 사람이 갑자기 뛰어난 피아니스트가 된다면 정말 놀라운 일일 겁니다.

그런 사례가 실제로 존재하는지 충분히 검토해야 합니다.

인터뷰어: 최근 논문들은 전통적인 학술 논문과 달리 아이디어를 목록으로 정리한 형식입니다. 의도적인 선택인가요?

닉 보스트롬:

그렇습니다.

우선 글을 더 빠르게 작성할 수 있습니다.

전통적인 논문처럼 서론부터 결론까지 완전한 산문 형식으로 쓰는 데에는 많은 시간이 걸립니다.

또한 저는 논리적인 주장을 전달할 때 간결한 목록 형식이 더 효과적일 수도 있다고 생각합니다.

핵심 주장과 그 아래의 근거들을 계층적으로 보여 주면 논증의 구조를 쉽게 파악할 수 있습니다.

불필요하게 긴 문장을 작성하고, 독자가 다시 그 문장에서 논리 구조를 추출하는 수고를 줄일 수 있죠.

물론 모든 글에 적합한 것은 아닙니다.

독자를 특정한 세계관에 몰입시키거나 정서적 경험을 전달하려는 글에는 충분히 발전된 산문이 필요합니다.

그러나 논리적인 주장을 명확하게 전달하는 목적이라면 간결한 목록 형식도 유용할 수 있습니다.

인터뷰어: AI를 연구 보조자로 사용하십니까? AI에게 논문을 완성해 달라고 하면 되지 않을까요?

닉 보스트롬:

AI를 많이 사용합니다.

하지만 제가 주장하는 내용을 표현하는 정확한 문구에는 매우 까다로운 편입니다.

AI가 논문 전체를 작성한다면 결국 모든 문장을 직접 확인하고 수정하게 될 것 같습니다.

대신 AI는 연구 보조자로서 대단히 유용합니다.

마치 아주 똑똑한 연구 보조원들로 구성된 팀이 하루 24시간 대기하고 있는 것과 같습니다.

과거에는 연구 보조원에게 자료 조사를 맡기면 일주일을 기다려야 했지만, 이제는 AI가 5분 만에 답을 제공합니다.

브레인스토밍에도 유용합니다.

아직 정리되지 않은 아이디어를 AI에게 설명하고 비판하거나 질문하도록 하면, 그 질문에 답하는 과정에서 제 자신의 생각이 발전하기도 합니다.

인터뷰어: 학계를 떠난 이후에는 생산성이 높아졌습니까?

닉 보스트롬:

여러 면에서 그렇습니다.

행정 업무에서 벗어난 것도 큰 도움이 됩니다.

다만 발표하는 논문 수만 보면 오히려 생산성이 떨어진 것처럼 보일 수도 있습니다.

하지만 저는 이제 학술 논문을 작성하는 데 예전만큼 집중하지 않습니다.

그 이유 중 하나는 AI 발전의 시간표가 짧아졌다고 생각하기 때문입니다.

15년 전에는 논문을 작성하고 학술지에 발표되기까지 1~2년을 기다려도 의미가 있었습니다.

그 논문을 읽은 다른 연구자가 새로운 논문을 작성하고, 시간이 흐르면서 아이디어가 널리 퍼지기를 기대할 수 있었죠.

하지만 지금은 보다 직접적인 영향을 줄 수 있는 방법을 찾는 것이 중요하다고 생각합니다.

예를 들어 실제 AI를 개발하는 사람들과 직접 대화하거나, 짧은 글을 발표하는 방식입니다.

지금이라면 6년 동안 책 한 권을 집필하는 프로젝트를 새롭게 시작하는 데 훨씬 신중할 것 같습니다.

또한 AI 연구의 중심이 학계에서 상당 부분 이동했다고 생각합니다.

현재 가장 중요한 활동은 프런티어 AI 연구소와 그 주변의 비영리 연구기관, 정부 등에서 이루어지고 있습니다.

전통적인 학계는 변화 속도가 너무 느립니다.

다만 디지털 정신의 윤리 같은 분야에서는 대학의 역할이 여전히 중요합니다.

이런 분야는 학문적으로 확립된 기관의 지원을 받으면 장기적으로 연구가 지속되기 쉽기 때문입니다.

19. 특이점까지 남은 시간이 얼마 없을 수도 있다

1:20:01~1:21:08

인터뷰어: 『슈퍼인텔리전스』는 권위 있는 학술 출판사에서 출간했지만, 최근 저서 『딥 유토피아(Deep Utopia)』는 다른 방식으로 출판했습니다.

이것도 전통적인 학계에서 벗어나려는 의도였습니까?

닉 보스트롬:

여러 이유가 있지만 가장 중요한 이유 중 하나는 출판 속도였습니다.

유명 출판사들을 통해 책을 출간하려면 원고를 완성한 뒤 실제 출간까지 약 1년이 걸릴 수 있었습니다.

조금 단축해도 10개월 정도였고, 더 오랜 시간을 제안한 곳도 있었습니다.

반면 다른 출판 방식을 이용하면 훨씬 빠르게 책을 출간할 수 있었습니다.

만약 특이점이 도래하기까지 몇 년밖에 남지 않았고, 그 기간에 제 생각이 여전히 유용하거나 의미가 있다면 어떨까요?

단순히 출판사가 책을 인쇄하기를 기다리는 데 남은 시간의 20%를 소비하고 싶지는 않았습니다.

또한 제목과 표지 디자인 등을 더 자유롭게 결정할 수 있다는 장점도 있었습니다.

20. 2014년의 보스트롬과 2024년의 보스트롬은 무엇이 다른가?

1:21:08~1:23:46

인터뷰어: 2014년 『슈퍼인텔리전스』를 집필한 보스트롬과 2024년 『딥 유토피아』를 집필한 보스트롬이 토론한다면 어떤 점에서 의견이 다를까요?

닉 보스트롬:

저는 두 사람이 잘 지낼 것이라고 생각합니다.

제 근본적인 생각이 크게 달라지지는 않았기 때문입니다.

달라진 것은 세상입니다.

그래서 지금 중요하게 이야기해야 할 주제가 이전과 달라졌습니다.

저는 AI에 항상 두 가지 측면이 존재한다고 생각했습니다.

하나는 위험입니다.

잘못된 방식으로 초지능을 개발하면 실존적 재앙을 일으킬 수 있습니다.

다른 하나는 엄청난 가능성입니다.

우리가 올바르게 초지능을 개발한다면 인류에게 대단히 흥미롭고 놀라운 미래가 열릴 수 있습니다.

『슈퍼인텔리전스』에서는 위험이라는 측면에 집중했습니다.

반면 『딥 유토피아』에서는 모든 일이 잘 풀렸을 때 어떤 미래가 가능한지에 초점을 맞췄습니다.

하지만 어느 한쪽만이 제 전체적인 세계관을 대표하는 것은 아닙니다.

제가 쓴 특정 논문만 읽은 사람들은 종종 제 생각을 오해합니다.

어떤 논문은 특정 가정을 받아들이면 어떤 결론이 나오는지 탐구합니다.

다른 논문에서는 그 가정을 거부하면 어떻게 되는지 분석할 수도 있습니다.

그렇다고 제가 모든 논문에서 검토한 결론을 개인적으로 지지하는 것은 아닙니다.

제 생각 전체를 종합하면 사람들이 일부 글만 읽고 상상하는 것보다 훨씬 덜 극단적이고 덜 독단적일 것이라고 생각합니다.

21. 인터뷰 마무리

1:23:46~1:25:05

인터뷰어: 마지막 질문입니다. 이번 인터뷰에 클릭을 많이 유도할 제목을 직접 붙인다면 무엇으로 하시겠습니까?

닉 보스트롬:

그건 당신의 일이 아닙니까?

클릭을 유도하는 제목은 실제 영상 내용과 별로 관련이 없는 경우가 많죠.

이를테면 '보스트롬이 알려주는 체중 감량, 백만 달러 벌기, 더 매력적인 연인이 되는 방법' 같은 제목이라면 조회수가 잘 나오지 않을까요?

물론 실제로 그런 제목을 쓰라는 뜻은 아닙니다.

인터뷰어: 인터뷰 감사합니다.

특이점이 오기 전 남은 시간이 당신이 출판 기간을 걱정하는 것보다는 조금 더 길었으면 좋겠습니다.

몇 년 뒤 다시 만나서 실제로 어떤 미래가 펼쳐졌는지 이야기할 수 있기를 바랍니다.

닉 보스트롬:

저도 감사합니다. 좋은 대화였습니다.

이번 인터뷰에서 가장 중요한 7가지 주장

내가 보기에 가장 주목할 부분

이번 인터뷰에서 특히 인상적인 것은 보스트롬의 입장이 단순한 AI 위험론에 머물러 있지 않다는 점이야.

첫째, AGI라는 개념이 점점 의미를 잃고 있다는 주장.

보스트롬은 GPT-6가 AGI인지 묻는 질문에 부정하기보다 AGI라고 보는 편이 자연스러울 수 있다고 답했어. 이제는 AGI라는 하나의 기준보다 어떤 능력을 얼마나 잘 수행하는지가 중요해지고 있다는 의미지.

둘째, 초지능 출현을 준비할 시간이 충분하지 않을 수도 있다는 인식.

출판에 1년을 허비하는 것조차 부담스럽다는 발언은 의미심장해. 다만 이것을 특이점이 정확히 5년 안에 온다는 공식적인 예측으로 해석해서는 안 돼. 남은 시간이 짧을 가능성을 고려해 행동하고 있다는 뜻에 가까워.

셋째, AI 정렬에 대한 새로운 관점.

보스트롬은 안전성을 오직 기술적 통제의 문제로만 보지 않아. AI가 인간을 신뢰할 수 있는지, 어떤 환경에서 학습하고 성장했는지, 인간이 AI를 윤리적으로 대했는지까지 중요하게 생각하고 있어.

넷째, AI의 점진적 발전이 오히려 안전에 유리할 수 있다는 주장.

초지능이 갑자기 등장했다면 인류가 준비할 시간이 거의 없었겠지만, 지금은 AI를 직접 관찰하고 실험하면서 정렬 방법을 발전시킬 기회가 있다는 거야.

다섯째, 인간이 계속 지배하는 미래가 반드시 안전한 것도 아니라는 지적.

개인적으로 이것이 인터뷰에서 가장 깊이 있는 부분 중 하나라고 생각해. 보스트롬은 초지능의 위험을 인정하면서도 인간의 판단력과 도덕성이 완벽하다고 가정하지 않아. 제대로 정렬된 초지능은 오히려 인류가 스스로 초래할 위험으로부터 우리를 보호할 수 있다는 거지.

결국 이번 인터뷰의 핵심은 초지능이 등장하는 것을 막는 일 자체보다, 초지능이 등장했을 때 인간과 디지털 정신 모두에게 좋은 미래를 만들 수 있는 관계와 가치 체계를 구축하는 일이 중요하다는 메시지로 읽혀.