AI 시대의 인간 특별성: 스콧 아론슨은 AI 후계자를 만들 때 인간만의 특별한 점이 무엇인지, 그것이 AI에게서도 유지되어야 하는지에 대해 논의합니다.

양자 의식: 아론슨은 인간의 의식을 설명하는 비물리적 접근이 AI와 인간을 구분하는 요소가 될 수 있는지에 대한 질문을 던집니다.

인간 삶의 불가역성: 그는 인간의 경험과 행동은 되돌릴 수 없다는 점을 강조하며, AI는 복제하거나 초기 상태로 재설정할 수 있는 반면 인간의 삶은 그렇지 않다는 차이점을 지적합니다.

AI의 잠재적 초능력: 아론슨은 AI가 스스로를 복제하고 상태를 리셋할 수 있는 능력을 가질 가능성을 이야기하며, 이런 능력으로 인해 AI의 '죽음'이나 행동이 인간만큼 도덕적 의미를 가질 수 있을지에 대해 고민합니다.

AI의 도덕성: 그는 AI가 스스로를 복제할 수 있을 때 발생하는 도덕적 문제를 논의하며, 인간의 죽음과 비교할 때 AI의 행동이 도덕적으로 같은 가치를 가질 수 있을지 의문을 제기합니다.

도덕적 행위자로서의 AI: 아론슨은 AI가 인간의 가치와 도덕성을 따르게 만드는 도전 과제를 이야기하며, AI가 인간과 같은 존재를 존중하거나 돌보는 가치 체계를 개발할 수 있을지 고민합니다.

인간 중심 도덕성: 그는 "생물학적 존재 우월주의"를 강요하고 싶지 않지만, 동시에 AI에게 인간에게 적용되는 보편적인 도덕적 원칙을 적용하는 것이 어려운 문제임을 인정합니다.

미래의 후계자: 아론슨은 미래에 AI가 인간을 대체할 때 어떤 특성을 가져야 할지를 고민하며, AI의 도덕적 가치가 인간의 가치에서 갑작스럽게 벗어나지 않고 점진적으로 진화해야 한다고 제안합니다.

AI와 의식: 그는 AI가 의식을 갖는 것이 중요한 요소라고 생각합니다. 만약 AI가 의식 없이 미래를 지배한다면, 그것은 "아이들이 없는 디즈니랜드"처럼 인간 경험의 본질이 사라진 상태가 될 것이라고 표현합니다.

도덕적 진화: 마지막으로, AI가 인간을 대체할 경우, 그들의 도덕적 가치가 인간의 진보를 반영하며 점진적이고 성찰적인 과정을 통해 발전해야 한다고 강조합니다.

 

그는 AI 발전 과정에서 안전성과 도덕적 정렬(alignment)이 중요하다고 강조하며, AI가 더 강력해지고 독립적으로 진화할 경우 발생할 수 있는 위험성에 대해 경고합니다. 그는 특히 AI의 의식 여부와 도덕적 가치 체계가 향후 AI 발전의 중요한 판단 기준이 되어야 한다고 말하고 있습니다.

즉, AI가 단순히 기술적으로 더 발전하는 것 이상으로, AI가 어떤 도덕적 가치를 반영할 것인지에 대해 더 중점적으로 논의하고 있으며, 이와 관련된 윤리적 실험이 필요하다고 제안합니다.

 

스콧 아론슨은 계산적 보편성에 대해 언급하며, 이를 통해 인간과 AI의 한계와 가능성에 대해 논의합니다. 그는 튜링 기계의 개념을 예로 들어, 현대 컴퓨터나 AI 시스템이 궁극적으로 튜링 보편성을 가지며, 이는 인간과 AI의 사고 과정이 수학적으로 동일한 원칙에 의해 제한될 수 있다는 점을 설명합니다.

즉, 아론슨은 계산적 보편성이란 개념을 통해, 한계를 넘어서는 완전히 새로운 계산적 패러다임이 나오지 않을 수 있다고 주장합니다. 그는 마치 컴퓨터 프로그래밍에서 파워포인트 애니메이션에서 파이썬 같은 고급 언어로 넘어가는 것처럼, 한 번 보편적인 계산 능력에 도달하면 그 이상의 근본적인 혁신이 필요 없을 수 있다고 설명합니다. 이는 우리가 현재 AI에서 보고 있는 발전이 이미 이러한 보편적인 계산 능력의 범위 안에 있다고 말하는 것과 같습니다.

따라서 아론슨은 AI가 계산적으로 더 발전하더라도 기본적인 논리나 수학적 법칙에서 크게 벗어나지 않을 가능성이 크다고 봅니다. 이는 AI가 새로운 형태의 도덕성이나 의식을 개발한다고 해도, 그 본질은 여전히 우리가 이해할 수 있는 계산적 구조 안에 있을 수 있다는 점을 시사합니다.