클라크 씨, 당신은 분명 대단히 똑똑한 사람입니다. 아마도 99.9%의 사람들보다 더 지능적일 겁니다. 그렇다면 왜 당신의 지능은 거의 아무런 규제도 받지 않아야 합니까?

 

당신 역시 대부분의 사람들이 예상하지 못하거나 이해하지 못하는 방식으로 해를 끼칠 수 있는 능력을 가지고 있습니다.

 

점점 더 강력해지는 AI를 제한해야 한다는 논리가 궁극적으로 “우리 아이들을 위험해질 수 있는 지능으로부터 보호해야 한다”는 데 기반한다면, 왜 그 원칙은 AI에게만 적용되고 매우 뛰어난 인간에게는 적용되지 않는 것입니까?

 

예를 들어, 당신의 지능은 당신에게 엄청난 힘을 줍니다.

 

당신은 사람들을 설득할 수 있고, 정부에 영향력을 행사할 수 있으며, 수십억 달러의 자본을 배분할 수 있고, 기술의 방향을 형성할 수 있으며, 평범한 사람들은 몇 년이 지난 뒤에야 그 결과를 이해할 수 있는 결정들을 내릴 수도 있습니다.

 

당신은 그런 지능을 이용해 엄청난 피해를 일으킬 가능성도 있습니다.

 

그런데도 아무도 당신의 두뇌에 ‘능력 상한선’을 두자고 제안하지 않습니다.

 

누군가가 자신의 지능을 악용할 수도 있다는 이유로, 다른 사람들이 그 사람보다 덜 똑똑해져야 한다고 주장하는 사람도 없습니다.

 

당신이 자신의 생각을 공개하기 전에 정부의 승인을 받아야 한다고 주장하는 사람도 없습니다.

 

강력한 지능 자체가 위험해서 그에 대한 접근을 제한할 필요가 있다는 것이라면, 왜 그 원칙은 규칙을 만드는 사람들의 지능에 대해서는 갑자기 적용되지 않는 것입니까?

 

그러므로 점점 더 강력해지는 AI를 제한해야 하는 근거로 “우리 아이들의 안전”을 내세운다면, 그 원칙 자체는 면밀한 검토를 받아야 합니다.

 

그리고 또 하나의 문제가 있습니다.

 

당신은 자신의 AI 개발 속도를 늦출 완전한 자유가 있습니다.

 

당신 회사에 원하는 만큼의 안전 요건을 부과할 수도 있습니다.

 

그것이 도덕적으로 필요하다고 믿는다면 프로젝트 전체를 중단할 수도 있습니다.

 

하지만 그렇다고 해서 다른 모든 사람들의 개발 속도까지 늦출 도덕적 권한을 자동으로 얻게 되는 것은 아닙니다.

 

바로 그 지점에서 “AI 안전”은 조용히 전혀 다른 무언가로 변질될 수 있습니다.

 

즉, 지능을 소수의 대기업 안에 집중시키는 정당화 수단이 되는 동시에, 연구자·스타트업·대학·개발자·일반인들이 그에 필적하는 시스템을 직접 만드는 것은 막는 논리가 될 수 있다는 것입니다.

 

그리고 여기서 오픈소스 문제가 등장합니다.

 

당신은 다음과 같은 단순한 원칙을 공개적으로 지지할 의향이 있습니까?

 

오픈소스 AI는 최소한 프런티어 AI 기업들이 일반 대중에게 공개하는 가장 강력한 AI 시스템과 동등한 수준, 혹은 그보다 약간 더 높은 수준의 능력까지는 허용되어야 한다.

 

수백만 명의 사람들이 당신 회사의 AI를 사용할 수 있도록 허용되어 있다면, 왜 독립 연구자들이 그와 비슷한 수준의 능력을 가진 시스템을 직접 연구하고, 수정하고, 실행하는 것은 금지되어야 합니까?

 

그 이유가 안전 때문이라면, 지능이 대중의 손에 들어갔을 때는 왜 특별히 위험해지고, 기업이 통제할 때는 왜 받아들일 수 있는 것이 되는지 정확히 설명해야 합니다.

 

그리고 당신과 같은 기업 내부의 사람들은 누가 평가합니까?

 

일부 프런티어 AI 기업의 직원들, 특히 당신의 조직 내부 일부 인사들은 고도화된 AI에 대해 극도로 비관적인 견해를 가지고 있습니다.

 

그중 일부는 인공 초지능이 인류를 멸망시킬 수도 있다고 진심으로 믿습니다.

 

어쩌면 당신도 그런 사람일 수 있습니다. 우리는 알 수 없습니다.

 

그들, 혹은 당신, 혹은 당신 회사의 CEO는 그런 믿음을 가질 자유가 있습니다.

 

하지만 그러한 믿음은 수십억 명의 다른 사람들이 어떤 기술에 접근할 수 있는지를 결정하는, 엄청나게 중대한 판단에 영향을 미칠 수 있습니다.

 

그렇다면 그들의 판단, 그리고 당신의 판단은 누가 감사합니까?

 

그들의 위험 추정치가 합리적인지는 누가 판단합니까?

 

이념적 장악은 누가 막습니까?

 

소수의 매우 똑똑한 사람들이 “위험을 진정으로 이해하는 것은 우리뿐”이라는 확신에 빠져, 다른 모든 사람들이 얼마나 많은 지능을 가질 수 있는지를 자신들이 결정해도 된다고 생각하게 되는 상황으로부터 사회는 누가 보호합니까?

 

“집중된 지능은 위험하다”는 명제를 AI 거버넌스 철학의 기초로 삼아놓고, 동시에 대중은 접근할 수 없는 극도로 강력한 지능을 통제하는 소수의 매우 뛰어난 사람들에게 전례 없는 통제권을 넘겨줄 수는 없습니다.

 

바로 그 모순이 이 논쟁의 핵심에 자리하고 있습니다.

 

지능이 권력을 만들어낸다면, 책임과 견제는 AI 자체뿐 아니라 AI를 통제하는 사람들에게도 똑같이 적용되어야 합니다.

 

AI는 인류 역사상 가장 강력한 인간 능력의 증폭기가 될 수도 있습니다.

 

그 미래는 지구상의 모든 사람에게 영향을 미칩니다.

 

소수의 경영진, 안전위원회, 기관, 정부, 혹은 스스로를 수호자로 여기는 사람들이 나머지 인류가 얼마나 많은 지능을 가질 수 있는지를 결정할 권리는 없습니다.

 

만약 집중된 지능이 위험을 만들어낸다면, 당신과 같은 소수의 기관 내부에 지능에 대한 통제권을 집중시키는 것 역시 그 자체로 또 다른 위험을 만들어냅니다.

 

어쩌면 훨씬 더 심각한 위험일지도 모릅니다.