https://casp.ac/reports/intelligence-explosion

핵심적으로는 “AI가 AI 연구 자체를 자동화하는 순간부터 기존의 단순한 컴퓨트 스케일링보다 훨씬 강한 피드백 루프가 생길 수 있다”는 문제를 정면으로 다루는 논문입니다. 특히 저자 명단에 Pachocki, Hinton, Bengio, Clune, Jack Clark 등이 함께 있다는 점이 꽤 눈에 띕니다.

초록

불과 1년 전과는 대조적으로, 오늘날 AI 시스템은 이제 AI를 개발하는 기업 내부에서 작성되는 코드의 대부분을 직접 작성하고 있다.

AI 연구개발(R&D) 과정이 점점 더 자동화됨에 따라, AI의 발전 속도가 급격하게 가속되어 몇 년에 걸쳐 일어날 발전이 몇 달, 혹은 그보다 더 짧은 기간 안에 압축되는 ‘지능 폭발(intelligence explosion)’이 발생할 수 있을까?

초기 단계의 증거들은 이러한 가능성이 실제로 존재할 수 있음을 시사한다.

본 연구에서는 이러한 증거를 평가하고, 지능 폭발이 가져올 수 있는 잠재적 영향을 분석하며, 이에 대응하기 위한 정책적 방안을 제안한다.

AI 시스템은 앞으로 몇 년 안에 AI R&D 업무의 대부분을 자동화할 가능성이 있으며, 어쩌면 AI 연구개발 전체를 자동화할 수도 있다.

만약 이러한 자동화가 지능 폭발을 촉발한다면, AI가 가져올 혜택이 예상보다 훨씬 빠르게 현실화될 수 있다.

하지만 동시에 극단적인 위험도 발생할 수 있다.

AI의 능력 향상 속도가 사회가 적응할 수 있는 수준을 훨씬 넘어설 정도로 빨라질 수 있으며, 인류가 초인간적 능력을 가진 AI 시스템에 대한 통제력을 상실할 가능성도 있다.

또한 국가 간, 기업 간, 그리고 정부 기관 및 권력 기관 사이에 존재하는 권력에 대한 견제와 균형의 구조가 심각하게 약화될 수도 있다.

이러한 가능성들을 둘러싼 불확실성은 여전히 매우 크다.

그러나 그 잠재적 영향이 워낙 막대하기 때문에, 이 문제에는 훨씬 더 진지한 관심이 필요하다.

정책 결정자들은 시급히 다음과 같은 조치를 취해야 한다.

AI R&D 자동화가 어느 정도까지 진행되고 있는지에 대해 훨씬 더 높은 수준의 가시성과 정보를 확보해야 하며, 지능 폭발이 실제로 발생할 경우 그 과정을 유도하고 제약할 수 있는 방법을 개발해야 한다.

그리고 지능 폭발이 사회에 미칠 충격과 변화에 적응할 수 있도록 사회 전체가 미리 준비해야 한다.