https://yoshuabengio.org/2024/10/30/implications-of-artificial-general-intelligence-on-national-and-international-security/

첨단 AI의 안전성에 관한 국제 과학 보고서(International Scientific Report on the Safety of Advanced AI)에서 강조한 바와 같이, 범용 AI 시스템의 기능은 지난 10년 동안 꾸준히 증가해 왔으며 지난 몇 년 동안 눈에 띄게 가속화되었습니다. 이러한 추세가 계속되고 선도적인 AI 회사들이 선언한 목표에 따라 우리는 일반적으로 AGI(Artificial General Intelligence)라고 하는 광범위한 인지 기술에 걸쳐 인간 수준의 기능을 달성할 수 있을 것입니다. 우리가 이미 자연어, 즉 텍스트를 읽고 이해할 수 있는 시스템, 유창하게 응답하거나 새로운 텍스트, 시각, 오디오 또는 비디오 콘텐츠를 생성할 수 있는 시스템에서 인간 수준의 역량을 달성했다는 것은 주목할 만합니다. 과학의 발전을 정확하게 예측하는 것은 불가능하지만, 많은 주요 연구자들은 AGI까지의 기간이 몇 년 또는 10년 정도로 짧을 수 있다고 추정하고 있습니다. Metaculus(엄격하고 인정받는 예측 시장)에서 20% 이상이 2027년 이전에 AGI를 예측합니다. 이는 알고리즘의 발전과 컴퓨팅 리소스 사용량의 확대에 힘입어 지난 10년 동안 꾸준히 발전해온 것과, 전 세계 AI R&D 투자가 수조 달러에 이르는 기하급수적으로 증가한 것과 일치합니다. 내부 숙고 능력, 즉 사고력의 부족은 오랫동안 현재 AI의 주요 약점 중 하나로 여겨져 왔지만, 내부 심의가 있는 새로운 형태의 AI를 기반으로 한 최근의 발전은 우리가 잠재적으로 인간 수준의 추론과의 격차를 해소하기 직전에 있을 수 있음을 시사합니다. 또한 연구의 장애물로 인해 수년 또는 수십 년 지연될 수도 있지만, 사전 예방 원칙은 그럴듯하고 재앙적인 잠재력을 가진 것을 고려할 것을 요구합니다.

 

더욱이, 프론티어 AI 기업들은 다른 모든 것을 활용할 수 있는 특정 기술, 즉 AI 연구를 발전시킬 수 있는 능력을 갖춘 AI를 개발하기 위해 노력하고 있습니다. AI 연구실의 최상위 소수의 연구원만큼 AI 연구 능력이 뛰어난 AI 시스템은 고급 연구 인력을 수십 배로 늘릴 수 있습니다. AI를 훈련시키는 데 수만 개의 GPU가 필요하지만, 한 번 훈련되면 추론 시간에 병렬로 배포할 수 있으므로 수십만 명의 자동화된 AI 작업자와 동일한 결과를 얻을 수 있습니다. 이러한 확장은 초인적인 AI 시스템을 향한 경로를 크게 가속화할 수 있습니다. 일부 전문가에 따르면 이 시나리오의 구체화는 AGI에서 인공 슈퍼 지능(ASI)으로의 빠른 전환으로 이어질 수 있으며, 이는 몇 개월에서 몇 년에 이를 수 있습니다. 이러한 가능성을 상상하는 것은 어려울 수 있으며, 미래 AI 개발의 속도와 방향은 앞으로 몇 달 또는 몇 년 동안의 정치적 결정과 과학적 발전에 크게 의존하기 때문에 실현될 것이라는 보장이 없습니다. 그러나 전문가들이 그럴듯하다고 제시한 시나리오 중 일부 시나리오의 결과를 감안할 때 이제 우리는 이를 완화하는 방법을 진지하게 고려해야 합니다.