임계점의 정의

“우리는 다음 두 조건 중 하나라도 충족된다고 판단하면 해당 임계점에 도달한 것으로 간주할 것입니다.

(1) AI 연구원 및 엔지니어의 완전한 대체

우리의 AI 모델이 앤스로픽의 모든 연구 과학자(Research Scientists)와 연구 엔지니어(Research Engineers)를 완전히 대체할 수 있으며, 그 비용 또한 경쟁력 있는 수준(인간 인력 비용의 5배 이내)인 경우입니다.

(2) AI 발전 속도의 극적인 가속

AI 연구개발(R&D)의 자동화와 관련이 있을 가능성이 높은 이유로 AI 발전 속도가 '극적으로 가속'되는 경우입니다.

우리는 다음 두 조건이 모두 충족되면 (2)가 발생했다고 간주합니다.

(a) AI 능력 발전 속도의 2배 증가

AI의 종합적인 능력 발전 속도가 다음 두 기준 모두에 비해 2배에 달하는 것을 실제로 관측하거나 그렇게 될 것으로 예상하는 경우입니다.

• 
  

  
  
  AI 연구개발 자동화가 없었다면 예상했을 발전 속도
  
  

  
  
• 
  

  
  
  AI가 연구개발에 유의미하게 기여하지 않았던 시기에 관측된, 장기간 지속된 가장 빠른 발전 속도
  
  

  
  

(b) 가속의 주된 원인이 AI 연구개발 자동화일 것

이러한 발전 속도의 2배 증가가 연구 및 엔지니어링 업무의 자동화에 상당 부분 기인한다고 볼 만한 타당한 근거가 있어야 합니다.

단순히 연구 인력이 늘어나거나, 컴퓨팅 자원이 증가하거나, 일반적인 생산성이 향상된 결과여서는 안 됩니다.

또한 이러한 AI 발전 추세가 지속된다면 앞으로 발전 속도가 더욱 빨라질 가능성이 높아 보여야 합니다.”

AIFP의 추가 해석

“(1)번 조건은 우리가 AIFM(AI Futures Model)에서 정의한 SAR(초인적 AI 연구자) 이정표보다 다소 약한 조건으로 보입니다.

하지만 앤스로픽이 지금 언급하고 있는 임계점은 (1)번이 아닌 것 같습니다. 오히려 (2)번 조건, 즉 AI 연구개발 자동화로 AI 발전 속도가 2배 이상 빨라지는 상황을 이야기하는 것으로 보입니다.

(그런데 만약 앤스로픽이 실제로 (1)번 조건을 이야기하고 있는 것이라면, 제 생각에는 오히려 상황이 훨씬 더 심각한 것 아닐까요?)”

이 발언에서 특히 중요한 부분

앤스로픽이 정의한 2배 가속은 단순히 AI 성능이 2배 좋아진다는 뜻이 아닙니다.

AI가 AI 연구개발에 참여하면서, AI 자체의 발전 속도를 기존보다 2배 이상 빠르게 만들고, 그 가속이 앞으로 더욱 강해질 가능성이 있다는 의미입니다.

이는 재귀적 자기개선(RSI)이 본격적으로 시작되고 있는지를 판단하는 중요한 신호가 될 수 있습니다.

특히 흥미로운 점은 앤스로픽이 실제로 2배 가속을 관측한 경우뿐 아니라, 앞으로 그런 가속이 일어날 것으로 예상하는 경우에도 임계점에 도달했다고 판단할 수 있도록 정의했다는 것입니다.

따라서 앤스로픽이 임계점에 근접했다고 말하더라도 이미 2배 가속이 실측되었다는 뜻은 아닐 수 있습니다. 다만 내부 모델의 능력과 AI 연구개발 기여도를 바탕으로 그러한 가속을 예상하고 있다면, 그것만으로도 상당히 중요한 신호입니다.