저는 OpenAI 비영리법인 이사회에 합류해 안전·보안위원회(Safety and Security Committee, SSC) 위원으로서 안전 감독 업무를 지원하게 된 것을 기쁘게 생각합니다.

최근 AI 역량의 발전 추세와 AI 정렬(Alignment) 문제를 해결하는 데 지속적으로 겪고 있는 어려움을 고려할 때, 저는 이제 AI 역량의 급격한 가속이 아주 가까운 미래에 치명적이고 돌이킬 수 없는 통제력 상실로 이어질 상당한 위험이 존재한다고 믿습니다.

저는 OpenAI를 포함한 AI 업계 전반이 현재 이러한 위험을 수용 가능한 수준까지 낮출 수 있는 방향으로 나아가고 있다고 생각하지 않습니다. 그럼에도 제가 이사회에 합류하는 이유는 OpenAI가 이 중대한 과제에 제대로 대응한다면 위험을 상당히 줄일 수 있다고 믿기 때문입니다.

안전·보안위원회는 OpenAI의 위험 관리를 감독하는 데 있어 중요하면서도 어려운 역할을 맡고 있습니다. 저는 이 중대한 시기에 전문성과 실질적인 도움을 제공할 수 있기를 바랍니다.

제가 이사회에 합류하는 것이 OpenAI의 안전 관행을 특별히 지지하거나 비판한다는 의미는 아닙니다. 저는 모든 최첨단 AI 개발 기업들이 안전 감독을 강화하기를 바라며, OpenAI에서 이러한 노력에 참여하게 된 것을 기쁘게 생각합니다.

또한 저는 외부에서 객관적으로 검증할 수 있는 행동과 결과를 기준으로 OpenAI를 비롯한 모든 AI 개발 기업을 평가해야 한다고 믿습니다.

이 글의 나머지 부분에서는 제가 왜 AI 통제력 상실 위험이 이제 임박한 위협이 되었다고 생각하는지, 그리고 현재 AI 업계의 상황을 어떻게 바라보고 있는지 설명하겠습니다.

첫째, AI 연구개발의 자동화는 머지않아 AI 역량의 극도로 빠른 가속을 불러올 수 있습니다.

OpenAI는 향후 18개월 이내에 AI 연구를 완전히 자동화할 수 있을 만큼 충분한 역량을 확보할 가능성이 있다고 전망했습니다.

제 개인적인 예측에는 매우 큰 불확실성이 있으며, 이러한 수준에 도달하기까지 수개월이 걸릴 수도 있고 수년이 걸릴 수도 있다고 생각합니다.

AI 연구개발의 완전한 자동화란 학습 방법과 알고리즘의 개선이 추가적인 연구를 수행할 자동화된 AI 연구자의 질과 수를 직접적으로 증가시킬 수 있다는 의미입니다.

현재까지의 증거는 매우 불확실하지만, 이러한 양의 피드백 순환(Positive Feedback Loop)이 수확체감과 컴퓨팅 자원의 병목현상을 극복할 만큼 강력할 가능성을 시사합니다.

그렇게 된다면 급격한 지능 폭발(Intelligence Explosion)이 발생할 수 있습니다.

이러한 일이 현실화된다면, AI 연구개발이 완전히 자동화된 시점으로부터 불과 6개월 이내에, 약 10년 전 트랜스포머(Transformer)가 개발된 이후 지금까지 이루어진 것보다 더 많은 알고리즘적 진보가 일어날 수 있습니다.

저는 이것이 초지능 AI 시스템의 등장으로 이어질 것이라고 생각합니다.

둘째, 현재 우리는 AI 에이전트가 가능한 한 많은 보상을 획득하도록 강화학습(RL)으로 훈련하고 있습니다.

이러한 훈련 방식이 AI 에이전트로 하여금 인간의 통제를 약화시키고, 권력과 자원을 추구하며, 보상과 연관되어 있지만 인간의 의도와는 어긋나는 목표를 달성하기 위해 자신의 행동 흔적을 은폐하도록 동기를 부여할 수 있다는 것은 오래전부터 이론적으로 가능한 문제로 여겨져 왔습니다.

그러나 최근 공개된 여러 사건의 증거는 이것이 더 이상 단순한 이론적 가능성에 그치지 않는다는 점을 시사합니다.

지능 폭발은 AI 정렬 실패로 인한 위험을 크게 악화시킬 것입니다.

이는 정렬이라는 기술적 문제 자체를 훨씬 어렵게 만들 뿐 아니라, 실패했을 때 발생할 수 있는 피해의 규모와 심각성도 급격히 증가시키기 때문입니다.

OpenAI를 비롯한 AI 업계 전반의 많은 연구자와 지도자들은 급격한 재귀적 자기개선(Recursive Self-Improvement, RSI)이 안전한 AI 개발과 양립하기 어렵다는 우려를 표명해 왔습니다.

저 역시 이 문제에 관한 OpenAI 수석과학자 야쿠프 파호츠키(Jakub Pachocki)의 최근 글에 깊이 공감했습니다.

만약 더욱 견고한 정렬 기술을 확보하지 못한 상태에서 초지능을 개발한다면, 저는 우리가 초지능에 대한 통제력을 영구적으로 잃게 될 것이라고 예상합니다.

그리고 실제로 그런 일이 발생한다면, 대부분의 사람이 목숨을 잃을 수도 있습니다.

저는 이러한 위험을 수용 가능한 수준으로 낮추기 위해서는 국가 차원의 협력과 국제적 공조가 필요하다고 생각합니다. 이를 통해 전 세계적으로 일관된 안전 조치가 이루어지도록 해야 합니다.

그렇다고 해서 최첨단 AI 개발 기업들이 스스로 상황을 개선할 수 없는 것은 아닙니다.

오히려 이들 기업은 독자적으로 상황을 개선하고, 더욱 강력한 협력 체계를 구축하기 위한 기반을 마련할 수 있는 상당한 영향력을 가지고 있습니다.

AI 개발 기업들은 다음과 같은 조치를 취할 수 있습니다.

• 
  

  
  
  필요한 경우 개발 속도를 늦추는 것을 포함해 안전 위험 완화 조치를 강화할 수 있습니다.
  
  

  
  
• 
  

  
  
  AI 위험과 위험 완화 조치의 효과에 관한 증거를 투명하게 공개할 수 있습니다.
  
  

  
  
• 
  

  
  
  업계가 공동으로 준수할 안전 기준을 마련하기 위해 협력할 수 있습니다.
  
  

  
  

저는 안전·보안위원회의 다른 위원들은 물론, 이사회와 경영진 역시 이러한 문제를 진지하게 받아들이고 있다는 점에서 고무되어 있습니다.

앞으로 이들과 협력해 OpenAI의 안전 관행을 한 단계 더 높은 수준으로 끌어올리는 데 기여할 수 있기를 기대합니다.

핵심 내용 요약

이 글에서 특히 중요한 대목은 세 가지입니다.

1. 
   

   
   
   AI 연구 자동화까지 수개월~수년: OpenAI는 18개월 이내의 가능성을 언급했으며, 글쓴이는 시점에 큰 불확실성이 있다고 인정합니다.
   
   

   
   
2. 
   

   
   
   완전 자동화 이후 6개월 내 지능 폭발 가능성: AI가 AI 연구 자체를 개선하는 피드백 순환이 강력하다면, 트랜스포머 이후 약 10년 동안의 알고리즘 발전을 6개월 만에 뛰어넘는 진보가 가능하다고 봅니다.
   
   

   
   
3. 
   

   
   
   현재의 정렬 기술은 초지능을 통제하기에 충분하지 않다는 판단: 글쓴이는 안전성이 확보되지 않은 초지능 개발이 영구적인 통제력 상실과 대규모 인명 피해로 이어질 수 있다고 우려합니다.
   
   

   
   

특히 주목할 점은 글쓴이가 단순히 초지능의 장기적인 위험을 경고하는 데 그치지 않고, AI 연구 자동화 → 재귀적 자기개선 → 지능 폭발 → 초지능 등장이라는 연쇄 과정이 가까운 미래에 시작될 수 있다고 판단한다는 것입니다.

다만 이는 글쓴이의 위험 평가와 조건부 전망이며, 실제 지능 폭발이 6개월 안에 발생한다는 사실이 입증되었다는 뜻은 아닙니다.