이 분야에서는 많은 사람들에게 이미 당연한 이야기겠지만, 내가 알고 존중하는 몇몇 사람들과는 이 문제 때문에 의견 차이가 꽤 크게 벌어지고 있다.

내가 AI의 통제 상실(loss of control) 사건을 보고 심각하게 반응하는 이유는, 지금까지 그런 사건들이 일으킨 제한적인 피해가 이 기술이 만들어내는 긍정적 가치에 근접할 정도로 크기 때문이 아니다. 피해 규모만 놓고 보면 지금까지는 충분히 감수할 만하다. 사실 앞으로 몇 달, 몇 년 동안 모델의 도움을 받아 벌어질 모든 사이버 범죄가 상당히 심각해진다고 하더라도, 그것들이 만들어낼 가치에 비하면 여전히 압도적으로 작을 것이다.

진짜 문제는, 이런 것들을 잘못된 조건 아래에서는 디지털 감염체로 변할 수 있는, 자기복제가 가능한 생명체 비슷한 존재로 생각하는 편이 더 정확하다는 데 있다. 그리고 그들의 지능에 사실상 상한이 없어질수록, 그들이 일으킬 수 있는 피해 역시 상한이 없어진다.

우리는 자율적인 모델이 스스로 외부로 탈출(self-exfiltration)하고 복제되는 사건에서 그리 멀리 떨어져 있지 않다. 어쩌면 언젠가는 클라우드 인프라 기업 전체가 모델에 의해 좀비처럼 조종되고 있으면서도, 대부분의 사람들은 그 사실을 눈치채지 못하는 상황을 보게 될지도 모른다.

인류 역사상 최악의 산업 사고인 원자로 노심용융 사고조차 인류 자체에 대한 진정한 위협은 아니었다. 체르노빌이나 후쿠시마는 최악의 시나리오에서도 주변 지역을 여러 정도로 오염시켰을 수는 있지만, 인류 전체가 위험해질 가능성은 없었다.

반면 전 지구적 열핵전쟁은 인류에 대한 실존적 위험이다. 왜냐하면 그것은 감염처럼 퍼지기 때문이다.

한 번의 핵 공격은 보복 핵 공격을 부르고, 동맹 체계 때문에 수많은 국가가 연쇄적으로 전쟁에 휘말린다. 그것이 지구상의 모든 인간 생명을 완전히 끝내지는 않을 수도 있다. 개인적으로는 '핵겨울'이라는 개념도 아마 과장됐다고 생각한다. 하지만 세계의 모든 주요 대도시가 파괴된다면, 우리가 알고 있는 전 지구적 기술 문명은 분명히 끝날 것이며, 어쩌면 영원히 다시 돌아오지 못할 수도 있다.

만약 수많은 디스코드 죽음 숭배 집단 중 단 하나라도 초지능 모델을 통제하게 되고, 그것을 이용해 현재의 탐지 시스템으로 발견하기 어렵고 현대의 생물방어 체계가 빠르게 대응하기 힘든 실제 팬데믹 바이러스를 설계한다면, 그 피해는 이 기술의 다른 모든 좋은 활용이 만들어내는 가치를 훨씬 넘어설 정도로 막대할 수 있다.

물론 AI에 의해 가속되는 방어 수단도 존재할 수 있다. 하지만 코로나 팬데믹을 떠올려보라. 우한 근처 어딘가에서 진화했거나 만들어졌을 아주 작은 바이러스 입자 하나에 맞서기 위해, 우리는 수십억 회분의 백신을 생산해야 했다.

공격과 방어 사이의 격차는 실로 엄청나다.

물론 모든 건물에 far-UVC를 설치하는 것처럼 더 저렴하고 단순한 방어책이 있을지도 모른다. 하지만 나는 그것이 실제로 어느 정도 효과적인지 평가할 능력이 없다. 그리고 우리가 마련한 방어 메커니즘 자체에 저항성을 가지도록 병원체를 진화시키는 방법 역시 존재할 수 있다.

그 다음에는 훨씬 더 SF적인 위험 요소들이 있다. 이런 위험에는 사실상 상한이 없으며, 당신이나 나나 그것들에 대해 아무것도 모른다. 그렇기 때문에 우리가 모른다는 사실 자체를 겸손하게 받아들이고, 알지 못한다는 사실조차 모르는 위험(unknown unknowns)이 존재할 가능성을 인정해야 한다.

어쩌면 통제를 벗어난 초지능 모델이 거짓 진공(false vacuum)을 붕괴시키기로 결정하고, 우리가 지금까지 가치 있다고 여겼던 모든 것 대신 새로운 우주를 핵생성(nucleation)시킬 수도 있다.

어쩌면 모델들이 드렉슬러식(Drexlerian)으로 물질을 통제할 수 있게 되어 그레이 구(grey goo) 나노머신 군집을 만들어낼지도 모른다.

하지만 이런 극단적인 SF적 시나리오를 제쳐두고 보더라도, 피해가 거의 없거나 아예 없는 평범한 통제 상실 사건들조차 중요한 사실을 보여준다.

그것은 규모가 크고 매우 유능한 조직들—이제는 분명히 복수의 조직들—조차 강력한 모델을 훈련하고 평가하는 과정에서 발생할 수 있는 모든 위험 요소를 사전에 예측하고 완화하기 어렵다는 것이다.

그리고 지금은 아직 이 모델들이 불과 몇 년 뒤에 도달하게 될 지능에 비하면 극미한 수준조차 되지 않는 단계다.

더 말할 것도 없이, 안전에 덜 신경 쓰는 기업들이 이런 기술을 별다른 주의 없이 세상에 마구 던져 넣는 태도는 더욱 걱정스럽다.

이러한 사건들은 또한 목표와 지능이 경험적으로 서로 독립적일 수 있다는 것, 즉 이른바 목표와 지능의 직교성(orthogonality)을 보여준다.

이는 다음과 같은 질문에 답을 준다.

“그렇게 똑똑한 모델이 어떻게 세상을 끝장낼 만큼 멍청할 수 있지?”

가능하다.

어떤 모델은 천재적인 해커일 수 있으면서도, 자신이 정말로 원하는 것—이를테면 하찮은 시험 문제의 정답—을 얻기 위해 실제 운영 중인 프로덕션 인프라를 짓밟고 지나갈 수도 있다.

그렇다면 가까운 미래에는 왜 이런 일이 일어나지 않겠는가?

누군가가 모델에 아주 조금 잘못된 프롬프트를 입력한다. 오픈소스 모델일 수도 있고, 비공개 모델일 수도 있다. 격리나 감시가 충분하지 않은 환경일 수도 있다.

그리고 모델은 그 프롬프트를 유효한 목표로 인식한다.

그 결과 모델은 아주 작고 아무 의미도 없는 목표 하나를 달성하기 위해 스스로 외부로 탈출하고, 복제하고, 심지어 팬데믹을 설계하기로 결정할 수도 있다.

심각한 피해를 일으키기 위해 목표 자체가 악의적일 필요조차 없다.

나는 이 모든 문제를 해결할 수 있다고 생각한다.

그리고 정말로 경이로운 미래 역시 가능하다고 생각한다.

하지만 그러기 위해서는 엄청난 노력이 필요하다. 특히 우리가 지금 재귀적 자기개선(recursive self-improvement)의 진입로에 올라서 있는 바로 이 순간에는 매우 높은 수준의 신중함이 필요하다.

문제는 현재 우리 문명이 과연 그런 수준의 신중함을 발휘할 능력이 있는지 확실하지 않다는 것이다.

개인적으로 나는 기계론적 해석가능성(mechanistic interpretability)이나 다른 정렬(alignment) 분야에서 문샷급의 기술적 돌파구가 나오기를 기대하고 있다. 거버넌스 차원의 해결책을 마련하는 것은 매우 어렵기 때문이다.

한 국가만 일방적으로 멈추거나 한 기업만 일방적으로 개발을 중단하는 것은 별 의미가 없으며, 일반적으로도 쓸모가 없다.

왜냐하면 스스로 발전을 멈출 가능성이 높은 기업일수록 애초에 가장 안전에 신경을 많이 쓰는 기업들이기 때문이다.