나는 늘 “안전 문제를 파악할 때까지 멈추자”는 주장이 조금 어리석다고 생각했다. 의사결정이론 같은 걸 고민하느라 발전을 10년씩 희생하자는 얘기처럼 들렸기 때문이다.

하지만 FOOM, 즉 폭발적인 재귀적 자기개선이 일어나기 직전에 잠시 멈추는 것은 전혀 다른 문제다. 그때는 이미 그것의 실제 형태가 어느 정도 드러나 있고, 행동 방식이나 내부 회로 등을 직접 연구할 수 있기 때문이다.



우리에겐 곧 시속 1,000마일로 달리게 될 자동차가 있는데, 우리는 6개월마다 그 차를 운전하는 능력과 엔진을 이해하는 능력 모두에서 극적으로 발전하고 있다.

 



그렇다고 10년씩 멈춰야 한다고 생각하는 건 아니다. 단 1년만 멈춰도 사태가 어떤 방향으로 전개될지에 대한 가능성의 분포를 의미 있게 바꿀 수 있다. 과학의 발전 속도까지 이렇게 빠르게 지수적으로 가속될 줄은 미처 몰랐다.