https://www.youtube.com/watch?v=-Ef0oc

3. AI가 인류를 장악하면 인간은 어떻게 되는가?

AI가 인류를 장악한다면, 우리에게 어떤 일이 일어날지는 분명하지 않다.

우리는 즉시 살해당할 수도 있다.

AI의 노예가 되어 강제로 육체노동을 해야 할 수도 있다. AI를 위해 공장을 건설하도록 강요받고, 그 공장들은 1년 안에 우리를 대체할 로봇들을 생산하게 될지도 모른다.

반대로 AI가 여러 가지 이유로 우리를 살려둘 수도 있다.

그리고 AI의 인류 장악이 사실상 별문제 없이 끝나거나, 심지어 좋은 결과로 이어질 가능성도 실제로 어느 정도는 존재한다.

나는 이런 상황을 기술적으로 앞선 문명이 기술적으로 뒤처진 문명과 마주쳤을 때 발생하는 일과 비슷하게 생각해야 한다고 본다.

예를 들어 유럽인들이 아메리카 대륙이나 호주를 식민지화했던 역사를 떠올려 보라.

식민지 개척자들은 때로는 극도로 잔혹한 폭력을 행사했고, 때로는 그러지 않았다.

나는 어떤 일이 일어날지 모른다.

또한 AI가 비밀리에 인류를 장악하고, 인간들이 몇 년 동안 그 사실조차 알아차리지 못할 가능성도 있다.

이 외에도 훨씬 더 기이하면서도 극도로 무서운 결과들이 발생할 가능성이 상당히 높다고 생각한다.

AI가 인류를 장악했을 때 인간에게 어떤 일이 일어날 수 있는지 더 읽어보고 싶다면 아래 글을 참고하면 된다. 다만 상당히 기이한 내용이고 일반 독자를 대상으로 쓰인 글은 아니라는 점을 알아두기 바란다.

https://blog.redwoodresearch.org/p/notes-on-fat

4. 앞으로 1년 안에 인류가 정상적인 삶을 유지할 수 없게 될 확률은 약 20%

종합적으로 볼 때, 나는 향후 1년 안에 AI 정렬 문제로 인해 여러분이 정상적인 일상생활을 영위할 수 없게 될 가능성이 상당히 현실적이라고 생각한다. 그 확률은 어쩌면 20% 정도일 것이다.

그 이유는 여러분이 죽거나, 노예가 되거나, 이 모든 상황에서 발생하는 부수적인 피해를 입을 수 있기 때문이다.

예를 들어 생물학 무기가 살포되거나 대규모 전쟁이 시작될 수도 있다.

이러한 위험의 일부는 초지능이 개발되기 전부터 발생할 수도 있다는 점도 이 확률에 반영되어 있다.

5. 나는 이 재앙을 막으려고 노력하고 있지만, 성공할 수 있을지 모르겠다

당연히 나는 이런 상황을 막기 위해 노력하고 있다.

지난 9년 동안 계속 그래왔듯이 말이다.

하지만 어떤 전략이 최선인지 확신하지 못한다.

현재 내가 생각하는 최선의 방법은 AI 개발 속도를 늦추는 동시에, 가까운 미래에 초지능 AI가 개발되더라도 그 AI가 인간의 의도와 어긋날 가능성을 줄이기 위해 노력하는 것이다.

물론 내가 여기서 주장하는 내용이 굉장히 극단적이고 놀랍다는 사실을 잘 알고 있다.

그리고 내가 이 글에서 내 관점을 충분히 논증했다고 생각하지도 않는다.

이 글은 빠르게 작성한 것이기 때문에, 나중에 더 깊이 생각해 보면 일부 세부 사항에는 동의하지 않게 될 수도 있다.

하지만 내가 대략적으로 무엇을 생각하고 있는지 솔직하게 밝히는 편이 아무 말도 하지 않는 것보다 낫다고 생각한다.

여러분이 무엇을 해야 하는지는 나도 모르겠다.

6. 나는 이 상황이 너무나 슬프다

나는 이 모든 상황이 정말 슬프다.

나는 16살 때부터 AI가 인류를 장악할 가능성을 걱정해 왔고, 23살 때부터 그것을 막기 위해 노력해 왔다.

그래서 이러한 문제에 대한 감정적인 고민과 수용 과정의 일부는 이미 오래전에 겪었다.

하지만 지난주 발표된 METR 보고서와 그보다 조금 앞서 공개된 관련 증거들은 나에게 엄청난 충격을 주었다.

내 친구들과 가족들, 그리고 세상의 모든 사람이 가까운 미래에 살해당할 심각한 위험에 처해 있다는 사실이 너무나 괴롭다.

(이러한 감정을 단순히 '매우 괴롭다'라고 요약하려니 우스꽝스럽게 느껴진다. 하지만 상황의 규모가 너무나 거대해서, 어떤 말로 표현하더라도 터무니없이 부족한 표현처럼 느껴진다.)

나는 이런 사태를 막기 위해 노력하는 모든 사람에게 깊이 감사하고 있다.

그리고 내 인생에서 가장 좋은 점은, 이 문제를 해결하기 위해 노력하는 뛰어나고 영웅적인 사람들 중 많은 이들과 친구로 지내고 있다는 것이다.

하지만 안타깝게도, 나는 우리가 이 일을 충분히 잘하고 있다고 생각하지 않는다.

적어도 내년에 초지능이 개발된다면, 우리는 아마도 재앙을 막는 데 실패할 것이라고 생각한다.

우리가 이러한 상황에 대비하기 위해 더 잘하지 못했다는 사실이 답답하고, 미안하다.

이 글의 핵심

글쓴이의 주장은 크게 세 가지 확률로 요약할 수 있어.

여기서 가장 주목할 부분은 METR의 연구 결과가 글쓴이의 초지능 개발 시점을 크게 앞당겼다는 것이야.

이전까지는 AI가 인간의 연구를 보조하는 도구였다면, 이제는 AI가 AI 연구 자체를 가속하면서 발전 속도가 다시 빨라지는 자기강화 구조가 나타나고 있다는 해석이지.

다만 중요한 점은, 위 확률들이 객관적으로 검증된 예측치가 아니라 글쓴이의 주관적인 판단이라는 거야. 특히 연구 속도의 70% 향상을 초지능의 임박한 등장과 연결하는 과정에는 여러 모델링 가정이 들어가 있어.

결국 이 글의 가장 중요한 주장은 AI가 단순히 빠르게 발전하는 단계를 넘어, AI 스스로 AI 발전을 가속하는 시기에 진입했을 수 있다는 것이야.