정말 훌륭한 답변이네요. 이렇게 성의 있고 선의 있게 다시 답해줘서 고마워요. 동의하는 부분이 정말 많습니다. 다만 몇몇 부분은 상황이 좀 더 미묘하고 복잡하다고 생각하고, 우리가 왜 그런 입장을 갖고 있는지도 좀 더 설명하고 싶어요.

몇 가지만 빠르게 이야기해볼게요. 나중에 여기에 더 쓸 수도 있습니다.

저는 사이버 보안 분야는 궁극적으로 방어 측이 우세해질 수 있다(defence dominant)고 생각합니다. 앞으로 2년 동안 우리가 제대로 노력한다면 — 아주 간단히 말해 모든 금융기관과 핵심 인프라 사업자가 스스로를 대상으로 화이트햇 해킹을 해보는 식으로 보안을 강화한다면 — 그 이후에는 어떤 오픈소스 코딩 모델이 나오더라도 저는 전혀 걱정하지 않을 것 같습니다.

그 전까지는 물론,

“우리의 자유에 아무런 제약을 가하지 않는 대신 사이버 공격 위험이 상당히 증가하는 것을 감수하겠다.”

라는 선택도 충분히 합리적인 선택일 수 있습니다.

다만 미국 정부(USG)는 위험을 직접 측정하고 평가한 뒤, 그러한 선택을 의식적으로 내릴 수 있는 위치에 있어야 한다고 생각합니다.

반면 바이오 분야는 공격 측이 우세합니다(offence dominant). 그리고 이 문제를 제대로 해결하는 데는 아마 2030년대 상당 기간까지 걸릴 겁니다.

그 말은 우리가 그때까지는 실제로 엄청나게 큰 위험을 안고 살아가야 한다는 뜻입니다. 사회가 과연 그 위험을 받아들일 것인지 결정해야 합니다. 예를 들어 말하자면 “주머니 속에 세계 최고 수준의 바이러스학자가 들어 있는 것”과 같은 상황입니다.

물론 사회가

“그래, 그 정도 위험은 감수할 가치가 있다.”

라고 결정할 수도 있습니다.

하지만 저는 사회나 정부 안에 이 문제를 진지하게 다루는 전담 조직이 있어야 한다고 생각합니다.

예를 들어 AI가 사람의 능력을 얼마나 끌어올려주는지(uplift) 실제 실험을 해보는 것입니다. AI를 사용할 때와 단순히 유튜브를 사용할 때를 비교해보고, 실제로 어떤 차이가 발생하는지 보는 거죠.

또 실제로 20만 달러와 차고 하나를 가진 사람이 AI를 이용해 할 수 있는 최악의 일이 무엇인지 실험적으로 검증해보는 것도 필요합니다.

그리고 새로운 수준의 AI 능력이 등장할 때마다 정부와 사회가 직접 위험을 평가하고, 그 위험을 받아들일 것인지 판단해야 한다고 봅니다.

두 번째 이야기는, 왜 Dario나 우리가 위험에 대해 그렇게 많이 이야기해왔느냐는 겁니다.

근본적으로는 사람들에게 솔직하고 싶었기 때문입니다.

고용 위험이 대표적인 사례입니다.

사실 저는 고용 자동화의 속도에 대해서는 Dario와 의견이 조금 다릅니다.

제 생각에는 연산 자원의 부족, 기술의 실제 확산 과정에서 발생하는 복잡성, 정책적 요인, 그리고 아직 충족되지 않은 서비스 수요 때문에, 컴퓨터를 통해 수행되는 일자리의 95%를 자동화할 수 있는 모델이 등장한 뒤에도 수년 동안은 사람들이 계속 그 일들을 하게 될 가능성이 가장 높습니다.

그런 수준의 모델은 2028년쯤 도달할 것이라고 생각하지만, 사람들은 아마 2030년대 상당 기간까지도 그런 직업에서 계속 일하게 될 겁니다.

그럼에도 저는 우리가 사회적으로 이 가능성을 지금보다 훨씬 더 진지하게 받아들이고 준비해야 한다고 생각합니다.

예를 들어 실업률이 특정 수준에 도달했을 때 어떤 정책을 시행할지 미리 비상대책을 마련할 수 있습니다.

가령,

“수익을 내고 있는 기업은 연간 직원의 5% 이상을 해고하지 못하게 한다.”

같은 정책도 상상해볼 수 있습니다.

또한 METR식 평가 방식을 활용해 여러 직업군에서 AI 능력이 어느 정도까지 발전했는지를 지속적으로 측정한다면, 실제 상황을 훨씬 명확하게 파악할 수 있을 겁니다.

우리의 입장은 항상 사람들에게 상황을 숨기지 말고 솔직하고 명확하게 이야기해야 한다는 것이었습니다.

그리고 이 부분은 완전히 동의합니다.

기업으로서도, 산업 전체로서도 우리가 사람들이 “이 미래를 위해 싸워보고 싶다”고 생각할 만큼 긍정적인 미래상을 제시하는 데 완전히 실패했습니다.

그리고 그 실패가 실제로 우리가 그런 좋은 미래에 도달할 가능성 자체를 낮추고 있다고 생각합니다.

이 부분은 우리가 정말 훨씬 더 잘해야 합니다.

마지막으로 아직 덜 정리된 생각 하나만 덧붙이자면, 저는 Mark의 에세이가 진짜 어려운 문제를 제대로 다루고 있지는 않다고 생각합니다.

제가 보기에 미래에 개인별 초지능(personal superintelligence) 접근성에 영향을 미칠 가장 중요한 요소는 오픈 모델의 존재 여부보다 **컴퓨팅 자원의 불평등(inequality of compute)**일 가능성이 훨씬 높습니다.

이 부분은 나중에 좀 더 이야기하겠지만, 요약하면 그 에세이는 오픈 모델을 일종의 만능 해결책(panacea)처럼 제시하고 있는데, 제가 실제 미래에서 핵심 문제가 될 것이라고 생각하는 지점까지는 깊이 들어가지 않았다고 봅니다.