다니엘은 AGI가 3년 이내에 도래할 것이라고 믿습니다. 아직 개발해야 할 주요 기술 클러스터는 단 하나, 즉 장기적 과제와 대리 기술입니다. 다니엘은 또한 AGI가 치명적으로 잘못될 확률이 70%라고 말합니다.

---

저는 Daniel에게 AGI가 언제 도착할지에 대한 현재 예측에 대해 물었고 그는 매우 빠른 일정을 가지고 있었습니다. 그는 AGI가 3년 이내에 도착할 것이라고 생각합니다. 더 정확하게 그는 AGI가 2027년까지 도착할 확률이 최소 50%라고 생각하고 있으며 이것이 그의 중간 추정치입니다. 그는 실제로 훨씬 더 빨리 도착할 수 있다고 생각합니다.

올해 말, 즉 2024년에 발생할 확률은 15%이고 내년 2025년에 발생할 확률은 15%입니다. 따라서 Daniel은 저처럼 AGI가 곧 올 것이라고 생각하는 사람들 중 한 명입니다.

저는 Daniel에게 AGI를 위해 무엇이 남았는지 물었습니다. 2027년까지 AGI를 얻기 전에 무엇을 개발해야 합니까? 그는 현재 하나의 기술 클러스터만 누락되어 있다고 말했습니다. 즉, 세상과 반복적으로 상호 작용할 수 있는 유능한 에이전트인 에이전시 기술입니다. 즉, Long Horizon 작업에 참여하는 것입니다. 물론 현재 우리는 이러한 유형의 문제를 해결하기 위해 고급 AI 시스템을 훈련시키지 않고 있습니다. 왜냐하면 그러한 데이터 세트가 없기 때문입니다.

요약

1. AGI의 임박: AGI(인공지능 일반)의 개발이 예상보다 훨씬 가까워졌으며, 이는 세계를 크게 변화시킬 수 있는 기술입니다.

2. 다니엘 코코타이로의 배경: 다니엘 코코타이로는 OpenAI의 AI 안전 팀에서 일했으며, AGI 개발에 대한 OpenAI의 책임성에 대한 우려로 회사를 떠났습니다.

3. 주식 포기: 다니엘은 AGI의 위험성을 공개적으로 이야기하기 위해 OpenAI의 주식 가치를 포기했으며, 이 주식의 가치는 약 170만 달러에 달했습니다. 이후 OpenAI는 주식 회수 결정을 철회했습니다.

4. 내부 고발자 권리 지지: 다니엘은 AI에 대한 내부 고발자 권리를 지지하며, 이를 강조한 "AI에 대한 경고 권리" 공개 서명에 참여했습니다.

5. AGI 도래 예측: 다니엘은 AGI가 2027년까지 도래할 확률이 50%이며, 2024년 또는 2025년에 도래할 가능성도 있다고 예측했습니다.

6. 현재 AI의 한계: AGI가 갖추어야 할 주요 능력 중 하나는 장기 계획과 상호작용이며, 이를 해결할 수 있는 데이터와 훈련이 점점 더 구비되고 있습니다.

7. AGI의 위험성: AGI의 개발이 제대로 관리되지 않을 경우 인류 멸망의 위험이 70%에 이를 수 있으며, 이는 현재의 개발 경로를 따를 경우 발생할 수 있는 위험입니다.

8. 비밀 개발: AGI 개발은 초기에는 비밀로 유지될 가능성이 높으며, 이로 인해 소수의 인물들이 매우 중요한 결정을 비밀리에 내릴 위험이 있습니다.

9. 규제 필요성: AGI 개발에 대한 투명성을 보장하고 책임성을 높이기 위해 정부의 규제가 필요하며, AI 기업들이 매일 공개 성명을 발표하는 방안이 제안되고 있습니다.

10. 대중 인식과 advocacy: AGI의 위험성을 대중에게 알리고 규제 조치를 촉구하는 것이 중요합니다.