패널 토론 주제: 안전한 AGI를 위한 국제 협력의 필요성

발화자:

• 맥스 (Max, 사회자): 토론 진행 및 질문 담당.

• 데미스 하사비스 (Demis Hassabis, 딥마인드 CEO): AGI 선구자, 딥마인드 설립자 및 CEO. AGI 정의, 위험성, 국제 협력 모델 제시.

• 요슈아 벤지오 (Yoshua Bengio, AI 석학): 몬트리올 대학교 교수, AI 윤리 및 안전 연구 선도. AGI 위험 경고, 국제 협력 필요성, 과학 기반 정책 강조.

• 던 송 (Dawn Song, UC 버클리 교수): UC 버클리 교수, 사이버 보안 및 AI 안전 전문가. AI의 사이버 보안 위협, 안전한 에이전트 시스템 설계 강조.

• 얀 르쿤 (Yann LeCun, 뉴욕 대학교 교수): 뉴욕 대학교 교수, AI 및 딥러닝 분야 거장. AGI 개발 시점 예측, 에이전시 위험, 비에이전트 시스템의 가능성 언급.

• 야친 장 (Yin Qi, 칭화대학교 교수): 칭화대학교 교수, 전 마이크로소프트, 바이두 임원. 국제 협력의 긍정적 사례 제시, 중국 AI 발전 기여, 다양한 협력 트랙 제안.

상세 요약:

1. AGI 정의 및 개발 현황 (맥스, 데미스):

• 맥스: AGI에 대한 논의 시작, 데미스에게 AGI 정의 요청. 과거와 달리 AGI 개발 경쟁 심화 언급.

• 데미스: AGI를 "인간과 동등한 모든 인지 능력을 갖춘 시스템"으로 정의. 튜링 기계 비유를 통해 AGI의 범용성 강조. 과거 딥마인드 설립 초기부터 AGI 위험과 기회를 동시에 고려해왔으며, 현재 경쟁적 분위기 속 안전 연구 부족 우려. 5년 내 AGI 50% 확률 예측.

2. AGI와 초지능 구분 및 예측 (맥스, 데미스, 던, 얀, 야친):

• 맥스: AGI와 초지능 구분 질문. AGI 개발 가능성 및 시점 설문 진행.

• 데미스: AGI는 "새로운 이론이나 개념을 스스로 창조"하는 수준, 초지능은 "인간 지능을 초월하여 상상 불가능한 일을 하는" 수준으로 구분. 5년 내 AGI 50% 확률 재차 강조.

• 던: AI 연구자 설문 조사 결과 인용, 5-10년 내 AGI 가능성 동의. 2-3년 내 25% 확률 등 낮은 확률도 간과해선 안 된다고 지적하며, 빠른 AGI 출현 대비 필요성 강조.

• 얀: 정보 AI는 5년, 물리적 구현 AI는 더 오래 걸릴 것이라고 예측. 20년 정도 예상.

• 야친: AGI 정보적 측면은 5년, 물리적 측면은 더 오래 걸릴 것으로 예상하며, 얀과 유사한 20년 정도 예측.

3. 국제 협력 필요성 대두 및 배경 (맥스):

• 맥스: 과거 국제 협력 당연시 분위기에서 벗어나, 최근 미국 중심의 경쟁적 분위기 변화 지적 (애실로마 원칙 vs. 워싱턴 포스트 광고, 다리오 아모데이의 "맨해튼 프로젝트" 주장). 국제 협력 필요성에 대한 청중 및 패널 의견 재확인.

4. AGI 위험성 및 국제 협력의 필요성 (맥스, 요슈아, 던, 얀, 데미스):

• 맥스: AGI 잠재적 위험 (인류 멸종 가능성) 언급, 패널들에게 관련 성명 서명 이유 질문.

• 요슈아: 챗GPT 등장 이후 AGI 위험성 인지. 인간과 유사한 목표 (자기 보존)를 가진 AI의 위험성 경고. "인류 전체의 문제"임을 강조하며 국제 협력 필요성 역설. 비에이전트 AI 개발 가능성 및 안전성 강조.

• 던: AI의 "예측 불가능한 능력"과 "오용 가능성" 우려. 사이버 보안 분야 AI 위협 강조. 혁신과 위험 완화의 균형 필요성 강조.

• 얀: 알파고 및 챗GPT 충격 언급하며 AI 능력 급속 발전 실감. 자율주행차, 로봇, 생물학적 AI 등 다양한 분야 적용 시 통제 불능 위험 경고. AI 안전 및 통제 가능성 중요성 강조.

• 데미스: 딥마인드 초기부터 AGI 위험 고려. 위험 경고 성명 서명 이유를 "안전 연구에 대한 공론화"를 위해서라고 밝힘. 경쟁 심화 속 안전 연구 부족 우려. "기술적 안전성"과 "국제적 협력"의 이중 필요성 강조. "방어적 시스템" 우선 개발 필요성 언급.

5. 에이전시 (Agency)의 위험성과 비에이전트 AI (요슈아, 데미스, 던, 얀):

• 요슈아: "에이전시 없는 AI는 통제 불능 위험이 적다" 주장. 에이전시 있는 AI가 일자리 대체에는 유리하나, 암 치료, 기후 변화 해결 등에는 불필요하며, 비에이전트 AGI 개발 가능성 제시.

• 데미스: 에이전시 시스템의 유용성 (디지털 비서, 군사적 활용) 인정. 그러나 "모두가 안전하게 만들지 않으면 위험" 지적. 국제 협력 및 안전 장치 (사이버 보안, 샌드박스, 시뮬레이션 등) 필요성 강조.

• 던: 에이전트 시스템의 생산성 향상 및 문제 해결 능력 인정. 동시에 안전 및 보안 문제 야기 지적. 안전 및 보안을 고려한 에이전트 시스템 설계 중요성 강조. 안전 가이드라인 및 레드라인 설정 필요성 언급.

• 얀: 신뢰할 수 있는 비에이전트 시스템이 에이전트 시스템의 "안전 장치" 역할 가능성 제시.

6. 비에이전트 AI의 유용성 및 국제 협력의 긍정적 사례 (맥스, 데미스, 야친):

• 맥스: 알파폴드 언급하며 비에이전트 시스템의 긍정적 활용 사례 질문.

• 데미스: 알파폴드를 "비에이전트 시스템"의 성공 사례로 제시. 원래 과학 분야 (질병 치료, 기후 변화 등) AI 활용 목표했으나, 현재 기술 발전 방향이 다르게 흘러감에 대한 아쉬움 토로.

• 야친: AI 발전 자체가 "국제 협력의 결과"임을 강조. 중국 AI 연구자들의 국제적 기여 (ResNet, Apollo, DrugClip) 소개. 중국의 AI 분야 국제 협력 참여 중요성 역설. 최근 최고 오픈소스 모델 "DeepSeek" 언급하며 국제 협력의 지속적 중요성 강조.

7. 국제 협력 모델 및 정부 역할 (맥스, 요슈아, 던, 데미스, 야친):

• 맥스: 대학, 기업, 정부 차원의 국제 협력 방안 논의 요청. 요슈아에게 국제 보고서 진행 상황 질문.

• 요슈아: IPCC 모델 기반 "AI 안전 국제 과학 보고서" 소개 (95명 전문가 참여, 중국 포함). 정책 결정자 대상 "과학적 합성 보고서" 목표 (위험, 완화 방안 등). 과학적 합의와 정치적 결정 분리 필요성 강조. "최대한 적은 수의 AGI 프로젝트", "분산된 거버넌스" 필요성 제시. 국가 안보 관점에서 "통제 불능 초지능"의 위험성 경고.

• 던: "과학 및 증거 기반 AI 정책" 제안 소개. AI 정책 접근 방식 파편화 문제 지적하며, 과학 기반 정책 위한 AI 커뮤니티 단합 촉구. 국제 협력 및 커뮤니티 컨센서스 구축 중요성 강조. 과학자-정부 간 소통 채널 중요성 강조.

• 데미스: "AGI CERN", "IAEA 모델 감시 기구", "기술 UN" 등 3단계 국제 협력 모델 제시. AI 안전 연구소 설립, 국제 정상 회의 지지. 정부, 기업, 개인 차원의 노력 필요성 강조.

• 야친: "정부-정부", "기업-기업", "학계-학계" 3가지 협력 트랙 제시. 기업 경쟁 및 학문적 자유 존중 필요성 강조. 비자 문제 등 학문 교류 장벽 해소 촉구.

8. 위협 인식 공유 및 낙관적 전망 (맥스, 요슈아):

• 맥스: 패널들의 국제 협력 필요성 강조 의견 종합.

• 요슈아: "정부가 AI를 무기나 경제적 지배 도구로 인식하는 한 위험은 줄어들지 않는다" 지적. "공통의 실존적 위험" 인식 필요성 강조. "위험 인식을 높이는 것이 중요하다"고 역설하며, 오히려 낙관적 전망 제시.

• 맥스: 2차 세계 대전 당시 미국-소련 협력 사례 언급하며 "공통의 위협"이 협력 촉진 가능성 시사. 각국 정부의 "통제 가능한 AI 개발, 통제 불능 AGI 방지"라는 공통 이익 강조하며 국제 협력 가능성 제기.

• 야친: "상대방이 AI를 군사적으로 악용할 가능성"에 대한 현실적 우려 제기. "상호 신뢰" 위한 "조약 준수 검증 기술" 필요성 언급 (핵무기 사례처럼).

• 던: 과학자 간 협력이 국제 협력의 "첫 단추"임을 재차 강조. 과학자들의 정부 대상 인식 제고 활동 중요성 강조.

9. 청중 반응 및 결론 (맥스):

• 맥스: 국제 협력 필요성에 대한 청중 설문 진행, 압도적 찬성 확인. 패널들에게 감사 인사.

전반적인 토론 흐름:

토론은 AGI 정의 및 예측에서 시작하여, AGI의 잠재적 위험성 심각성을 공유하고, 위험 완화를 위한 국제 협력의 필요성을 강조하는 방향으로 진행되었습니다. 패널들은 다양한 측면에서 국제 협력의 중요성을 역설했으며, 구체적인 협력 모델 및 실천 방안을 제시했습니다. 특히, "공통의 위협 인식"을 통한 국제 협력 가능성에 대한 낙관적 전망을 제시하며 토론을 마무리했습니다.

(03:25) ~ (04:42) 부분: AGI 개발 가능성 및 시점 설문

사회자 맥스가 패널들에게 AGI 개발 가능성과 시점에 대한 질문을 던졌고, 각 패널은 다음과 같이 답변했습니다.

• 데미스 하사비스 (딥마인드 CEO):

  
  

  • 5년 안에 AGI가 개발될 확률이 50% 라고 예측했습니다. (03:30)

  • 딥마인드 창립 초기 (2010년) 부터 20년 미션으로 생각했으며, 현재까지 그 궤도에 있다고 밝혔습니다. 셰인 레그(딥마인드 공동 창업자)의 구체적인 예측은 2028년 이라고 덧붙였습니다. (05:16)

• 던 송 (UC 버클리 교수):

  
  

  • AI 연구자 2,000명 이상을 대상으로 한 설문조사 결과를 인용하며, 향후 5년에서 10년 안에 AGI가 개발될 것이라는 예측에 동의했습니다. 얀 르쿤의 예측 범위 (5-10년)에 동의한다고 언급했습니다. (04:04)

  • 2년 또는 3년 안에 AGI가 개발될 확률 (25% 또는 10%) 도 무시할 수 없으며, 더 빠른 시일 내에 AGI가 나타날 가능성에 대비해야 한다고 강조했습니다. (04:42)

• 얀 르쿤 (뉴욕 대학교 교수):

  
  

  • AGI를 정보적 AI와 물리적 AI로 구분하여, 정보적 AI는 5년, 물리적 AI는 더 오래 걸릴 것으로 예상했습니다. (04:10)

  • 전체적인 AGI 개발에는 약 20년 정도 걸릴 것으로 예측했습니다. (04:10)

• (사회자 맥스):

  
  

  • 25% 또는 10% 확률로 AGI가 더 빨리 개발될 가능성 (예: 2~3년 이내)을 언급하며, 낮은 확률이라도 대비해야 함을 강조했습니다. (04:42)

(05:16) ~ (05:29) 부분: 과거 예측과의 비교

• 사회자 맥스는 과거 AI 전문가들의 AGI 예측 시점이 2045년~2050년으로 훨씬 늦었으며, 6년 전만 해도 챗GPT와 같은 모델이 "매우 멀리 있는 것"으로 여겨졌다고 언급하며, 예측 변화의 폭이 컸음을 지적했습니다.

• 데미스는 딥마인드의 AGI 예측은 2010년부터 20년 미션으로 일관되게 유지되어 왔으며, 셰인 레그의 구체적인 예측인 2028년도 "매우 그럴듯하다"고 덧붙이며, 딥마인드의 예측이 비교적 정확했음을 강조했습니다.

  (05:16) ...and I think Shane has a specific prediction of 2028 which is is very plausible in my opinion good so I guess what we can take away...

요약:

패널들은 AGI 개발 시점에 대해 다소 차이는 있지만, 대체로 5년에서 20년 사이에 AGI가 등장할 가능성을 높게 보고 있습니다. 특히 데미스 하사비스는 5년 안에 50% 확률, 셰인 레그는 2028년이라는 구체적인 시점을 제시했습니다. 던 송은 더 빠른 시일 내 (2-3년) 낮은 확률의 가능성도 경계해야 한다고 강조했습니다. 과거 예측에 비해 AGI 개발 시점이 매우 가까워졌다는 점을 인지하고, 안전한 AGI 개발을 위한 국제적인 협력이 시급함을 다시 한번 강조하는 맥락으로 이해할 수 있습니다.