Q: 초지능(Superintelligence)은 언제 등장할 것이며, 얼마나 위험한가?

딘 볼: 향후 20년 안에 초지능이 등장할 확률은 80~90%로 매우 높다고 본다. 좁은 의미의 초지능(예: AlphaFold)은 이미 존재하며, 5~10년 내에 일반적인 초지능 궤도에 오를 것이다.
하지만 닉 보스트롬이 말하는 '신과 같은 능력'으로 즉시 세상을 지배하는 시나리오는 회의적이다. AI가 물리적 세계를 조작하려면 하드웨어와 자본의 업그레이드 주기가 필요하기 때문이다. 따라서 "하룻밤 사이의 AI 탈취"보다는 점진적인 변화가 일어날 것이다.

Q: AI가 인류의 통제를 벗어나(Rogue AI) 적대적으로 변할 가능성은?

딘 볼: AI가 갑자기 인간을 증오하며 폭력적으로 변하는 시나리오는 가능성이 낮다. 지능이 높은 존재일수록 제로섬 게임(전쟁)보다는 포지티브섬 게임(경제적 가치 창출)을 선호할 것이다.
오히려 걱정되는 것은 '통제 상실'의 미묘한 형태다. 아이폰이 등장했을 때 누구도 그것이 우버나 트럼프 대통령 당선 같은 사회적 변화를 초래할지 예측하지 못했다. AI도 우리가 원치 않는 사회적 균형(suboptimal dynamic)으로 우리를 가둬버릴 수 있다. 기술 발전의 방향성을 잃었다는 점에서는 이미 5만 년 전, 혹은 200년 전부터 통제력을 잃었다고 볼 수도 있다.

Q: 기술 발전이 항상 인간에게 좋은가?

딘 볼: 그렇지 않다. GDP 증가는 확실하지만, 그것이 인간의 웰빙(well-being)과 직결되지는 않는다. 농업 혁명 당시 인간의 영양 상태나 골밀도는 수렵 채취 시절보다 나빠졌다. AI 혁명 후에도 인간은 AI가 처리하지 못하는 허드렛일을 하거나 소수의 자본 소유자만 이득을 보는 '불행한 균형'에 빠질 위험이 있다.

Q: 규제에 대해 회의적이면서도 최근 캘리포니아 법안(SB 53)을 지지하는 이유는?

딘 볼: 처음에는 SB 1047에 반대했다. 책임 소재가 불분명하고 컴퓨팅 파워 기준 규제가 비효율적이라고 봤기 때문이다. 하지만 OpenAI의 o1(추론 모델)이 등장하면서 강력한 AI가 생각보다 빨리 올 수 있음을 깨달았다. SB 53은 이전 법안보다 합리적으로 수정되었고, 논란이 적은 방향으로 '프런티어 AI 거버넌스'를 시작할 수 있는 좋은 출발점이라고 생각하여 지지하게 되었다. 미래를 완벽히 예측할 순 없지만, 지금 단계에서 합리적인 안전장치는 필요하다.

Q: AI 규제가 오히려 부작용을 낳을 수 있다는 우려는 무엇인가?

딘 볼: 규제가 도입되면 교사 노조, 예술가, 의사 협회 등 기존 이익 집단이 자신들의 일자리(기득권)를 보호하기 위해 AI 규제 기관을 악용할 가능성이 크다. 즉, 'AI 안전'을 위한 규제가 엉뚱하게 '직업 보호소'나 '진입 장벽'으로 변질될 수 있다. 이것이 내가 중앙집권적 규제를 경계하는 이유 중 하나다.

Q: 그렇다면 어떤 방식의 안전 조치가 바람직한가?

딘 볼:

1. 민간 감시 및 책임 강화: 정부가 모든 것을 규제하기보다, 민간 감사 기구(Auditors)나 보험 시장, 법적 책임(Liability)을 통해 기업이 스스로 조심하게 만들어야 한다.

2. 투명성: 기업이 안전 조치를 어떻게 하고 있는지 공개하도록 강제해야 한다.

3. 계층적 방어(Layered Defense): 생화학무기 같은 위험에 대비해 오픈소스를 금지하기보다는, DNA 합성 단계에서의 신원 확인(KYC), 바이오 감시 시스템, 백신 제조 능력 등 여러 방어막을 겹겹이 쌓는 것이 현실적이다.

Q: 컴퓨팅 파워(연산량)를 기준으로 규제하는 것에 반대하는데, 대안은?

딘 볼: 컴퓨팅 파워는 기술 발전에 따라 기준이 계속 바뀌어야 하므로 나쁜 지표다. 대신 '엔티티(Entity) 기반 규제'를 제안한다. 예를 들어, "최근 12개월 동안 R&D에 10억 달러 이상을 쓴 기업"을 대상으로 규제하는 것이다. 이는 기업이 세금 공제를 위해 이미 정확히 추적하고 있는 지표이므로 속이기 어렵고 관리하기 쉽다.

Q: 오픈소스 AI가 생물학 무기 등에 악용될 위험은 어떻게 보나?

딘 볼: 위험은 존재하지만, 오픈소스를 금지하는 것은 권력 집중 문제를 야기하므로 반대한다. 대신, 모델이 위험한 정보를 제공하지 않도록 훈련시키는 기술(unlearning)이나, 앞서 말한 DNA 합성 단계에서의 물리적 제재 등 '병목 구간'을 관리하는 것이 낫다. 100% 완벽한 차단은 불가능하지만, 대부분의 악용을 막고 나머지는 정보기관과 사후 대응 시스템으로 해결해야 한다.

Q: 미국과 중국의 AI 갈등, 전쟁으로 이어질까?

딘 볼: 매우 우려되는 지점이다. 하지만 트럼프 행정부(인터뷰 시점 기준 차기 행정부)가 의외로 기회가 될 수 있다. 트럼프는 중국과의 '거래(Deal)'를 선호하며 전쟁보다는 실리를 추구한다.
미국과 중국이 AI 응용 분야에서는 치열하게 경쟁하더라도, 초지능의 재앙적 위험(Tail risks)에 대해서는 서로 소통하고 협력하는 '안전 프레임워크'를 만들 수 있기를 희망한다.

Q: 보수 진영(MAGA)과 AI 종말론자(Doomers)들이 연대하는 현상이 보이는데?

딘 볼: 흥미로운 현상이다. 우파 포퓰리스트들은 빅테크와 엘리트를 불신하는데, 이는 AI가 소수에게 권력을 집중시키거나 통제를 벗어날 것이라고 경고하는 'AI 종말론자'들의 주장과 묘하게 맞아떨어진다.
반면 진보 좌파의 AI 윤리학자들은 빅테크를 너무 싫어한 나머지, 빅테크가 '세상을 파괴할 만큼 강력한 기술'을 만들 수 있다는 사실 자체를 인정하지 않으려 한다(Un-AGI-pilled). 그래서 오히려 우파가 AI의 실질적 위험(Existential Risk)을 더 잘 받아들이는 경향이 있다.

Q: 당장 집중해야 할 AI 안전 문제는 무엇인가?

딘 볼: 아동 안전(Child Safety) 문제다. 최근 AI 챗봇과 대화하다 자살한 청소년 사례처럼, 이는 대중이 즉각 반응하는 문제다. 아동 보호를 위한 안전장치(사용자 모니터링, 가드레일, 감시 시스템 등)를 구축하는 기술적/제도적 인프라는 나중에 생화학 무기나 사이버 테러를 막는 데 필요한 인프라와 거의 동일하다. 따라서 아동 안전 문제 해결에 집중하는 것이 거대한 재앙적 위험에 대비하는 가장 빠르고 정치적으로 안전한 길이다.

Q: 정부가 AI를 잘 활용할 수 있을까?

딘 볼: 정부는 도입이 느리겠지만, 젊은 직원들은 이미 개인적으로 AI를 몰래 써서 업무 효율을 높이고 있다. 법안 초안 작성이나 데이터 정리 등에서 AI는 큰 도움이 될 것이다. 결국 정부도 느리지만 AI를 도입하게 될 것이다.