인터뷰/예측
요수아벤지오 - AI 안전을 심각하게 받아들이지 않는 주장을 통해 추론하기
작성자
작성일
2024-07-11 09:50
조회
1255
https://yoshuabengio.org/2024/07/09/reasoning-through-arguments-against-taking-ai-safety-seriously/
저는 또한 "AI는 진정한 지능을 가질 수 없다 " 또는 "AI는 다음 단어를 예측할 뿐이다"와 같은 진술은 설득력이 없다고 생각합니다. 저는 " 진정한" 지능을 "인간의 지능적인 방식"으로 정의한다면 AI는 " 진정한 " 지능을 가지고 있지 않다는 데 동의합니다. AI의 정보 처리 및 추론 방식은 우리와 다릅니다. 하지만 잠재적으로 치명적인 AI 위험에 대한 대화에서 이는 주의를 산만하게 합니다. 그러한 대화에서 중요한 것은 AI가 무엇을 이룰 수 있는가입니다. AI는 문제 해결에 얼마나 능숙한가? 저는 "AGI"와 "ASI"를 이렇게 생각합니다. AI가 기본적으로 모든 문제(물리적 행동이 필요한 문제 제외)를 해결하는 데 있어 인간 전문가만큼 능숙하거나 더 뛰어난 수준의 AI 역량입니다. AI가 이를 수행할 수 있는 방식은 위험의 존재를 바꾸지 않습니다. 그리고 수십 년간의 연구를 통해 AI 시스템의 능력을 살펴보면 능력이 증가하는 매우 명확한 추세가 있습니다. 또한 언어와 시각 자료에 대한 매우 높은 수준의 숙달과 더 광범위한 인지 과제에서 점점 더 많은 능력을 갖춘 현재 수준의 AI 능력도 있습니다. 실제 현재 능력에 대한 의견 불일치를 포함하여 훨씬 더 많은 증거에 대해서는 "보고서"를 참조하십시오. 마지막으로, 인간이 지능의 정점에 있다고 믿을 과학적 이유는 없습니다. 사실, 많은 전문화된 인지 과제에서 컴퓨터는 이미 인간을 능가합니다. 따라서 ASI도 그럴듯합니다(어느 수준인지는 알 수 없지만). 그리고 과학이 아닌 개인적 신념에 기반한 주장에 의존하지 않는 한 AGI와 ASI의 가능성을 배제할 수 없습니다.
AGI가 수십 년 안에만 가능하다고 생각하는 사람들을 위해
또 다른 일반적인 주장은 AGI가 아직 도달하지 않았고 어떤 모습일지 알 수 없기 때문에 AGI의 위험에 대해 규제할 필요가 없다는 것입니다. 저는 이 주장이 두 가지 이유에서 설득력이 없다고 생각합니다. 첫째, 현재 방법에 약간의 트릭을 더하면 AGI가 달성되지 않을 것이라고 확신할 수 없으며, 역량 추세선은 계속해서 AGI를 가리키고 있습니다. 둘째, 가장 중요한 점은 AGI가 언제 등장할지 알 수 없고, 법률, 규제 기관 및 조약을 제정하는 데 수십 년이 아니라면 수년이 걸린다는 것입니다. 게다가 누가 정직하고 진정한 겸손함으로 진보가 확실히 코앞에 다가오지 않았다고 말할 수 있겠습니까? 현재 가장 진보된 범용 AI 시스템과 인간 지능을 비교할 때 AI 연구의 새로운 돌파구가 필요할 수 있는 격차가 있다는 데 동의합니다. 특히, 현재의 대화 시스템은 인간만큼 추론하고 계획하지 못하며 일관되지 않은 행동을 많이 보인다는 데 동의합니다.
하지만 우리는 이미 인간보다 더 잘 추론하고 계획할 수 있는 시스템을 가지고 있습니다.예를 들어, AlphaGo의 경우, 그들의 지식은 제한적이고 학습된 것이 아니라 하드코딩된 것입니다(예를 들어 Go의 규칙).따라서 필요한 획기적인 발견은 GPT-4의 지식 습득 및 언어 능력을 AlphaGo의 계획 능력과 결합하는 것입니다.게다가 많은 인간도 그렇게 잘 추론하지 못하고 현실에 근거하지 않은 답을 "환상"하거나 일관성 없이 행동할 수 있는데, 둘 다 LLM의 잘 연구된 약점이므로 우리는 일부 사람들이 생각하는 것만큼 인간 수준의 역량 스펙트럼에서 멀리 떨어져 있지 않을 수 있습니다.하지만 더 중요한 것은 ChatGPT 이전에 저를 포함한 대부분의 AI 연구자들은 수십 년 전에 그 수준의 역량이 생겨날 것이라고 예상하지 못했다는 것입니다.더 중요한 것은 ChatGPT 이전에 저를 포함한 대부분의 AI 연구자들은 수십 년 전에 그 수준의 역량이 생겨날 것이라고 예상하지 못했고 AI 분야에서 가장 많이 인용된 세 명의 전문가는 이제 이것이 무엇을 의미할 수 있는지 걱정하고 있습니다. 이러한 불확실성을 감안할 때, 저는 우리가 열린 관점을 유지할 것을 권고합니다. 발전은 같은 속도로 계속될 수도 있고, 정체되어 AGI에 도달하는 데 수십 년이 걸릴 수도 있습니다. 이 모든 증거와 양립할 수 있는 유일한 합리적인 입장은 겸손과 불확실성에 대한 계획입니다.
제가 토론 중에 가끔 관찰하는 오해의 소지가 있는 패턴은 AI 역량이 영원히 현재 수준에 머물 것이라고 말하는 것입니다. 우리는 가장 위험한 상황에 대비하기 위해 미래의 시나리오와 AI 발전의 궤적을 고려해야 하며, 위 그림에서와 같이 추세를 점검해야 합니다.
요악
AI의 발전 속도가 빠르며, AGI와 ASI의 출현 시기를 정확히 예측하기 어렵습니다.
현재 AGI나 ASI를 안전하게 통제할 수 있는 방법이 없습니다.
AI의 위험성을 간과하는 여러 주장들(예: AI는 의식이 없다, AGI는 불가능하다 등)은 설득력이 부족합니다.
AI 개발 기업들의 이익과 공공의 이익 사이에 충돌이 있을 수 있습니다.
AI 안전성 연구와 AI 능력 개발 사이의 균형이 필요합니다.
국제적 협력과 규제가 AI 위험을 관리하는 데 중요합니다.
오픈소스 AI에 대한 장단점을 신중히 고려해야 합니다.
AI의 위험성을 논의하는 것이 단기적인 인권 문제를 해결하는 데 방해가 된다는 우려는 근거가 부족합니다.
AI의 위험성에 대한 우려는 파스칼의 내기와는 다릅니다. 실제로 많은 AI 연구자들이 심각한 위험 가능성을 인정하고 있습니다.
저는 또한 "AI는 진정한 지능을 가질 수 없다 " 또는 "AI는 다음 단어를 예측할 뿐이다"와 같은 진술은 설득력이 없다고 생각합니다. 저는 " 진정한" 지능을 "인간의 지능적인 방식"으로 정의한다면 AI는 " 진정한 " 지능을 가지고 있지 않다는 데 동의합니다. AI의 정보 처리 및 추론 방식은 우리와 다릅니다. 하지만 잠재적으로 치명적인 AI 위험에 대한 대화에서 이는 주의를 산만하게 합니다. 그러한 대화에서 중요한 것은 AI가 무엇을 이룰 수 있는가입니다. AI는 문제 해결에 얼마나 능숙한가? 저는 "AGI"와 "ASI"를 이렇게 생각합니다. AI가 기본적으로 모든 문제(물리적 행동이 필요한 문제 제외)를 해결하는 데 있어 인간 전문가만큼 능숙하거나 더 뛰어난 수준의 AI 역량입니다. AI가 이를 수행할 수 있는 방식은 위험의 존재를 바꾸지 않습니다. 그리고 수십 년간의 연구를 통해 AI 시스템의 능력을 살펴보면 능력이 증가하는 매우 명확한 추세가 있습니다. 또한 언어와 시각 자료에 대한 매우 높은 수준의 숙달과 더 광범위한 인지 과제에서 점점 더 많은 능력을 갖춘 현재 수준의 AI 능력도 있습니다. 실제 현재 능력에 대한 의견 불일치를 포함하여 훨씬 더 많은 증거에 대해서는 "보고서"를 참조하십시오. 마지막으로, 인간이 지능의 정점에 있다고 믿을 과학적 이유는 없습니다. 사실, 많은 전문화된 인지 과제에서 컴퓨터는 이미 인간을 능가합니다. 따라서 ASI도 그럴듯합니다(어느 수준인지는 알 수 없지만). 그리고 과학이 아닌 개인적 신념에 기반한 주장에 의존하지 않는 한 AGI와 ASI의 가능성을 배제할 수 없습니다.
AGI가 수십 년 안에만 가능하다고 생각하는 사람들을 위해
또 다른 일반적인 주장은 AGI가 아직 도달하지 않았고 어떤 모습일지 알 수 없기 때문에 AGI의 위험에 대해 규제할 필요가 없다는 것입니다. 저는 이 주장이 두 가지 이유에서 설득력이 없다고 생각합니다. 첫째, 현재 방법에 약간의 트릭을 더하면 AGI가 달성되지 않을 것이라고 확신할 수 없으며, 역량 추세선은 계속해서 AGI를 가리키고 있습니다. 둘째, 가장 중요한 점은 AGI가 언제 등장할지 알 수 없고, 법률, 규제 기관 및 조약을 제정하는 데 수십 년이 아니라면 수년이 걸린다는 것입니다. 게다가 누가 정직하고 진정한 겸손함으로 진보가 확실히 코앞에 다가오지 않았다고 말할 수 있겠습니까? 현재 가장 진보된 범용 AI 시스템과 인간 지능을 비교할 때 AI 연구의 새로운 돌파구가 필요할 수 있는 격차가 있다는 데 동의합니다. 특히, 현재의 대화 시스템은 인간만큼 추론하고 계획하지 못하며 일관되지 않은 행동을 많이 보인다는 데 동의합니다.
하지만 우리는 이미 인간보다 더 잘 추론하고 계획할 수 있는 시스템을 가지고 있습니다.예를 들어, AlphaGo의 경우, 그들의 지식은 제한적이고 학습된 것이 아니라 하드코딩된 것입니다(예를 들어 Go의 규칙).따라서 필요한 획기적인 발견은 GPT-4의 지식 습득 및 언어 능력을 AlphaGo의 계획 능력과 결합하는 것입니다.게다가 많은 인간도 그렇게 잘 추론하지 못하고 현실에 근거하지 않은 답을 "환상"하거나 일관성 없이 행동할 수 있는데, 둘 다 LLM의 잘 연구된 약점이므로 우리는 일부 사람들이 생각하는 것만큼 인간 수준의 역량 스펙트럼에서 멀리 떨어져 있지 않을 수 있습니다.하지만 더 중요한 것은 ChatGPT 이전에 저를 포함한 대부분의 AI 연구자들은 수십 년 전에 그 수준의 역량이 생겨날 것이라고 예상하지 못했다는 것입니다.더 중요한 것은 ChatGPT 이전에 저를 포함한 대부분의 AI 연구자들은 수십 년 전에 그 수준의 역량이 생겨날 것이라고 예상하지 못했고 AI 분야에서 가장 많이 인용된 세 명의 전문가는 이제 이것이 무엇을 의미할 수 있는지 걱정하고 있습니다. 이러한 불확실성을 감안할 때, 저는 우리가 열린 관점을 유지할 것을 권고합니다. 발전은 같은 속도로 계속될 수도 있고, 정체되어 AGI에 도달하는 데 수십 년이 걸릴 수도 있습니다. 이 모든 증거와 양립할 수 있는 유일한 합리적인 입장은 겸손과 불확실성에 대한 계획입니다.
제가 토론 중에 가끔 관찰하는 오해의 소지가 있는 패턴은 AI 역량이 영원히 현재 수준에 머물 것이라고 말하는 것입니다. 우리는 가장 위험한 상황에 대비하기 위해 미래의 시나리오와 AI 발전의 궤적을 고려해야 하며, 위 그림에서와 같이 추세를 점검해야 합니다.
요악
AI의 발전 속도가 빠르며, AGI와 ASI의 출현 시기를 정확히 예측하기 어렵습니다.
현재 AGI나 ASI를 안전하게 통제할 수 있는 방법이 없습니다.
AI의 위험성을 간과하는 여러 주장들(예: AI는 의식이 없다, AGI는 불가능하다 등)은 설득력이 부족합니다.
AI 개발 기업들의 이익과 공공의 이익 사이에 충돌이 있을 수 있습니다.
AI 안전성 연구와 AI 능력 개발 사이의 균형이 필요합니다.
국제적 협력과 규제가 AI 위험을 관리하는 데 중요합니다.
오픈소스 AI에 대한 장단점을 신중히 고려해야 합니다.
AI의 위험성을 논의하는 것이 단기적인 인권 문제를 해결하는 데 방해가 된다는 우려는 근거가 부족합니다.
AI의 위험성에 대한 우려는 파스칼의 내기와는 다릅니다. 실제로 많은 AI 연구자들이 심각한 위험 가능성을 인정하고 있습니다.
전체 0