https://managing-ai-risks.com/

인공지능(AI)은 빠르게 발전하고 있으며, 기업들은 자율적으로 행동하고 목표를 추구할 수 있는 범용 AI 시스템 개발로 초점을 옮기고 있습니다. 능력과 자율성의 증가는 곧 대규모 사회적 피해, 악의적인 사용, 자율 AI 시스템에 대한 인간의 돌이킬 수 없는 통제력 상실 등의 위험과 함께 AI의 영향력을 크게 증폭시킬 수 있습니다. 연구자들은 AI의 극단적인 위험에 대해 경고해 왔지만, 이러한 위험이 정확히 어떻게 발생하고 어떻게 관리해야 하는지에 대한 합의가 부족합니다. 사회의 대응은 유망한 첫걸음에도 불구하고 많은 전문가들이 기대하는 빠르고 혁신적인 발전 가능성에 걸맞지 않습니다. AI 안전 연구가 뒤처지고 있습니다. 현재의 거버넌스 이니셔티브는 오용과 무모함을 방지할 수 있는 메커니즘과 제도가 부족하고 자율 시스템을 거의 다루지 않고 있습니다. 이 짧은 컨센서스 백서에서는 다가오는 첨단 AI 시스템의 극단적인 위험에 대해 설명합니다. 그리고 다른 안전에 중요한 기술에서 얻은 교훈을 바탕으로 기술 연구 개발과 사전 예방적이고 적응적인 거버넌스 메커니즘을 결합한 포괄적인 계획의 윤곽을 제시하여 보다 적절하게 대비할 수 있도록 합니다.