https://openai.com/index/governance-of-superintelligence/

 

현재의 상황을 보면, 향후 10년 내에 AI 시스템이 대부분의 분야에서 전문가 수준을 넘어설 가능성이 있으며, 오늘날의 대기업과 같은 생산 활동을 수행할 수 있을 것으로 보입니다.

슈퍼인텔리전스는 과거의 다른 기술들보다도 더 강력할 수 있으며, 우리는 위험을 관리하여 번영한 미래를 맞이할 수 있습니다. 핵 에너지가 그 예로 자주 언급되며, 합성 생물학도 또 다른 예입니다.

현재의 AI 기술의 위험을 줄이는 것도 중요하지만, 슈퍼인텔리전스는 특별한 대우와 조정이 필요합니다.

출발점

우리가 이 발전을 성공적으로 이끌기 위해 고려해야 할 여러 아이디어가 있습니다. 여기서는 그 중 세 가지를 초기 생각으로 제시합니다.

첫째, 주요 개발 노력 간의 일정 수준의 조정이 필요합니다. 주요 정부들이 프로젝트를 설립하거나, 새로운 조직의 뒷받침을 받아 AI 능력의 성장률을 연간 일정 수준으로 제한하는 방안을 마련할 수 있습니다.

둘째, 슈퍼인텔리전스 노력을 위한 국제 원자력기구(IAEA)와 같은 기구가 필요할 것입니다. 특정 능력 이상(또는 컴퓨팅 자원 등)의 노력이 국제 기구의 감독을 받아야 하며, 시스템 검사, 감사, 안전 기준 준수 테스트 등을 실시할 수 있어야 합니다.

셋째, 슈퍼인텔리전스를 안전하게 만드는 기술적 능력이 필요합니다. 이는 아직 해결되지 않은 연구 과제입니다.

범위 밖

상당한 능력 임계값 이하의 모델을 개발하는 회사나 오픈 소스 프로젝트는 규제 없이 발전할 수 있어야 합니다. 현재의 시스템들은 큰 가치를 창출하며, 위험 수준도 인터넷 기술과 비슷합니다. 우리가 우려하는 시스템들은 훨씬 강력하기 때문에, 이에 대한 집중을 희석해서는 안 됩니다.

 

공공의 참여와 잠재력

가장 강력한 시스템의 거버넌스와 배포 결정은 강력한 공공 감시가 필요합니다. 사람들은 AI 시스템의 경계와 기본값을 민주적으로 결정해야 합니다. 이를 설계하는 방법은 아직 모르지만, 우리는 실험해 나갈 계획입니다. 개인 사용자들이 사용하는 AI의 행동에 대해 많은 통제권을 갖는 것이 중요합니다.

우리는 왜 이 기술을 개발하는지 생각해볼 가치가 있습니다.

첫째, 우리는 이 기술이 오늘날 상상할 수 없는 더 나은 세상을 만들 것이라고 믿습니다. 교육, 창의적 작업, 개인 생산성 등에서 이미 초기 예시를 보고 있습니다. 이 기술은 우리의 사회를 개선하고, 새로운 도구를 사용하는 창의력을 증진시킬 것입니다.

둘째, 슈퍼인텔리전스의 창조를 막는 것은 직관적으로 위험하고 어렵다고 생각합니다. 엄청난 상승효과와 비용 절감, 개발하는 주체의 증가 등을 고려할 때 이를 중단하려면 글로벌 감시 체계가 필요하며, 이는 보장되지 않습니다. 따라서 우리는 올바르게 해야 합니다.