https://www.reddit.com/r/singularity/comments/kxgg1b/openais_chief_scientist_ilya_sutskever_comments/

저는 기술이 자연의 힘이라고 생각합니다. 기술과 생물학적 진화 사이에는 많은 유사점이 있다고 생각합니다. 신을 연기하는 것. 과학자들은 한동안 신처럼 행동한다는 비난을 받아왔지만, 지금까지 우리가 만들어온 것과는 매우 다른 것을 창조하고 있다는 실질적인 의미가 있습니다. 저는 비교적 어릴 때부터 AI라는 개념에 관심이 많았습니다. 어느 순간 머신러닝에 특히 관심이 생겼어요. 경험이란 무엇입니까? 학습이란 무엇입니까? 생각이란 무엇입니까? 뇌는 어떻게 작동하나요? 이러한 질문은 철학적이지만 유용한 작업을 수행하고 이러한 질문에 답하는 데 도움이 되는 알고리즘을 생각해 낼 수 있는 것처럼 보입니다. 응용철학과 거의 비슷하네요. 인공 일반 지능, AGI. 인간이 수행하는 모든 작업을 수행할 수 있지만 그 성능은 더 뛰어난 컴퓨터 시스템입니다. 네, 제 말은, 우리는 확실히 자신의 목표를 가지고 완전히 자율적인 존재를 만들 수 있다는 것입니다. 그리고 특히 이러한 존재들이 인간보다 훨씬 더 똑똑해짐에 따라 이러한 존재들을 갖는 것이 중요할 것입니다. 이들 존재들의 목표가 우리의 목표와 일치하는 것이 중요할 것입니다. 이것이 바로 우리가 OpenAI에서 하려고 하는 일입니다. 연구의 최전선에 서서 연구를 주도하고 초기 조건을 조정하여 미래가 인간에게 좋을 가능성을 최대화하십시오. 이제 AI는 대단한 것입니다. 왜냐하면 AI가 오늘날 우리가 겪고 있는 모든 문제를 해결할 것이기 때문입니다. 그것은 고용을 해결하고, 질병을 해결하고, 빈곤을 해결하지만 동시에 새로운 문제를 야기할 것입니다. 내 생각엔... 가짜뉴스 문제는 수천배, 백만배 더 심각해질 것 같아요. 사이버 공격은 훨씬 더 극심해질 것입니다. 당신은 완전히 자동화된 AI 무기를 갖게 될 것입니다. 저는 AI가 무한히 안정적인 독재체제를 만들 수 있는 잠재력을 갖고 있다고 생각합니다. 지금으로부터 10년 또는 15년 후에는 훨씬 더 지능적인 시스템을 보게 될 것이며, 이러한 시스템이 사회에 완전히 천문학적인 영향을 미칠 가능성이 매우 높다고 생각합니다. 인간은 실제로 이익을 얻을 것인가? 그러면 누가 혜택을 받고, 누가 혜택을 받지 못합니까?

인공 일반 지능, AGI. 당신의 가장 똑똑한 친구가 1,000명의 친구와 똑같이 똑똑하다고 상상하고, 그들을 실시간보다 1,000배 더 빠르게 실행하세요. 그러므로 우리 시대의 매일매일 그들은 3년 동안 생각을 하게 된다는 뜻입니다. 매일 3년 동안 일할 수 있다면 얼마나 많은 일을 할 수 있는지 상상할 수 있습니까? 지금 우리가 갖고 있는 것이 20세기 초의 양자 물리학자들보다 훨씬 더 흥미롭다고 말하는 것은 불공평한 비교가 아닐 것입니다. 그들은 원자력을 발견했습니다. 이 일에 참여하게 된 것은 정말 행운이라고 생각합니다. 지식과 경험이 풍부한 많은 머신러닝 전문가들은 AGI에 대해 회의적인 시각을 많이 가지고 있습니다. 언제 일어날 것인지, 그리고 그것이 일어날 수 있는지에 대해. 그러나 지금 당장 이것은 많은 사람들이 아직 깨닫지 못한 것입니다. 컴퓨터, 신경망, AI의 속도는 몇 년 안에 100,000배 더 빨라질 것입니다. 오랫동안 전체 하드웨어 산업은 다음에 무엇을 해야할지 몰랐습니다. 그러나 인공 신경망을 사용하면 이제 실제로 작동하므로 거대한 컴퓨터를 만들 이유가 있습니다. 실리콘으로 뇌를 만드는 것이 가능합니다. 최초의 AGI는 기본적으로 병렬로 작동하는 특수 신경망 프로세서로 가득 찬 매우 큰 데이터 센터가 될 것입니다. 1,000만 가구에 해당하는 에너지를 소비하는 작고 뜨겁고 전력 소모가 많은 패키지입니다. 로스트 비프 샌드위치입니다. 응, 뭔가 좀 달라. 딱 한번만. 최초의 AGI라도 인간보다 훨씬 더 뛰어난 능력을 발휘할 것입니다. 인간은 더 이상 거의 모든 작업에 경제적으로 유용하지 않습니다. 훨씬 더 좋고 훨씬 더 저렴하게 작업을 수행할 수 있는 컴퓨터를 얻을 수 있다면 왜 인간을 고용하고 싶겠습니까? AGI는 의심할 여지없이 지구 역사상 가장 중요한 기술이 될 것입니다. 이는 전기, 원자력, 인터넷을 합친 것보다 더 클 것입니다. 사실, 모든 인간 과학의 전체 목적, 컴퓨터 과학의 목적, 엔드 게임, 이것이 엔드 게임이라고 말할 수 있습니다. 그리고 그것은 건설될 것입니다. 새로운 생명체가 탄생하는 것입니다. 그것은... 그것은 우리를 쓸모없게 만들 것입니다.

최초의 AGI의 신념과 욕구는 매우 중요할 것입니다. 따라서 올바르게 프로그래밍하는 것이 중요합니다. 이것이 이루어지지 않으면 자연 선택의 진화 특성이 해당 시스템을 선호하고 무엇보다 시스템 자체의 생존을 우선시할 것이라고 생각합니다. 적극적으로 인간을 미워하고 해를 끼치려는 것이 아니라 너무 강력할 뿐이고 인간이 동물을 대하는 방식이 좋은 비유가 될 것 같아요. 우리가 동물을 싫어하는 것은 아닙니다. 인간은 동물을 사랑하고 많은 애정을 갖고 있다고 생각하는데, 두 도시 사이에 고속도로를 건설해야 할 때가 오면 우리는 동물에게 허락을 구하지 않습니다. 우리는 그것이 우리에게 중요하기 때문에 그렇게 합니다. 그리고 저는 기본적으로 이것이 진정으로 자율적이고 스스로를 위해 운영되는 AGI와 우리 사이에 형성될 관계라고 생각합니다. AGI를 먼저 구축하려는 여러 왕 사이에 군비 경쟁 역학이 있는 경우, 자신이 구축한 AGI가 인간을 깊이 배려할 것인지 확인할 시간이 줄어들 것입니다. 제가 상상하는 방식은 눈사태가 있다는 것이기 때문에 AGI 개발의 눈사태가 있습니다. 그것이 막을 수 없는 거대한 힘이라고 상상해 보세요. 그리고 내 생각에는 지구 전체 표면이 태양광 패널과 데이터 센터로 덮일 가능성이 매우 높습니다. 이러한 우려를 감안할 때, AGI가 어떻게든 여러 국가와의 협력을 통해 구축되는 것이 중요할 것입니다. 어쨌든 미래는 AI에게 좋을 것입니다. 인간에게도 좋은 일이라면 참 좋겠습니다.