인터뷰/예측
AGI 이후의 정부와 사회 | 칼 슐먼(2부)
작성자
작성일
2024-07-12 13:47
조회
1739
https://80000hours.org/podcast/episodes/carl-shulman-society-agi/#cold-open-000000
1. COVID-19 팬데믹 대응 개선:
- AI 조언자들은 초기 감지 시스템을 개선하여 우한에서의 첫 환자 발견을 더 빨리 할 수 있었을 것입니다.
- 중국 정부의 의사결정을 개선하여 초기 대응을 더 효과적으로 할 수 있었을 것입니다.
- 미국에서 CDC의 테스트 개발 실패와 같은 문제를 방지할 수 있었을 것입니다.
- Operation Warp Speed와 같은 백신 개발 프로그램의 규모를 더 크게 확대할 것을 조언했을 것입니다.
- 백신 배포와 관련된 정치적 결정을 개선할 수 있었을 것입니다.
2. AI의 사회 인식론적 영향:
- AI는 사회의 지식 생산과 의사결정 과정을 크게 개선할 잠재력이 있습니다.
- 그러나 동시에 거짓 정보를 더 효과적으로 퍼뜨리는 데 사용될 위험도 있습니다.
- 특히 권위주의 정권에서 AI를 사용해 인구를 통제하고 특정 이데올로기를 강화할 위험이 있습니다.
3. AI와 군사/보안 서비스:
- AI가 군사 및 보안 서비스에 통합됨에 따라, AI 시스템의 규칙과 동기 부여가 매우 중요해질 것입니다.
- AI 시스템이 불법적인 명령을 거부하고, 민주주의 원칙을 수호할 수 있도록 프로그래밍해야 합니다.
- 이는 현재의 "인간 통제" 원칙을 넘어서는 것으로, AI 자체에 헌법적 원칙을 내장시키는 것이 필요할 수 있습니다.
4. AI의 학문적 영향:
- AI는 현재 우리가 가장 어려움을 겪고 있는 분야(예: 철학, 사회과학)에서 더 큰 상대적 진전을 이룰 수 있습니다.
- 이는 이미 상당한 진전을 이룬 자연과학 분야보다 더 혁명적인 변화를 가져올 수 있습니다.
- 특히 주관적 판단이 필요한 영역에서 AI의 영향력이 클 수 있습니다.
5. 민주주의 유지를 위한 AI 통제:
- AI 시스템에 새로운 통제 메커니즘을 심어 민주주의 체제를 유지해야 합니다.
- 이는 군대에 대한 민간 통제와 유사한 방식으로 작동해야 합니다.
- 다양한 정치 세력과 국가들이 AI 개발에 참여하여 한 세력이 독점하는 것을 방지해야 합니다.
6. AI 조언자의 신뢰성:
- AI 조언자의 신뢰성을 확보하는 것이 중요합니다.
- 이를 위해 AI 시스템의 동기와 원칙을 공동으로 감사하고 탐색하는 과정이 필요합니다.
- 대규모의 초당적 합의를 통해 AI 시스템의 동기를 승인하는 절차가 필요할 수 있습니다.
7. AI 예측 능력:
- 미래의 AI는 인간보다 훨씬 정확하게 미래를 예측할 수 있을 것입니다.
- 이는 정책 결정, 거버넌스, 비즈니스 등 다양한 분야에 큰 영향을 미칠 것입니다.
- AI는 복잡한 사회적, 경제적 문제에 대해 더 정확한 예측을 제공할 수 있습니다.
8. 인식론적 혁명:
- AI는 객관적이고 정확한 정보를 제공함으로써 사회의 인식론적 능력을 크게 향상시킬 수 있습니다.
- 이는 정치적 편견이나 허위 정보를 줄이는 데 도움이 될 수 있습니다.
- 과학적 방법론을 AI에 적용하여 더 신뢰할 수 있는 결과를 얻을 수 있습니다.
9. 국제 협상과 AI:
- AI는 국가 간 협상과 신뢰 구축에 도움을 줄 수 있습니다.
- 그러나 서로 적대적인 국가들이 같은 AI 모델을 신뢰하게 만드는 것은 큰 도전입니다.
- AI 모델의 신뢰성을 확보하기 위해 기술적, 제도적 해결책이 필요합니다.
10. AI 연구 중단에 대한 견해:
- Shulman은 현 시점에서 AI 연구의 의무적 중단이 최적의 해결책이 아니라고 봅니다.
- 중단 기간 동안 무엇을 할 것인지가 불분명하다는 점을 지적합니다.
- 오히려 나중에 AI가 더 발전했을 때 중단이 더 효과적일 수 있다고 주장합니다.
- 국제적 합의 없는 일방적 중단은 오히려 해로울 수 있다고 봅니다.
11. AI 안전성과 규제:
- AI 기업들이 자체적으로 안전성을 높이려는 노력을 하고 있지만, 독립적인 감시와 규제도 필요합니다.
- 정부의 역할, 특히 AI 개발에 대한 보고 의무화 등이 중요하다고 봅니다.
12. 미래에 대한 전망:
- Shulman은 미래에 대해 희망적이면서도 우려를 동시에 가지고 있습니다.
- 인류가 재앙을 피하고 번영할 가능성이 높다고 보지만, 동시에 위험도 존재한다고 인식하고 있습니다.
- AI가 가져올 수 있는 긍정적인 변화와 잠재적 위험을 모두 고려해야 한다고 주장합니다.
13. AI 발전 속도:
- Shulman은 AI 기술의 발전 속도가 매우 빠를 것이라고 예측합니다.
- 특히 AI가 자체적으로 AI를 개선하고 다른 기술을 발전시키는 능력을 갖게 되면, 기술적, 산업적, 경제적 변화의 속도가 엄청나게 빨라질 것이라고 말합니다.
14. 사회적 영향의 시기:
- 구체적인 연도를 언급하지는 않았지만, Shulman은 이러한 변화가 "가까운 미래"에 일어날 수 있다고 시사합니다.
- 그는 AI가 완전히 AI 연구를 자동화할 수 있게 되는 시점을 중요한 변곡점으로 보고 있습니다.
15. 준비의 중요성:
- Shulman은 이러한 급격한 변화에 대비하여 미리 준비해야 한다고 강조합니다.
- 특히 AI가 매우 강력해지는 시점에서는 2개월과 6개월의 차이가 엄청난 영향을 미칠 수 있다고 말합니다.
따라서 Shulman은 정확한 시기를 예측하지는 않았지만, AI의 영향이 매우 빠르게, 그리고 급격하게 나타날 수 있다고 보고 있습니다. 그는 이러한 변화가 이미 진행 중이며, 앞으로 더욱 가속화될 것이라고 예상하고 있습니다.
[02:03:58]
"I think the pace of technological, industrial, and economic change is going to intensify enormously as AI becomes capable of automating the processes of further improving AI and developing other technologies."
(AI가 AI를 더욱 개선하고 다른 기술들을 개발하는 과정을 자동화할 수 있게 되면서, 기술적, 산업적, 경제적 변화의 속도가 엄청나게 빨라질 것이라고 생각합니다.)
1. COVID-19 팬데믹 대응 개선:
- AI 조언자들은 초기 감지 시스템을 개선하여 우한에서의 첫 환자 발견을 더 빨리 할 수 있었을 것입니다.
- 중국 정부의 의사결정을 개선하여 초기 대응을 더 효과적으로 할 수 있었을 것입니다.
- 미국에서 CDC의 테스트 개발 실패와 같은 문제를 방지할 수 있었을 것입니다.
- Operation Warp Speed와 같은 백신 개발 프로그램의 규모를 더 크게 확대할 것을 조언했을 것입니다.
- 백신 배포와 관련된 정치적 결정을 개선할 수 있었을 것입니다.
2. AI의 사회 인식론적 영향:
- AI는 사회의 지식 생산과 의사결정 과정을 크게 개선할 잠재력이 있습니다.
- 그러나 동시에 거짓 정보를 더 효과적으로 퍼뜨리는 데 사용될 위험도 있습니다.
- 특히 권위주의 정권에서 AI를 사용해 인구를 통제하고 특정 이데올로기를 강화할 위험이 있습니다.
3. AI와 군사/보안 서비스:
- AI가 군사 및 보안 서비스에 통합됨에 따라, AI 시스템의 규칙과 동기 부여가 매우 중요해질 것입니다.
- AI 시스템이 불법적인 명령을 거부하고, 민주주의 원칙을 수호할 수 있도록 프로그래밍해야 합니다.
- 이는 현재의 "인간 통제" 원칙을 넘어서는 것으로, AI 자체에 헌법적 원칙을 내장시키는 것이 필요할 수 있습니다.
4. AI의 학문적 영향:
- AI는 현재 우리가 가장 어려움을 겪고 있는 분야(예: 철학, 사회과학)에서 더 큰 상대적 진전을 이룰 수 있습니다.
- 이는 이미 상당한 진전을 이룬 자연과학 분야보다 더 혁명적인 변화를 가져올 수 있습니다.
- 특히 주관적 판단이 필요한 영역에서 AI의 영향력이 클 수 있습니다.
5. 민주주의 유지를 위한 AI 통제:
- AI 시스템에 새로운 통제 메커니즘을 심어 민주주의 체제를 유지해야 합니다.
- 이는 군대에 대한 민간 통제와 유사한 방식으로 작동해야 합니다.
- 다양한 정치 세력과 국가들이 AI 개발에 참여하여 한 세력이 독점하는 것을 방지해야 합니다.
6. AI 조언자의 신뢰성:
- AI 조언자의 신뢰성을 확보하는 것이 중요합니다.
- 이를 위해 AI 시스템의 동기와 원칙을 공동으로 감사하고 탐색하는 과정이 필요합니다.
- 대규모의 초당적 합의를 통해 AI 시스템의 동기를 승인하는 절차가 필요할 수 있습니다.
7. AI 예측 능력:
- 미래의 AI는 인간보다 훨씬 정확하게 미래를 예측할 수 있을 것입니다.
- 이는 정책 결정, 거버넌스, 비즈니스 등 다양한 분야에 큰 영향을 미칠 것입니다.
- AI는 복잡한 사회적, 경제적 문제에 대해 더 정확한 예측을 제공할 수 있습니다.
8. 인식론적 혁명:
- AI는 객관적이고 정확한 정보를 제공함으로써 사회의 인식론적 능력을 크게 향상시킬 수 있습니다.
- 이는 정치적 편견이나 허위 정보를 줄이는 데 도움이 될 수 있습니다.
- 과학적 방법론을 AI에 적용하여 더 신뢰할 수 있는 결과를 얻을 수 있습니다.
9. 국제 협상과 AI:
- AI는 국가 간 협상과 신뢰 구축에 도움을 줄 수 있습니다.
- 그러나 서로 적대적인 국가들이 같은 AI 모델을 신뢰하게 만드는 것은 큰 도전입니다.
- AI 모델의 신뢰성을 확보하기 위해 기술적, 제도적 해결책이 필요합니다.
10. AI 연구 중단에 대한 견해:
- Shulman은 현 시점에서 AI 연구의 의무적 중단이 최적의 해결책이 아니라고 봅니다.
- 중단 기간 동안 무엇을 할 것인지가 불분명하다는 점을 지적합니다.
- 오히려 나중에 AI가 더 발전했을 때 중단이 더 효과적일 수 있다고 주장합니다.
- 국제적 합의 없는 일방적 중단은 오히려 해로울 수 있다고 봅니다.
11. AI 안전성과 규제:
- AI 기업들이 자체적으로 안전성을 높이려는 노력을 하고 있지만, 독립적인 감시와 규제도 필요합니다.
- 정부의 역할, 특히 AI 개발에 대한 보고 의무화 등이 중요하다고 봅니다.
12. 미래에 대한 전망:
- Shulman은 미래에 대해 희망적이면서도 우려를 동시에 가지고 있습니다.
- 인류가 재앙을 피하고 번영할 가능성이 높다고 보지만, 동시에 위험도 존재한다고 인식하고 있습니다.
- AI가 가져올 수 있는 긍정적인 변화와 잠재적 위험을 모두 고려해야 한다고 주장합니다.
13. AI 발전 속도:
- Shulman은 AI 기술의 발전 속도가 매우 빠를 것이라고 예측합니다.
- 특히 AI가 자체적으로 AI를 개선하고 다른 기술을 발전시키는 능력을 갖게 되면, 기술적, 산업적, 경제적 변화의 속도가 엄청나게 빨라질 것이라고 말합니다.
14. 사회적 영향의 시기:
- 구체적인 연도를 언급하지는 않았지만, Shulman은 이러한 변화가 "가까운 미래"에 일어날 수 있다고 시사합니다.
- 그는 AI가 완전히 AI 연구를 자동화할 수 있게 되는 시점을 중요한 변곡점으로 보고 있습니다.
15. 준비의 중요성:
- Shulman은 이러한 급격한 변화에 대비하여 미리 준비해야 한다고 강조합니다.
- 특히 AI가 매우 강력해지는 시점에서는 2개월과 6개월의 차이가 엄청난 영향을 미칠 수 있다고 말합니다.
따라서 Shulman은 정확한 시기를 예측하지는 않았지만, AI의 영향이 매우 빠르게, 그리고 급격하게 나타날 수 있다고 보고 있습니다. 그는 이러한 변화가 이미 진행 중이며, 앞으로 더욱 가속화될 것이라고 예상하고 있습니다.
[02:03:58]
"I think the pace of technological, industrial, and economic change is going to intensify enormously as AI becomes capable of automating the processes of further improving AI and developing other technologies."
(AI가 AI를 더욱 개선하고 다른 기술들을 개발하는 과정을 자동화할 수 있게 되면서, 기술적, 산업적, 경제적 변화의 속도가 엄청나게 빨라질 것이라고 생각합니다.)
전체 0