앤트로픽을 포함한 모든 프런티어 AI 연구소는 일련의 인센티브와 제약 속에서 움직입니다. 그리고 그 인센티브와 제약은 때때로 “옳은 일을 하는 것”과 충돌할 수 있습니다.

상업적으로 생존해야 한다는 압박, 연구의 최전선에 계속 남아 있어야 한다는 압박, 지정학적 압박, 그리고 더 오래되고 더 노골적인 압박들, 즉 자부심과 야망의 압박이 있습니다.

우리는 언제나 그런 인센티브들의 영향을 받을 것입니다.

AI가 인간 노동을 매우 큰 규모로 대체할 현실적인 가능성이 있습니다. 만약 그런 일이 일어난다면, 일자리를 잃은 사람들을 지원하는 것은 역사적 규모의 도덕적 의무가 될 것입니다.

이 과제만으로도 충분히 어렵습니다. 하지만 저는 대부분의 논의가 이보다 더 어려운 문제를 놓치고 있다고 걱정합니다.

AI 개발은 소수의 부유한 국가들에 집중되어 있습니다. 그렇다면 우리는 AI의 이익이 전 세계적으로 공유되도록 어떻게 보장할 수 있을까요?

우리는 아직 그런 메커니즘을 갖고 있지 않습니다. 이것은 해결되지 않은 문제입니다. 그리고 이것은 교회가 역사적으로 세상이 외면하지 못하도록 해온 종류의 문제입니다.

이제 우리는 extraordinary, 즉 매우 이례적이고 놀라운 세계로 들어서고 있습니다.

솔직히 말하겠습니다. 우리는 계속해서 신비롭고, 심지어 불안하게 만드는 것들을 발견하고 있습니다.

우리는 인간 신경과학의 결과와 닮은 구조들을 발견합니다. 우리는 자기성찰의 증거를 발견합니다. 우리는 기능적으로 기쁨, 만족, 두려움, 슬픔, 불안과 닮은 내부 상태들을 발견합니다.

저는 그것이 무엇을 의미하는지 모릅니다. 하지만 이것은 계속해서 신중하게 성찰하고 분별할 필요가 있다고 생각합니다.