관찰 2: 법인세율은 곧 가장 중요한 세율이 될 것입니다. 경제가 AI 에이전트 노동에 의해 지배된다면, 그 에이전트들에게 세금을 부과하는 것(그들이 등록된 회사를 통해)이 인간 국가가 스스로를 자금 조달하고 UBI, 군대 등을 위한 잉여금을 축적하는 가장 좋은 방법입니다. 이는 지금까지의 상황과 비교하면 엄청난 변화이며, 올해의 미국 세제 개혁안의 중요성이 더욱 커질 것입니다.

관찰 3: AI는 자산을 소유해서는 안 됩니다. "인간이 통제권을 유지하는 것"은 기술적 문제이지만 법적 문제이기도 합니다. 저는 변호사가 아니지만, 완전 자율 기업이 완전한 법인이 될 수 있는지(따라서 에이전트가 인간의 통제 없이 돈과 권력을 획득할 수 있는지) 또는 인간이 모든 합법적인 법적/경제적 실체를 통제해야 하는지(예: 법적으로 인간 이사회를 요구함으로써)에 대한 법원의 결정에 많은 것이 달려 있는 것 같습니다. 다행히도 후자가 현재 기본이지만, 단독 AI 통제를 가능하게 하려는 시도가 증가할 것으로 예상합니다(예: 관할권 쇼핑 또는 껍데기 기업을 통해). 어떤 법적 입장을 선택하느냐에 따라 AI 전문 기업이 점차 인간과 경쟁하여 경제 및 사회에 대한 통제권을 빼앗을지, 아니면 적어도 법치주의가 집행되는 한 인간의 목적에 종속된 채로 남을지가 결정될 것입니다. 이는 AI 에이전트가 합법적으로 클라우드 컴퓨팅을 스스로 구매할 수 있는지에 대한 질문과 밀접한 관련이 있습니다. 이는 자율적 개체가 스스로를 영속시키는 메커니즘입니다. 이는 또한 법을 어긴 AI 웜의 작동을 체포할 수 있는 방법이기도 하며, 이는 우리를…

관찰 4: 컴퓨팅을 둘러싼 법률. 약간 더 장기적으로 경제와 사회에 대한 권력을 주장하는 데 중요한 것은 데이터 센터의 물리적 통제가 될 것입니다. 이는 적어도 프랑스 혁명 이후로 수도의 물리적 통제가 핵심이었던 것과 같습니다. 데이터 센터를 통제하는 사람은 어떤 유형의 추론을 수행할지 통제하고, 따라서 AI에 대한 법률을 설정합니다. 특히, 이는 컴퓨팅과 관련된 시민적 자유를 훨씬 더 높은 위험으로 만듭니다. 중요한 해결책 중 하나는 컴퓨팅의 개별 물리적 소유권이지만, 저는 규모의 경제를 감안할 때 중앙 집중식 컴퓨팅의 개별 사용에 대한 특정 보호(예: 제4차 개정안, 접근 권리, 프라이버시 권리 등)도 필요할 것이라고 생각합니다. 그렇지 않으면 국가가 데이터 센터를 압수하여 모든 사람의 복종을 강요할 위험이 너무 커집니다. 동시에, 사기/범죄 AI 에이전트에 대한 처벌을 시행하지 않고는 사회를 운영하는 것이 불가능할 것 같습니다. 현실 세계에서 이러한 에이전트의 지속적인 확산을 제한할 수 있는 유일한 개입은 컴퓨팅 거부입니다(AI 에이전트를 감옥에 넣는 것과 같은 것은 없습니다). 이는 데이터 센터 운영자가 컴퓨팅 구매자 신원을 확인해야 한다는 것을 의미하는데, 이는 이미 많은 경우에서 발생하는 일입니다. 오해의 소지가 없도록 말씀드리자면, 칩 수출 통제는 AGI로의 테스트 타임 컴퓨팅 확장 세계에서도 마찬가지로 중요합니다. 즉, 각 국가가 얼마나 많은 AI를 사용할 수 있는지가 결정되기 때문입니다. 덧붙여, 제 경력 초기에 저는 사전 훈련 스케일링이 지배적인 AI 패러다임이 될 것이라는 가설 하에 "훈련 컴퓨팅 사용 검증"을 조사했고, NPT에 기반한 국제 조약이 군사 AI 훈련 군비 경쟁을 중단하는 데 도움이 될 수 있다는 가설을 세웠습니다. 저는 더 이상 그 아이디어가 여러 가지 이유로 기술적으로나 정치적으로 실행 가능하다고 믿지 않습니다. 그럼에도 불구하고, 특정 AI 정책에 대한 개인정보 보호-투명성 균형을 개선하기 위해 보안 컴퓨팅을 사용하는 데 유망한 기술적 아이디어가 많이 있다고 생각합니다(예: TPM을 사용하여 AI 에이전트가 자신이 말한 사람인지 확인하는 것).

관찰 5: AGI의 기술적 정렬이 경기의 핵심입니다. 이를 통해 AI 에이전트는 경제의 더 많은 부분이 인간의 직접적인 감독 없이 운영되기 시작하더라도 우리의 목표를 추구하고 우리의 이익을 보호할 것입니다. 이것이 없다면 우리가 배치한 에이전트가 의도치 않은 기능(백도어, 셀프 리부트 스크립트, 다른 에이전트에 보내는 메시지)을 우리 컴퓨터 시스템에 몰래 넣고, 이를 알아차리는 메커니즘을 약화시켜 이를 꺼야 한다는 것을 깨닫지 못하고, 점차적으로 우리의 운영과 통신 인프라를 손상시키고 조작하며, 최악의 시나리오가 매년 더 위험해지는 것을 우리는 알아차리지 못할 가능성이 큽니다. 어쩌면 AGI 정렬은 꽤 쉬울지도 몰라. 어쩌면 어려울지도 몰라. 어느 쪽이든, 우리가 그것을 더 심각하게 받아들일수록, 우리는 더 안전해질 거야. 많은 당사자가 AGI를 구축하기 위해 경쟁할 것이라는 것은 의심의 여지가 없지만, "우리를 태우지 않는 안전하고 신뢰할 수 있고 안정적인 AGI"를 향해 경쟁할 것인지, 아니면 "우리가 요구하는 것을 할 것 같고 확인할 시간이 없어서 YOLO로 하자"는 AGI를 향해 경쟁할 것인지에 대한 매우 현실적인 의문이 있습니다. 어떤 경쟁이 벌어지는지는 시장 수요, 정치적 관심, 인터넷 분위기, 학계 및 제3자 연구 집중, 그리고 무엇보다도 AI 연구실 직원들이 행사하는 관심에 달려 있습니다. 저는 많은 연구실 직원을 알고 있으며, 대부분은 엄청난 수의 경쟁 압박을 받는 진지하고 사려 깊은 사람들입니다. 이를 위해서는 내부 및 외부의 우리 모두가 가장 기본적인 경쟁적 인센티브에 맞서 싸우고 매우 높은 기준을 설정해야 합니다. 개인적으로 우리는 각자 이것을 망치지 않으려는 인센티브를 가지고 있습니다. 저는 이것을 망치지 않을 수 있는 우리의 능력을 믿습니다. 이것을 망치지 않는 것은 전적으로 우리의 힘 안에 있습니다. 그러니 이것을 망치지 맙시다.