많은 AI 연구소에서는 "자동화된 과학자", 즉 세상에 대한 정보를 발견하고, 가설을 제안 및 테스트하고, 텐서보드/완DB 찻잎을 읽는 등의 에이전트를 교육하고 있습니다.

그러나 인터넷에서 훈련할 때 돌이켜보면 20/20입니다. 이러한 에이전트는 스스로 해결할 수 있는 추론 기본 요소를 배우지 않고도 이전의 모든 과학적 발견(특수 상대성 이론 등)을 쉽게 암기할 수 있습니다. 비유는 계산기와 ChatGPT에 모든 답을 묻고 스스로 생각하는 능력을 상실한 현대 학교 어린이와 비슷합니다.

이 모든 데이터를 무손실로 압축하려고 하면 몇 가지 추론이 확실히 드러납니다. 경사하강법은 *반복된 가설 테스트*라고 주장할 수도 있습니다. 충분히 강력한 연관성은 추론과 구별할 수 없으므로 어느 정도 추론과 암기의 차이는 단지 의미론일 뿐입니다.

그러나 모델에 더 열심히 생각하도록 "단지 요청"할 수 있더라도 이러한 새로운 기술을 갖도록 모델을 훈련시키는 데 충분한 데이터를 어디서 얻을 수 있는지에 대한 실질적인 질문이 있습니다. 자기 반성과 성찰 능력을 향상시키기 위해 자동화된 추론 및 가설 테스트의 다음 개척지에는 이전 신념을 어떻게 *어떻게* 업데이트하는지, 즉 정책 업데이트에 대한 많은 데이터가 필요하다고 생각합니다.

인터넷에서 "신념 업데이트" 데이터 세트를 어떻게 긁어내는지는 나에게 명확하지 않습니다. 이것을 수집하는 것은 deep RL과 매우 비슷해 보입니다. 자신의 신념을 어떻게 업데이트해야 하는지에 대해 적절하게 추론하려면 어느 정도 "자아의 연속성"이 필요합니다. GPT7이 자기 인식이 필요하다는 말은 아니지만, 스스로 업데이트되는 많은 개별 추적에서 얻은 자기 중심적 데이터가 필요합니다.

이를 위해서는 정책 추적(특정 수학 문제, 코딩 환경, Go와 같은 제로섬 게임)을 얻기 위해 컴퓨팅을 사용할 수 있는 환경이나 오프라인 데이터에서 "가상의 개인"을 생성하거나 세계에서 진화하는 로봇과 같은 하드코어한 것이 필요합니다. 현실 세계에서 자연선택을 이용해 추론을 잘하지 못하는 뇌를 제거합니다. 나는 모든 과학 문헌의 연대순 순서를 긁어내는 것이 괜찮은 시작이라고 생각하지만 출판된 내용에 대한 선택 편향 때문에 시끄러운 일입니다(즉, 에이전트는 아마도 자신이 구현하는 모든 딥 러닝 아이디어가 최신 기술일 것이라고 매우 확신할 것입니다).