내 의견: 이제 모든 것은 규모에 관한 것입니다! 게임은 끝났다! 이는 이러한 모델을 더 크고, 더 안전하고, 컴퓨팅 효율적으로 만들고, 더 빠르게 샘플링하고, 더 스마트한 메모리, 더 많은 양식, 혁신적인 데이터, 온/오프라인을 만드는 것입니다.

이러한 확장 문제를 해결하는 것이 AGI를 제공하는 것입니다. 이러한 문제에 초점을 맞춘 연구가 필요합니다(예: 더 큰 메모리를 위한 S4). 상징에 관한 철학은 그렇지 않습니다. 기호는 세상의 도구이며 큰 신경망은 기호를 생성하고 조작하는 데 아무런 문제가 없습니다.

마지막으로 중요한 것은 @ilyasut가 옳다는 것입니다 🐈

Rich Sutton도 옳습니다. 하지만 AI 교훈은 씁쓸한 것이 아니라 오히려 달콤합니다. 나는 그것을 10년 전에 @geoffreyhinton 에게서 배웠습니다. Geoff는 믿을 수 없을 만큼 명확하게 예측 가능한 것을 예측했습니다.