https://arxiv.org/abs/2410.02536

우리는 규칙 기반 시스템의 복잡성이 이러한 규칙을 예측하도록 훈련된 모델의 기능에 어떤 영향을 미치는지 조사함으로써 인공 시스템에서 지능적 행동의 출현을 탐구합니다. 우리의 연구는 사소한 것부터 매우 복잡한 것까지 다양한 행동을 생성하는 단순하지만 강력한 1차원 시스템인 기본 세포 자동기계(ECA)에 초점을 맞춥니다. 서로 다른 ECA에서 별개의 대규모 언어 모델(LLM)을 훈련시킴으로써, 규칙 동작의 복잡성과 다운스트림 작업에서의 성능에 반영된 LLM이 보여주는 지능 간의 관계를 평가했습니다. 우리의 연구 결과는 더 복잡한 규칙이 더 큰 지능을 나타내는 모델로 이어진다는 것을 보여주며, 이는 추론 및 체스 이동 예측 작업에 대한 성능에서 입증됩니다. 균일하고 주기적인 시스템, 그리고 종종 매우 혼란스러운 시스템 모두로 인해 다운스트림 성능이 저하되어 인텔리전스에 도움이 되는 복잡성의 스위트 스폿이 강조되었습니다. 우리는 지능이 복잡성을 예측하는 능력에서 발생하며, 지능을 창출하는 것은 복잡성에 대한 노출만 필요할 수 있다고 추측합니다.