https://arxiv.org/abs/2411.04434

구체화된 에이전트의 성능은 모델 매개변수, 데이터 세트 크기 및 컴퓨팅을 증가시킴으로써 향상되는 것으로 나타났습니다. 이는 오프라인 데이터 세트(사전 학습)에 대한 생성 학습 목표를 사용하여 에이전트의 행동(모방 학습) 또는 환경(세계 모델링)을 모델링할 때 로봇공학에서 비디오 게임에 이르는 도메인에서 입증되었습니다. 이 논문은 이러한 작업에서 규모의 역할을 보다 정확하게 특성화합니다. '더 큰 것이 더 좋다'는 단순한 직관을 넘어서 언어 모델링에서 발견되는 동일한 유형의 거듭제곱 법칙(예: 손실과 최적 모델 크기 사이)이 세계 모델링 및 모방 학습에서도 발생한다는 것을 보여줍니다. 그러나 이러한 법칙의 계수는 토크나이저, 작업 \& 아키텍처의 영향을 크게 받습니다. 이는 모델 및 데이터의 최적 크기에 중요한 영향을 미칩니다.