https://arxiv.org/abs/2410.03170



우리는 트랜스포머 기반 언어 모델의 자동 회귀 디코딩이 외부 개입이나 모델 가중치의 수정 없이 보편적인 계산을 실현할 수 있음을 보여줍니다. 이 결과를 설정하려면 언어 모델이 제한된 컨텍스트를 사용하여 임의로 긴 입력을 처리하는 방법을 이해해야 합니다. 이를 위해 긴 입력이 주어지면 내보낸 토큰이 컨텍스트 창이 진행됨에 따라 시퀀스 끝에 추가되는 자동 회귀 디코딩의 일반화를 고려합니다. 먼저 결과 시스템이 오랫동안 계산적으로 보편적인 것으로 알려진 고전적인 계산 모델인 Lag 시스템에 해당한다는 것을 보여줍니다. 새로운 증거를 활용하여 2027 생산 규칙이 있는 Lag 시스템으로 범용 튜링 기계를 시뮬레이션할 수 있음을 보여줍니다. 그런 다음 기존의 대규모 언어 모델이 이러한 보편적인 Lag 시스템의 동작을 시뮬레이션할 수 있는지 여부를 조사합니다. 우리는 결정론적(탐욕스러운) 디코딩 하에서 모델을 구동하여 2027년 생산 규칙 각각을 올바르게 적용하는 gemini-1.5-pro-001에 대한 단일 시스템 프롬프트를 개발할 수 있음을 보여줌으로써 긍정적인 답변을 제공합니다. 우리는 처치-튜링(Church-Turing)의 논문에 의해, 확장된 자동회귀적(greedy) 디코딩을 가진 프롬프트된 gemini-1.5-pro-001이 범용 컴퓨터라는 결론을 내렸다.