시탈 샤:

 

셀프 플레이/MCTS/Q* wrt LLM에 대한 최근 관심에 대한 참고 사항입니다.

지난 몇 년 동안 이에 대해 몇 번 포스팅한 적이 있었는데 갑자기 관심이 다시 생겨서 반가웠습니다 🙂 .

현재 LLM에 대한 가장 큰 비판 중 하나는 계획을 세울 수 없다는 것입니다. 이에 대해 생각해 보면 이 "계획" 기능이 디코딩을 통해 완전히 구현될 수 있다는 사실을 깨달을 수 있습니다. 다음 토큰을 예측할 때 실제로 표준 RL에서와 마찬가지로 궤적을 예측합니다. 현재 우리는 단순히 탐욕스러운 디코딩, 핵 샘플링 또는 보다 모험적인 빔 검색을 사용합니다. 그러나 이들 모두는 진정한 계획자를 대신하는 다소 원시적인 대체물입니다.

훨씬 더 정교한 디코딩을 수행하려는 경우 생성된 궤적의 품질이 극적으로 향상됩니다. 문제는 디코딩 속도가 엄청나게 느려진다는 것입니다. 그럼에도 불구하고 마치 훈련을 확장한 것처럼 추론을 개선함으로써 모델 품질이 극적으로 향상된다는 점은 분명합니다.

그러나 제가 몰랐던 것은 이러한 상충관계의 정량화였습니다. 최근 증거에 따르면 추론 계산과 훈련 계산의 절충안은 거의 동일합니다!! 이것이 의미하는 바는 더 큰 모델을 훈련하기 위해 1000배 더 많은 훈련 컴퓨팅을 투입하거나 현재 크기의 모델을 사용하여 추론 시 해당 컴퓨팅을 사용하여 동일한 품질을 얻을 수 있다는 것입니다. 즉, 모델이 매우 느려질 수 있지만 최대 1000배 크기로 확장하지 않고도 리만 가설에 대한 증거를 조금씩 생성할 수 있습니다.

계획은 LLM 실무자들이 거의 완전히 무시하는 근본적인 문제입니다. GPT-4는 이미 꽤 좋은 "세계 모델"입니다. 우리가 이미 알고 있는 다양한 방법을 통해 계획을 추가할 수 있다면 이는 다음의 근본적인 돌파구가 될 수 있습니다!