최신논문
(2023년 9월) 자기 지도 시퀀스 모델의 월드모델에서의 새로운 선형 표현
작성자
작성일
2024-06-25 14:51
조회
366
https://arxiv.org/abs/2309.00941
시퀀스 모델은 의사 결정 프로세스를 어떻게 표현합니까? 이전 연구에서는 오델로 플레이 신경망이 보드 상태의 비선형 모델을 학습한 것으로 나타났습니다(Li et al., 2023). 이 작업에서 우리는 보드의 밀접하게 관련된 선형 표현에 대한 증거를 제공합니다. 특히, "내 색상"과 "상대방의 색상"을 조사하는 것이 모델의 내부 상태를 해석하는 간단하면서도 강력한 방법일 수 있음을 보여줍니다. 내부 표현에 대한 이러한 정확한 이해를 통해 간단한 벡터 산술을 통해 모델의 동작을 제어할 수 있습니다. 선형 표현을 사용하면 해석 가능성이 크게 향상되며, 이는 세계 모델이 계산되는 방식에 대한 추가 탐구를 통해 입증됩니다.
시퀀스 모델은 의사 결정 프로세스를 어떻게 표현합니까? 이전 연구에서는 오델로 플레이 신경망이 보드 상태의 비선형 모델을 학습한 것으로 나타났습니다(Li et al., 2023). 이 작업에서 우리는 보드의 밀접하게 관련된 선형 표현에 대한 증거를 제공합니다. 특히, "내 색상"과 "상대방의 색상"을 조사하는 것이 모델의 내부 상태를 해석하는 간단하면서도 강력한 방법일 수 있음을 보여줍니다. 내부 표현에 대한 이러한 정확한 이해를 통해 간단한 벡터 산술을 통해 모델의 동작을 제어할 수 있습니다. 선형 표현을 사용하면 해석 가능성이 크게 향상되며, 이는 세계 모델이 계산되는 방식에 대한 추가 탐구를 통해 입증됩니다.
전체 0