디코더 전용 변환기는 대규모 언어 모델의 기능에 단계적 변화를 가져옵니다. 그러나 실제로 계획인지 추론인지에 대한 의견은 엇갈립니다. 이 방향으로 진전을 이루는 경로는 신중하게 제어된 데이터가 있는 설정에서 모델의 동작을 연구하는 것입니다. 그런 다음 학습된 표현을 해석하고 내부적으로 수행된 계산을 역엔지니어링합니다. 우리는 단순하고 연결되고 무향 그래프에서 최단 경로를 예측하도록 처음부터 학습된 디코더 전용 변환기 언어 모델을 연구합니다. 이 설정에서 모델이 학습한 표현과 역학은 해석 가능합니다.

우리는 세 가지 주요 결과를 제시합니다.

(1) 2계층 디코더 전용 언어 모델은 최대 10개의 노드를 포함하는 단순하고 연결 그래프에서 최단 경로를 예측하는 방법을 학습할 수 있습니다.

(2) 모델은 선 그래프의 스펙트럼 분해와 상관 관계가 있는 그래프 임베딩을 학습합니다.

(3) 통찰력에 따라 우리는 라인 그래프의 스펙트럼 임베딩 공간에서 노드를 탐욕스럽게 선택하여 최단 경로를 찾는 새로운 근사 경로 찾기 알고리즘 Spectral Line Navigator(SLN)를 발견했습니다.

 

우리의 새로운 작업 Spectral Journey https://arxiv.org/abs/2502.08794 는 놀라운 결과를 보여줍니다. 2층 Transformer가 주어진 그래프의 최단 경로를 예측하도록 학습되었을 때, 1. 먼저 각 에지에 대한 스펙트럼 임베딩, 즉 해당 라인 그래프의 정규화된 그래프 라플라시안의 고유 벡터를 암묵적으로 계산한 다음 2. 반복적인 방법으로 임베딩 공간에서 탐욕적으로 에지를 선택하여 (대략적인) 최단 경로를 예측합니다. 우리는 이 새로운 알고리즘을 Spectral Line Navigator (SLN)라고 부릅니다. 이를 직접 구현하면 99.32% 정확도로 작은 그래프에 대한 최단 경로가 생성됩니다. "LLM은 단지 검색만 할 뿐이야"라고 생각하는 대신, 표현 공간을 더 탐색해서 새로운 것을 발견해야 할지도 몰라요.