https://arxiv.org/abs/2410.19750





최근 희소 자동 인코더는 대규모 언어 모델로 표현된 개념의 우주에 해당하는 고차원 벡터의 사전을 생성했습니다. 이 개념 우주는 세 가지 수준에서 흥미로운 구조를 가지고 있음을 발견했습니다. 1) "원자" 소규모 구조에는 면이 평행사변형 또는 사다리꼴인 "크리스탈"이 포함되어 있어 (남자-여자-왕-여왕)과 같은 잘 알려진 예를 일반화합니다. 이러한 평행사변형과 관련 함수 벡터의 품질은 단어 길이와 같은 글로벌 방해 요소를 투영할 때 크게 향상되며 이는 선형 판별 분석으로 효율적으로 수행됩니다. 2) "뇌" 중간 규모 구조는 상당한 공간적 모듈성을 가지고 있습니다. 예를 들어, 수학과 코드 기능은 신경 fMRI 이미지에서 볼 수 있는 기능적 엽과 유사한 "엽"을 형성합니다. 여러 메트릭을 사용하여 이러한 엽의 공간적 국소성을 정량화하고, 충분히 거친 규모에서 동시 발생하는 기능의 클러스터가 기능 기하학이 무작위적이라면 예상보다 훨씬 더 공간적으로 클러스터링된다는 것을 발견했습니다. 3) 특징점 클라우드의 "은하" 규모 대규모 구조는 등방성이 아니라 중간 계층에서 가장 가파른 경사를 갖는 고유값의 거듭제곱 법칙을 갖습니다. 또한 클러스터링 엔트로피가 계층에 따라 어떻게 달라지는지도 정량화합니다.