https://arxiv.org/abs/2312.10029

우리는 대규모 언어 모델(LLM) 활성화에 대한 기존의 비지도 방법은 지식을 발견하지 못한다는 것을 보여줍니다. 대신 활성화의 가장 두드러진 특징을 발견하는 것처럼 보입니다. 비지도 지식 도출의 이면에 있는 아이디어는 지식이 일관성 구조를 충족한다는 것입니다. 이 구조는 지식을 발견하는 데 사용할 수 있습니다. 우리는 먼저 임의의 특징(단순히 지식이 아님)이 특정 주요 비지도 지식 도출 방법인 대조 일관성 검색(Burns et al. - arXiv:2212.03827 )의 일관성 구조를 충족한다는 것을 이론적으로 증명합니다. 그런 다음 비지도 방법이 지식을 예측하지 않고 대신 다른 두드러진 특징을 예측하는 분류기를 생성하는 설정을 보여주는 일련의 실험을 제시합니다. 우리는 잠재 지식을 발견하기 위한 기존의 비지도 방법은 불충분하다는 결론을 내리고 미래의 지식 도출 방법을 평가하는 데 적용할 정신 건강 검사를 제공합니다. 개념적으로, 여기서 탐구한 식별 문제, 예를 들어 모델의 지식과 시뮬레이션된 캐릭터의 지식을 구별하는 문제는 미래의 비지도 학습 방법에서도 계속 존재할 것이라고 가설을 세웠습니다.