https://arxiv.org/abs/2406.14546

대규모 언어 모델(LLM)의 안전 위험을 해결하는 한 가지 방법은 훈련 데이터에서 위험한 지식을 검열하는 것입니다. 이렇게 하면 명시적 정보가 제거되지만 암묵적 정보는 다양한 훈련 문서에 분산되어 있을 수 있습니다. LLM은 이러한 암묵적 힌트를 조각조각 모아 검열된 지식을 추론할 수 있을까요? 이 질문에 답하기 위한 한 단계로서, 우리는 귀납적 문맥 밖 추론(OOCR)을 연구합니다. 이는 LLM이 훈련 문서에 분산된 증거에서 잠재 정보를 추론하고 문맥 내 학습 없이 다운스트림 작업에 적용하는 일반화 유형입니다. 5가지 작업을 사용하여 프런티어 LLM이 귀납적 OOCR을 수행할 수 있음을 보여줍니다. 한 실험에서 우리는 알려지지 않은 도시와 다른 알려진 도시 간의 거리로만 구성된 코퍼스에서 LLM을 미세 조정합니다. 놀랍게도 문맥 내 예나 사고의 사슬 없이도 LLM은 알려지지 않은 도시가 파리라고 말하고 이 사실을 사용하여 다운스트림 질문에 답할 수 있습니다. 추가 실험에서는 개별 동전 던지기 결과에 대해서만 훈련받은 LLM은 동전이 편향되었는지 여부를 말로 표현할 수 있고 쌍에 대해서만 훈련받은 LLM은( x , f)( x ) )정의를 구체적으로 표현할 수 있다에프그리고 역수를 계산합니다. OOCR은 다양한 사례에서 성공하지만, 특히 복잡한 구조를 배우는 소규모 LLM의 경우 신뢰할 수 없다는 것을 보여줍니다. 전반적으로 LLM이 명확한 맥락 내 학습 없이 "점을 연결하는" 능력은 LLM이 습득한 지식을 모니터링하고 제어하는 ​​데 잠재적인 장애물이 됩니다.