https://arxiv.org/abs/2308.15047

대규모 언어 모델은 지식 추출, 추론 및 대화에서 인간과 유사한 성능을 보여 주지만, 이 성능이 암기 및 패턴 일치로 가장 잘 설명되는지, 아니면 인간과 같은 추론 의미론 및 세계 지식을 반영하는지 여부는 여전히 논란의 여지가 있습니다. WikiData와 같은 지식 기반은 추론 의미론과 세계 지식에 대한 대규모의 고품질 표현을 제공합니다. 우리는 대규모 언어 모델이 그러한 지식 기반에서 개념이 구성되는 방식과 매우 유사한 방식으로 개념을 구성하는 방법을 학습한다는 것을 보여줍니다. 지식 기반 모델 집단적, 제도적 지식 및 대규모 언어 모델은 원시 텍스트에서 그러한 지식을 유도하는 것으로 보입니다. 우리는 더 크고 더 나은 모델이 네 가지 언어 모델 계열과 세 가지 지식 그래프 임베딩에 걸쳐 인간과 유사한 개념 구성을 나타냄을 보여줍니다.