https://arxiv.org/abs/2207.07051

추론은 지능형 시스템의 핵심 능력입니다. 대규모 언어 모델(LM)은 추상적 추론 과제에서 기회 이상의 성과를 달성하지만 많은 불완전성을 보입니다. 그러나 인간의 추상적 추론도 불완전합니다. 예를 들어, 인간의 추론은 현실 세계의 지식과 믿음에 영향을 받으며 주목할 만한 "내용 효과"를 보입니다. 인간은 문제의 의미적 내용이 올바른 논리적 추론을 뒷받침할 때 더 신뢰할 수 있게 추론합니다. 이러한 내용 얽힘 추론 패턴은 인간 지능의 근본적인 본질에 대한 논쟁에서 중심적인 역할을 합니다. 여기서 우리는 언어 모델이—그 사전 기대가 인간 지식의 일부 측면을 포착합니다.—마찬가지로 논리적 문제에 대한 답변에 내용을 섞습니다. 우리는 세 가지 논리적 추론 과제, 즉 자연어 추론, 삼단논법의 논리적 타당성 판단, Wason 선택 과제에서 이 질문을 탐구했습니다. 우리는 최첨단 대규모 언어 모델과 인간을 평가하고, 언어 모델이 이러한 과제에서 인간에게 관찰된 동일한 패턴의 대부분을 반영한다는 것을 발견했습니다.—인간과 마찬가지로 모델은 작업의 의미적 내용이 논리적 추론을 뒷받침할 때 더 정확하게 대답합니다. 이러한 유사점은 답변 패턴과 모델 답변 분포와 인간 응답 시간 간의 관계와 같은 하위 수준 기능 모두에 반영됩니다. 우리의 연구 결과는 인간에게 이러한 인지적 효과와 언어 모델 성능에 기여하는 요소를 이해하는 데 의미가 있습니다.