https://arxiv.org/abs/2407.01067

인간의 정신 속 자연 사물의 개념화와 분류는 오랫동안 인지 과학자와 신경 과학자의 관심을 끌어 인간의 지각과 인지에 대한 중요한 통찰력을 제공했습니다. 최근 대규모 언어 모델(LLM)의 급속한 발전으로 이러한 모델이 방대한 양의 언어 및 다중 모드 데이터에 노출되어 인간과 유사한 사물 표현을 개발할 수 있는지에 대한 매력적인 의문이 제기되었습니다. 이 연구에서 우리는 행동 및 신경 영상 분석 방법을 결합하여 LLM의 사물 개념 표현이 인간의 사물 개념 표현과 어떻게 연관되는지 알아냈습니다. LLM과 다중 모드 LLM(MLLM)에서 470만 개의 트리플렛 판단에 대한 대규모 데이터 세트를 수집하여 1,854개의 자연 사물의 기본 유사성 구조를 포착하는 저차원 임베딩을 도출할 수 있었습니다. 그 결과 66차원 임베딩은 매우 안정적이고 예측 가능한 것으로 나타났으며 인간의 정신 표현과 유사한 의미 클러스터링을 보였습니다. 흥미롭게도, 이러한 임베딩의 기반이 되는 차원의 해석 가능성은 LLM과 MLLM이 자연 객체에 대한 인간과 유사한 개념적 표현을 개발했음을 시사합니다. 추가 분석은 식별된 모델 임베딩과 많은 기능적으로 정의된 뇌 ROI(예: EBA, PPA, RSC 및 FFA)의 신경 활동 패턴 간에 강력한 일치를 보여주었습니다. 이는 LLM의 객체 표현이 인간의 객체 표현과 동일하지는 않지만 인간 개념적 지식의 핵심 스키마를 반영하는 근본적인 공통점을 공유한다는 설득력 있는 증거를 제공합니다. 이 연구는 기계 지능에 대한 이해를 높이고 인간과 더욱 유사한 인공 인지 시스템의 개발을 알려줍니다.