https://arxiv.org/abs/2407.07612

텍스트 기반 AI 시스템이 실제 세계에서 상호 작용하려면 인과 추론이 필수적인 기술입니다. 개입적 데이터는 생성하는 데 비용이 많이 들기 때문에 에이전트가 수동적 데이터에서 인과 추론을 어느 정도 배울 수 있는지 연구합니다. 구체적으로, 에이전트가 공리를 귀납적 편향으로 통합하거나 데이터 값에서 추론하는 대신 인과 공리(또는 규칙)의 여러 증명을 통해 학습하는 공리적 훈련 설정을 고려합니다. 핵심 질문은 에이전트가 공리 증명에서 새로운 시나리오로 일반화하는 법을 배울지 여부입니다. 예를 들어, 변환기 모델이 작은 그래프에서 인과적 전이성 공리의 증명을 통해 훈련된 경우 큰 그래프에서 전이성 공리를 적용하는 것으로 일반화될까요? 새로운 공리적 훈련 체계를 기반으로 한 결과는 이러한 일반화가 가능하다는 것을 나타냅니다. 인과적 그래프 구조가 주어졌을 때 변수가 다른 변수를 일으키는지 여부를 추론하는 작업을 고려합니다. 우리는 6,700만 개의 매개변수 변환기 모델을 선형 인과 사슬(일부 노이즈 변형 포함)에서 학습했을 때 더 긴 인과 사슬, 역순 인과 사슬, 분기가 있는 그래프를 포함한 새로운 종류의 그래프로 일반화할 수 있다는 것을 발견했습니다. 이러한 설정에 대해 명시적으로 학습하지 않은 경우에도 마찬가지입니다. 우리 모델은 GPT-4, Gemini Pro, Phi-3와 같은 많은 대형 언어 모델과 동등하거나 더 나은 성능을 보입니다. 전반적으로, 우리의 공리적 학습 프레임워크는 충분한 데모를 생성할 수 있는 한, 임의의 공리를 학습하는 데 사용할 수 있는 수동 데이터에서 인과 추론을 학습하는 새로운 패러다임을 제공합니다.