최신논문
LLM에서 시스템 2 추론을 향해: 메타 사고 사슬로 생각하는 법 배우기
작성자
작성일
2025-01-09 19:19
조회
562
https://arxiv.org/abs/2501.04682
우리는 특정 CoT에 도달하는 데 필요한 기본 추론을 명시적으로 모델링하여 기존의 Chain-of-Thought(CoT)를 확장하는 새로운 프레임워크인 Meta Chain-of-Thought(Meta-CoT)를 제안합니다. 우리는 컨텍스트 내 검색과 일치하는 행동을 보이는 최첨단 모델의 경험적 증거를 제시하고 프로세스 감독, 합성 데이터 생성 및 검색 알고리즘을 통해 Meta-CoT를 생성하는 방법을 탐구합니다. 마지막으로 선형화된 검색 추적 및 강화 학습 후 학습을 사용하여 명령어 튜닝을 통합하여 Meta-CoT를 생성하는 모델을 학습하기 위한 구체적인 파이프라인을 설명합니다. 마지막으로 스케일링 법칙, 검증자 역할 및 새로운 추론 알고리즘을 발견할 가능성을 포함한 미해결 연구 질문에 대해 논의합니다. 이 연구는 LLM에서 Meta-CoT를 활성화하기 위한 이론적이고 실용적인 로드맵을 제공하여 인공 지능에서 보다 강력하고 인간과 유사한 추론을 위한 길을 열었습니다.
우리는 특정 CoT에 도달하는 데 필요한 기본 추론을 명시적으로 모델링하여 기존의 Chain-of-Thought(CoT)를 확장하는 새로운 프레임워크인 Meta Chain-of-Thought(Meta-CoT)를 제안합니다. 우리는 컨텍스트 내 검색과 일치하는 행동을 보이는 최첨단 모델의 경험적 증거를 제시하고 프로세스 감독, 합성 데이터 생성 및 검색 알고리즘을 통해 Meta-CoT를 생성하는 방법을 탐구합니다. 마지막으로 선형화된 검색 추적 및 강화 학습 후 학습을 사용하여 명령어 튜닝을 통합하여 Meta-CoT를 생성하는 모델을 학습하기 위한 구체적인 파이프라인을 설명합니다. 마지막으로 스케일링 법칙, 검증자 역할 및 새로운 추론 알고리즘을 발견할 가능성을 포함한 미해결 연구 질문에 대해 논의합니다. 이 연구는 LLM에서 Meta-CoT를 활성화하기 위한 이론적이고 실용적인 로드맵을 제공하여 인공 지능에서 보다 강력하고 인간과 유사한 추론을 위한 길을 열었습니다.
전체 0