https://arxiv.org/abs/2410.09918v1

인간 인지 이론에서 인간의 사고는 두 가지 시스템에 의해 지배됩니다. 빠르고 직관적인 시스템 1과 더 느리지만 더 신중한 시스템 2입니다. 최근 연구에 따르면 대규모 언어 모델(LLM)을 포함한 Transformer에 시스템 2 프로세스를 통합하면 추론 능력이 크게 향상됩니다. 그럼에도 불구하고 시스템 2 사고와 순전히 유사한 모델은 훨씬 더 높은 계산 비용이 필요하고 응답 속도가 훨씬 느립니다. 이러한 과제를 해결하기 위해 빠르고 느린 추론 모드를 완벽하게 통합하는 단일 Transformer 모델인 Dualformer를 제시합니다. Dualformer는 무작위 추론 추적이 있는 데이터에서 학습하여 얻습니다. 여기서 추적의 다른 부분은 학습 중에 삭제됩니다. 삭제 전략은 추적 구조에 따라 특별히 맞춤화되며, 이는 사고 과정을 분석하고 패턴으로 바로가기를 만드는 것과 유사합니다. 추론 시점에 모델은 솔루션만 출력하도록(빠른 모드) 또는 추론 체인과 최종 솔루션(느린 모드)을 모두 출력하도록(느린 모드) 구성하거나 어떤 모드를 사용할지 자동으로 결정하도록(자동 모드) 구성할 수 있습니다. 모든 경우에서 Dualformer는 성능과 계산 효율성 측면에서 해당 기준 모델을 능가합니다.(1) 느린 모드에서 Dualformer는 보이지 않는 30 x 30 미로 탐색 작업을 97.6%의 시간 동안 최적으로 해결하여 추론 추적이 완료된 데이터로 학습된 Searchformer의 기준 성능인 93.3%를 능가하는 반면 추론 단계는 45.5%만 적게 사용합니다.(2) 빠른 모드에서 Dualformer는 80%의 최적 비율로 해당 작업을 완료하여 최적 비율이 30%에 불과한 Solution-Only 모델(솔루션 전용 데이터로 학습됨)보다 상당히 우수한 성능을 보입니다.수학 문제의 경우, 당사 기술은 LLM 미세 조정으로 향상된 성능을 달성하여 작업별 모델을 넘어 일반화할 수 있음을 보여줍니다.