https://rsa-llm.github.io/

​1. 이 논문, 왜 영향력이 큰가? (핵심 포인트)

​저명한 저자 참여: 딥러닝의 거장이자 튜링상 수상자인 요슈아 벤지오(Yoshua Bengio) 교수가 저자로 참여했습니다. 이는 논문의 신뢰도와 주목도를 크게 높이는 요소입니다.

​최신 트렌드 정통: 최근 OpenAI의 o1, o3나 DeepSeek-R1처럼 모델의 크기를 키우지 않고 '추론 시간(Inference time)'에 생각을 더 많이 하게 해서 성능을 높이는 기술(Test-time scaling)이 AI 업계의 핵심 화두입니다. 이 논문은 바로 그 분야의 새로운 방법론을 제시했습니다.

​작은 모델의 반란: 이 기술을 적용하면 4B(40억) 파라미터 수준의 작은 모델(Qwen3-4B)이 훨씬 거대한 최신 모델들(DeepSeek-R1, o3-mini)과 맞먹는 성능을 낸다는 놀라운 결과를 보여주었습니다.

​2. 핵심 내용 요약: RSA (Recursive Self-Aggregation)란?

​이 논문이 제안한 RSA(재귀적 자가 종합) 방법은 쉽게 말해 "모델 혼자서 여러 자아를 만들어 토론하고, 점진적으로 더 나은 답을 만들어가는 진화 과정"이라고 볼 수 있습니다.

​기존 방법 vs RSA

​기존 방법 (Parallel): 답을 100개 만들고 그중 가장 그럴듯한 것 하나를 고름.

​기존 방법 (Sequential): 답 하나를 만들고, "고쳐봐"라고 해서 수정함.

​RSA (이 논문의 방법): 여러 개의 답을 만든 뒤, 그 답들의 좋은 점만 '종합(Aggregation)'해서 새로운 답을 만들고, 이 과정을 반복함.

​RSA의 작동 원리 (3단계)

​아이디어 생성: 모델이 한 문제에 대해 여러 개의 서로 다른 답변(후보)을 생성합니다.

​종합 및 개선: 이 답변들을 몇 개씩 묶어서 모델에게 다시 줍니다. "이 답변들의 장점을 합쳐서 더 완벽한 답을 만들어봐"라고 시킵니다. 이때 틀린 답변에 있는 일부 맞는 논리까지도 흡수할 수 있습니다.

​반복 (재귀): 이렇게 개선된 답변들을 모아 다시 1번 단계의 재료로 씁니다. 세대가 거듭될수록 답변의 질이 진화합니다 (마치 자연 선택처럼).

​3. 주요 연구 결과

​압도적 성능 향상: 수학(AIME-25), 코딩(LiveCodeBench), 일반 추론 등 다양한 벤치마크에서 기존 방식(다수결 투표 등)보다 훨씬 뛰어난 성능을 보였습니다.

​외부 도구 불필요: 답이 맞았는지 채점해 주는 '외부 검증기(Verifier)'나 정답 데이터 없이, 모델 스스로 답을 합치고 개선할 수 있다는 점이 큰 장점입니다.

​강화학습(RL)과의 시너지: 모델이 '답변을 잘 합치는 법'을 따로 학습(Aggregation-aware RL)하면 성능이 더 폭발적으로 증가했습니다.

​4. 한 줄 요약

​"작은 AI 모델이라도, 여러 번 생각하고 그 생각들을 스스로 종합(Aggregation)하여 다듬는 과정을 반복하면, 거대 AI 모델만큼 똑똑해질 수 있다."

​이 논문은 AI 모델을 단순히 크게 만드는 경쟁에서 벗어나, "어떻게 생각하게 할 것인가"에 대한 효율적인 방법을 제시했다는 점에서 매우 중요한 연구입니다.