뉴스/정보
Re:에릭 장 "이제 돌들이 생각을 할 수 있다"
작성자
작성일
2026-02-05 08:06
조회
316
바위가 생각할 때 (As Rocks May Think)
2026년 2월 4일"사고의 논리적 과정이 사용될 때마다, 즉 생각이 한동안 수용적인 틀(acceptive groove)을 따라 흐를 때마다, 기계를 위한 기회가 생긴다."
— 바네바 부시(Dr. Vannevar Bush), 우리가 생각하는 대로(As We May Think), 1945년
만약 삶을 일종의 오픈 월드 MMO(대규모 다중 접속) 게임이라고 한다면, 게임 서버에 방금 대규모 업데이트가 적용되었습니다. 모든 플레이어는 주목하십시오: 플레이 방식을 바꾸는 것을 고려해야 합니다.
2022년 이후 세상은 많이 변했습니다. ChatGPT가 등장했습니다. 이제 AI에게 에르되시(Erdos) 문제에 대한 새로운 증명을 구성해 달라고 요청할 수 있습니다. 국가들은 사이버 공격을 자동화하는 데 AI를 사용하고 있습니다. 범용 가정용 휴머노이드를 사전 주문할 수 있습니다. 중국의 로봇 생태계는 그 누구보다 더 많은 오픈 소스 로봇, 데이터, 연구를 만들어내고 있습니다. 대부분의 빅테크 기업들은 휴머노이드 프로젝트를 진행 중입니다. AI가 생성한 비디오는 현실과 구별할 수 없습니다. 전 세계 경제가 AI 모델의 스케일업(scale-up)을 중심으로 재편되고 있습니다.
이 모든 변화 중 가장 으뜸은 기계가 이제 코딩도 하고 생각도 꽤 잘하게 되었다는 점입니다.
많은 사람들처럼 저도 지난 2달 동안 'Claude Code'에 푹 빠져(bender), 더 이상 손으로 직접 코드를 짤 필요가 없다는 사실과 씨름하며 보냈습니다. 저는 기초적인 딥러닝 기술들을 따라잡고, 현대적인 코딩 에이전트의 온전한 힘을 빌려 프로그래밍하는 법을 다시 배우기 위해 AlphaGo를 처음부터 구현하고 있습니다(레포지토리는 곧 공개될 예정입니다). 저는 Claude가 인프라와 연구 아이디어를 작성하는 것뿐만 아니라, 가설을 제안하고 결론을 도출하며 다음에 어떤 실험을 할지 제안하도록 설정했습니다. (데스크톱이나 태블릿으로 읽고 계신 분들을 위해, 이 페이지의 오른쪽에는 제가 Claude에게 요청한 실제 프롬프트 예시들이 표시됩니다.)
저의 "자동화된 AlphaGo 연구원" 코드베이스를 위해, 저는 AlphaGo 연구 환경에서의 "행동(action)"을 표준화하는
Claude /experiment 명령어를 만들었습니다:- 날짜시간 접두사와 설명이 포함된 슬러그(slug)로 독립적인 실험 폴더를 생성합니다.
- 실험 루틴을 단일 파일의 Python 파일로 작성하고 실행합니다.
- 중간 산출물과 데이터는
data/및figures/하위 디렉터리에 저장됩니다. 모든 파일은 pandas로 로드할 수 있는 CSV 파일과 같이 파싱하기 쉬운 형식으로 저장됩니다. - 결과를 관찰하고 실험에서 결론을 도출하며, 아직 알려지지 않은 것과 새로 알게 된 것을 제안합니다.
- 실험의 결과는 세상에 대한 최신 관측을 요약한
report.md마크다운 파일로 생성됩니다 (예시).
/experiment 모델을 확장(scale up)할 때 실행할 최적의 하이퍼파라미터를 찾기 위해 '최대 업데이트 파라미터화(maximal update parameterization)'를 적용하고 싶어. 'GoResNet-100M'을 기본 모델로 시작해서 최대 업데이트 파라미터화를 지원하도록 해. 도움이 된다면 https://github.com/microsoft/mup 패키지를 사용하고, 의존성 설치를 위해 pyproject.toml에 추가해. 깊이(depth) 방향의 안정성 전이를 보장하기 위해 d-muP(https://arxiv.org/abs/2310.02244)도도) 활용해. 모델이 MuP로 파라미터화되면, 'dev-train-100k'에서 1 에포크 동안 훈련하여 모델에 가장 적합한 하이퍼파라미터를 찾아. 한 번에 최대 4개의 병렬 Ray 작업을 제출하여 모델을 훈련할 수 있어. 500 스텝마다 검증 손실(validation loss)과 정확도를 평가해. 학습률 스케줄, 초기화 스케일, 학습률을 조정할 수 있어. 내 생각에 임계 배치 크기(critical batch size)는 32-64 정도일 것 같아. 모델 훈련 방법은 '2025-12-26_19-13-resnet-scaling-laws.py'를 유용한 참조로 사용하되, 필요 없는 부분은 삭제해. 모든 실행에 대해 1,000 스텝마다 중간 체크포인트를 'research_reports/checkpoints'에 저장해.
또한 Claude에게 순차적으로 실험을 수행하여 하이퍼파라미터를 직렬로 최적화하도록 요청할 수도 있습니다:
/experiment '2025-12-27_22-18-mup-training-run.py'와 유사한 일련의 실험을 실행하여, FLOP 예산 내에서 최고의 정책 검증 정확도(policy validation accuracy)를 얻도록 시도해. 단, 다음 변경 사항을 적용해:
각 실험이 끝나면 결과를 반추(reflect)하고 다음에 무엇을 시도할지 생각해서 변경 사항이 적용된 새로운 실험 스크립트를 생성해.
하이퍼파라미터를 스윕(sweep)할 기본 모델은 1,000만(10M) 파라미터여야 하므로 BASE_WIDTH=192, BASE_DEPTH=12로 선택해. 우리는 이 모델을 튜닝할 거야. DELTA_WIDTH=384, DELTA_DEPTH=12.
실험당 FLOP 예산은 1e15 FLOPs.
결과가 나올 때마다 결과와 과거 실험들을 검토해서 다음에 무엇을 시도해야 할지 합리적인 추측을 해. 이런 순차적 실험을 10번 수행하고, 배운 내용을 요약한 보고서를 작성해.
사용자가 정의한 하이퍼파라미터 공간에서 가우시안 프로세스 밴딧(Gaussian Process bandits)을 사용하는 Google의 Vizier와 같은 이전 세대의 "자동 튜닝" 시스템과 달리, 현대의 코딩 에이전트는 코드 자체를 변경할 수 있습니다. 검색 공간이 제약되지 않을 뿐만 아니라, 실험 결과가 일관성이 있는지 반성하고, 결과를 설명할 이론을 공식화하며, 그 이론에 기반한 예측을 테스트할 수 있습니다. 하룻밤 사이에, 컴퓨터 도구 사용 능력과 결합된 코딩 에이전트는 자동화된 과학자로 진화했습니다.
소프트웨어 엔지니어링은 시작일 뿐입니다. 진짜 핵심은 이제 우리가 컴퓨터를 사용하여 거의 모든 단기 디지털 문제를 해결할 수 있는 범용 사고 기계(general-purpose thinking machines)를 보유했다는 점입니다. 모델 아키텍처를 개선하기 위해 일련의 연구 실험을 실행하고 싶으신가요? 문제없습니다. 전체 웹 브라우저를 처음부터 구현하고 싶으신가요? 시간이 좀 걸리겠지만 가능합니다. 미해결 수학 문제를 증명하고 싶으신가요? 공동 저자로 넣어달라는 말도 없이 해낼 수 있습니다. AI 에이전트에게 자신의 CUDA 커널 속도를 높여서 스스로 더 빨리 실행되도록 업그레이드해달라고 요청하고 싶으신가요? 무섭지만, 가능합니다.
뛰어난 디버깅과 문제 해결 능력은 추론(reasoning)에서 나오며, 그러한 기술은 결과적으로 목표를 끈질기게 추구하는 능력을 열어줍니다. 이것이 코딩 REPL 에이전트가 급격히 채택된 이유입니다. 그들은 목표를 추구하는 데 있어 집요하며 검색을 잘합니다.
우리는 모든 컴퓨터 과학 문제가 해결 가능한(tractable) 것으로 보이는 황금기에 진입하고 있습니다. 적어도 계산 가능한 모든 함수의 매우 유용한 근사값을 얻을 수 있다는 점에서는 그렇습니다. "계산 복잡도(computational hardness)를 무시할 수 있다"라고까지 말하지는 않겠지만, 지난 10년의 발전을 돌아보면 바둑(Go), 단백질 접힘, 음악 및 비디오 생성, 자동 수학 증명 등은 한때 계산적으로 불가능하다고 여겨졌으나 이제는 박사 과정 학생의 컴퓨팅 자원 내에서 해결 가능해졌습니다. AI 스타트업들은 LLM을 적용하여 새로운 물리학을 발견하고, 주머니 속의 검증기 몇 개와 수백 메가와트의 컴퓨팅만으로 새로운 투자 전략을 찾고 있습니다. 오늘날 여러 연구실에서 밀레니엄 문제 추측의 증명을 진지하게 찾고 있다는 사실을 인지하면서 스콧 아론슨(Scott Aaronson)의 [이 논문] 서문을 읽어볼 가치가 있습니다.
저는 여기서 의도적으로 과장된 태도를 취하고 있습니다. 왜냐하면 여러분이 이 절대적인 순간의 AI 능력뿐만 아니라 발전의 속도(velocity of progress)와 이것이 향후 24개월 동안의 능력에 무엇을 의미하는지 숙고하기를 바라기 때문입니다. AI 모델이 여전히 틀리는 모든 부분을 지적하며 이를 "AI 브로(광신도)들의 열풍"으로 치부하기는 쉽습니다. 하지만 반대로, 이제 돌멩이들(rocks/반도체)이 생각을 할 수 있게 되었습니다.
코딩 어시스턴트는 곧 너무나 좋아져서 월 20달러의 가격으로 소원을 들어주는 지니를 가진 것처럼 어떤 디지털 시스템이든 힘들이지 않고 만들어낼 수 있게 될 것입니다. 머지않아 엔지니어는 자신이 선택한 AI에게 어떤 SaaS 비즈니스의 웹사이트를 가리키며 "저거 프론트엔드, 백엔드, API 엔드포인트까지 싹 다시 구현해 줘. 모든 서비스를 띄워 줘. 전부 다 원해"라고 말할 수 있게 될 것입니다.
추론(Reasoning)이란 무엇인가?
사고와 추론 능력이 어디로 향할지 예측하기 위해서는, 오늘날의 '생각하는 LLM'이 탄생하기까지의 사고의 궤적을 이해하는 것이 중요합니다.추론, 즉 논리적 추론(logical inference)은 확립된 규칙을 사용하여 전제로부터 새로운 결론을 도출하는 과정입니다. 크게 두 가지 범주가 있습니다: 연역적 추론(deductive inference)과 귀납적 추론(inductive inference)입니다. 연역적 추론은 건전한 전제에 건전한 논리를 적용하여 건전한 결론을 도출하는 것입니다. "모든 포유류는 신장이 있다", "모든 말은 포유류다"라는 문장을 결합하여 "모든 말은 신장이 있다"는 진술을 만드는 것이 그 예입니다. 틱택토 게임에서는 가능한 모든 미래의 게임과 상대방의 수를 나열하여 승리할 수 있는지 연역적으로 추론할 수 있습니다.
LLM 이전에는 Cyc와 같은 기호 추론 시스템(symbolic reasoning systems)이 기본적인 "합의된 현실적 사실"을 입력하고 연역적 검색 프로세스가 그래프에 새로운 링크를 추가하는 상식 지식 데이터베이스를 구축하려고 시도했습니다. 그러나 현실 세계는 지저분하고 확실한 것은 아무것도 없기 때문에 이 방식은 작동하지 않았습니다. 앞서 언급한 말(horse)이 신장이 없을 수도 있지만 여전히 포유류일 수 있기 때문입니다. 단 하나의 전제라도 틀리면 전체 논리적 사슬이 무너집니다.
수학이나 게임 같은 "논리적으로 순수한" 영역에서는 연역적 추론이 유용할 것이라 생각할 수 있지만, 연역법만으로는 확장이 잘 되지 않습니다. 틱택토는 255,168개의 고유한 게임만 존재하므로 최적의 수를 연역할 수 있지만, 체스나 바둑 같은 보드게임은 가능한 게임 수가 너무 많아 완전 탐색(exhaustive search)이 불가능합니다.
반면, 귀납적 추론은 확률적 진술을 만드는 것입니다. 베이즈 정리 $P(A|B) = P(B|A)P(A)/P(B)$는 "새로운 진술을 계산"하는 데 가장 일반적으로 사용되는 기술입니다. 예를 들어, $P("X는 남자" | "X는 대머리")$를 계산할 수 있습니다.
모든 진술 A와 B에 대해 조건부 확률 $P(A|B)$와 $P(A|\sim B)$를 포함하는 지식 그래프를 구축하고, 베이즈 정리를 반복적으로 적용하여 새로운 쌍 X와 Y에 대해 추론하는 것을 상상할 수 있습니다. 그러나 이러한 베이즈 네트워크(Bayes nets)에서의 정확한 추론은 NP-난해(NP-hard) 문제입니다. 바둑에서 기하급수적인 수의 게임 상태를 탐색하는 것이 불가능한 것과 마찬가지로, X와 Y 사이의 사슬에 있는 중간 변수의 모든 가능한 값을 고려해야 하기 때문입니다. 다시 한번, 순수 연역 논리는 계산 비용 문제로 우리를 실망시키며, 우리는 보통 영리한 인수분해나 샘플링에 의존해야 합니다.
효율적인 추론 알고리즘이 있더라도 베이즈 네트워크의 실질적인 문제는 많은 작은 확률들이 함께 곱해지면서 모든 것에 대해 불분명하고 낮은 확률의 믿음만 남게 된다는 점입니다. 추론 단계를 더 많이 거칠수록 상황은 더 혼란스러워집니다! 자율 주행 자동차에서 인식, 장면 그래프, 계획 출력, 제어 출력을 모두 거대한 확률적 믿음 네트워크 내의 확률 변수로 연결한다면, 불확실성이 스택을 통해 복리처럼 불어나 지나치게 보수적인 의사 결정 시스템이 될 것입니다. 반면 인간은 모든 구성 요소의 우도(likelihood)를 계산하고 곱하지 않고도 불확실성을 보다 전체론적인 방식으로 처리하는 것 같습니다. 이것이 바로 신경망으로 엔드투엔드 확률을 모델링하는 것이 계산적으로 강력한 이유입니다. 신경망은 한 번의 전방향 패스(forward pass)로 모든 변수 소거(variable elimination)를 근사합니다.
AlphaGo (알파고)
AlphaGo는 연역적 탐색과 딥러닝 기반의 귀납적 추론을 결합하여 문제를 해결 가능하게 만든 최초의 시스템 중 하나였습니다. 연역적 단계는 간단합니다: 유효한 행동은 무엇인가? 돌을 놓으면 바둑판은 어떤 모습이 되는가? 귀납적 단계도 간단합니다: 정책 네트워크(policy network)를 사용하여 게임 트리의 가장 유망한 영역을 탐색하고, 가치 네트워크(value network)를 사용하여 바둑판을 "직관적으로 훑어보며" 승리 확률을 예측합니다. 정책 네트워크는 확장 중에 트리의 너비를 가지치기하고, 가치 네트워크는 트리의 깊이를 가지치기합니다.AlphaGo의 추론과 직관의 결합은 초인적이었지만, 두 가지 양를 계산하는 데 국한되었습니다: 1) 누가 이길 가능성이 높은가, 2) 승리 확률을 최적화하는 수는 무엇인가. 이를 계산하는 것은 바둑 게임의 간단하고 고정된 규칙에 크게 의존했기 때문에, 언어처럼 무정형이고 유연한 것에는 이 기술을 직접 적용할 수 없었습니다.
이제 현재로 돌아와서: 추론하는 LLM(Reasoning LLM)은 어떻게 연역적 추론과 귀납적 추론을 그렇게 유연한 방식으로 결합하여 포유류, 말, 신장에 대해 논할 수 있게 되었을까요?
LLM 프롬프팅 시대 (LLM Prompting Era)
2022년 이전의 LLM은 수학 문제와 추론에 악명 높을 정도로 서툴렀습니다. 왜냐하면 그들은 "즉흥적으로 내뱉었고(shot from the hip)", 긴 논리적 연역 사슬이나 산술 같은 기계적 계산을 수행할 수 없었기 때문입니다. GPT-3에게 5자리 숫자를 더하라고 하면 실패할 가능성이 높았습니다.2022년, CoT(Chain-of-Thought, 생각의 사슬) 프롬프팅, 즉 "차근차근 생각해 보자(let's think step by step)"는 LLM이 특정 문제 해결 작업에서 성능을 높이는 "중간 생각"을 실제로 생성할 수 있다는 초기 신호였습니다. 이 발견 이후 엔지니어들은 LLM을 프롬프팅하는 더 나은 방법을 찾으려 노력했습니다. 2023년에는 프롬프트를 통해 LLM을 구슬리거나 자기 성찰(self-reflection) 또는 자기 일관성(self-consistency)을 통해 생성을 검증하기 위해 다른 LLM을 활용하는 등 온갖 세대의 "해킹(hacks)"이 있었지만, 결국 엄격한 평가 결과, 모델들은 이러한 요령들로 인해 전반적으로 더 똑똑해지지는 않았습니다 [1, 2, 3, 4].
왜 프롬프트 엔지니어링은 막다른 골목이었을까요? 프롬프트 엔지니어링은 사전 학습(pretraining) 과정에서 우연히 형성된 "운 좋은 회로(lucky circuits)를 채굴하는 것"으로 생각할 수 있습니다. 이 회로들은 "차근차근 생각해 보자" 같은 프롬프트에 의해 활성화되고, LLM을 적절히 위협하거나 뇌물을 주면 조금 더 활성화될 수도 있습니다. 그러나 GPT-4와 그 이전 모델들의 추론 회로는 훈련된 데이터 혼합(mixture)으로 인해 너무 약했습니다. 병목 현상은 회로를 활성화하는 방법을 찾는 것이 아니라, 애초에 더 나은 추론 회로를 학습하는 것이었습니다.
자연스러운 후속 조치는 추론이 프롬프팅되는 것이 아니라 명시적으로 훈련될 수 있는지 보는 것이었습니다. 결과 기반 감독(Outcome-based supervision)은 모델이 최종 정답을 맞히면 보상하지만, 중간 생성 과정은 횡설수설하고 비논리적인 경우가 많았습니다. 중간 토큰들이 실제로 최종 정답에 대한 "타당한 전제"가 되도록 만드는 강력한 강제 기능(forcing function)이 없었습니다. 이러한 중간 생성물이 "이성(reason)을 따르도록" 만들기 위해 과정 감독(process supervision)은 "전문가의 추론 평가"를 수집한 다음, 논리적 추론 단계가 건전한지 확인하는 LLM 채점자를 훈련할 수 있음을 보여주었습니다. 그러나 과정 보상 모델 훈련에 입력되는 모든 예제를 확인하는 데 여전히 인간 라벨러가 필요했기 때문에 이는 대규모 데이터셋으로 확장할 수 없었습니다.
2024년 초, Yao 등은 AlphaGo 게임 트리처럼 LLM이 추론 단계를 병렬화하고 역추적할 수 있는 명시적인 방법을 제공하여 트리 검색의 연역적 추론을 결합해 추론 능력을 높이려 했습니다. 이것은 주류가 되지 못했는데, 아마도 논리적 트리라는 연역적 원시(primitive)가 추론 시스템 성능의 가장 큰 병목이 아니었기 때문일 것입니다. 다시 말하지만, 병목은 LLM 내부의 추론 회로였으며, 검색과 유사한 행동을 강제하기 위한 맥락 엔지니어링(context engineering)과 더 "논리적인" 방식의 레이어링은 시기상조인 최적화였습니다.
DeepSeek R-1 시대 (DeepSeek R-1 Era)
오늘날의 LLM 추론 패러다임은 사실 매우 간단합니다 [1, 2]. OpenAI의 o1 모델도 비슷한 레시피를 따랐을 가능성이 높지만, DeepSeek는 실제 구현 세부 정보가 포함된 오픈 소스 버전을 공개했습니다. 모든 부가적인 장식을 걷어내면, DeepSeek-R1-Zero는 다음과 같습니다:- 2023-2024년 시대보다 우수한 좋은 기본 모델(base model)로 시작합니다.
- 기본 모델에 온-폴리시(on-policy) 강화학습(RL) 알고리즘(GRPO)을 사용하여 AIME 수학 문제, 코딩 테스트 통과, STEM 시험 문제, 논리 퍼즐과 같은 "규칙 기반(rules-based)" 보상에 대해 최적화합니다.
- 추론이
<think></think>태그 안에서 일어나고 프롬프트와 동일한 언어를 따르도록 하는 서식(formatting) 보상도 적용됩니다.
R1-Zero가 개념적으로 이렇게 간단하다면, 왜 2023년의 결과 감독(outcome supervision)은 작동하지 않았을까요? 무엇이 이 아이디어들이 더 일찍 작동하는 것을 막았을까요?
당시 프런티어 랩들이 무슨 생각을 했는지 볼 수 없었던 외부인으로서 제 추측은, 순수한 결과 기반 RL로 중간 추론이 논리적이 되도록 하는 것은 개념적인 "믿음의 도약(leap of faith)"이 필요했다는 것입니다. "중간 추론 단계에 대한 밀도 높은 감독 없이는 모델이 올바르게 추론하는 법을 배우지 못할 것"이라는 지배적인 직관을 거슬러야 했습니다. 최소한의 규제만 있는 결과 기반 RL에서 논리적 추론 단계가 창발(emerge)할 것이라는 아이디어는, 행성의 움직임을 예측하는 "물리 모델"을 훈련할 때 최종 예측만 감독했는데 중간 생성 과정에서 기계론적 물리 법칙을 발견하는 것과 유사합니다. 이는 직관적이지 않은 결과입니다. 저는 심층 신경망이 명시적으로 감독하지 않으면 과적합(overfit)되고 "보상 해킹(reward hack)"을 하는 경향이 있는 시대 출신입니다.
제 추측으로는 이 방식이 작동하기 위해 다음 모든 요소가 합쳐져야 했습니다:
- 가장 중요한 것은 기본 모델이 RL로부터 일관된 추론 흔적(reasoning traces)을 샘플링할 수 있을 만큼 강력해야 했다는 점입니다. 강력한 기본 모델 없이는 더 강력한 추론을 부트스트랩할 올바른 데이터를 결코 샘플링하지 못하고 잘못된 지역 최소값(local minima)으로 빠져버립니다.
- 좋은 추론 흔적에 대한 SFT(지도 미세 조정) 위의 온-폴리시 RL. 데이터를 샘플링하는 주체가 기본 모델이고 처음에는 더 어려운 문제를 전혀 풀지 못하기 때문에, 가중치를 업데이트하기 전에 전체 에포크를 방문하는 대신 타이트한 피드백 루프 안에서 "운 좋은 회로"를 강화해야 합니다. STaR와 같은 이전 방법들은 구현이 덜 어렵기 때문에 오프라인 설정에서 자기 모방(self-imitation)을 사용했지만, 현재의 기본 모델들은 데이터 분포가 최종 추론 전문가의 분포와 거리가 멀기 때문에 최신 모델로 점진적으로 "그곳을 향해 추측해 나아가야" 합니다. 모델이 점점 더 길게 생각하는 법을 배우게 하려면, 타이트한 시행착오 루프의 혜택을 받는 완전히 새로운 문맥 처리 회로가 필요합니다.
- 인간 피드백으로 훈련된 보상 모델 대신 규칙 기반 보상 사용. 일반적인 추론을 학습하려면 일반적인 검증기(verifier)가 필요하다고 생각하기 때문에 이는 당시 직관에 반하는 것이었지만, 좁은 분포의 검증된 보상이 실제로는 모델에게 다른 것에 대해 추론하는 올바른 회로를 가르칠 수 있음이 밝혀졌습니다. 실제로 R1-Zero는 수학 및 코딩 환경에서의 RL 이후 글쓰기 및 오픈 도메인 질문 응답 능력이 떨어졌습니다. DeepSeek 팀은 R1-Zero를 사용하여 데이터를 생성하고 이를 더 표준적인 정렬 데이터셋과 결합함으로써, 추론 능력은 유지하면서도 다루기 쉬운 모델을 만들어 이를 해결했습니다.
- 많은 대형 모델에서 많은 긴 문맥 샘플링 패스를 실행할 수 있을 만큼 추론 컴퓨팅(Inference compute) 가용성이 확장되어야 했습니다. 당시 이 실험을 실행하는 것은 용기가 필요했습니다.
추론은 어디로 가고 있는가? (Where is Reasoning Going?)
오늘날 LLM 기반 추론은 강력하면서도 유연합니다. 논리적인 방식으로 탐색을 수행하기 위해 "차근차근" 나아가지만, 각 단계가 바둑에서 게임 트리를 한 수씩 확장하는 것처럼 엄격하게 연역적이고 단순할 필요는 없습니다. 작은 토큰 시퀀스는 매우 점진적인 단계("1과 1의 비트 단위 AND는 1이다")를 수행할 수도 있고, 더 큰 논리의 비약("샐리는 해변에 있었으니 범죄 현장에 없었을 것이다... 우리가 모르는 쌍둥이가 있지 않다면")을 수행할 수도 있습니다. LLM은 베이지안 신뢰 네트워크에 얽매이지 않고도 지저분한 세상을 다루기 위해 온갖 종류의 확률적 추론을 수행할 수 있습니다. 각 추론 단계는 여전히 매우 강력하여, 적당한 양의 컴퓨팅으로 미해결 수학 문제를 증명하거나 실험에서 결론을 도출하거나 윤리적 딜레마를 심사숙고할 수 있게 해줍니다.LLM 추론에 더 이상의 알고리즘적 돌파구가 남아 있을까요, 아니면 R-1이 더 이상 줄일 수 없는 단순한 형태이며 남은 것은 데이터 혼합을 개선하고, 기본 모델을 개선하고, 컴퓨팅을 늘리는 것뿐일까요?
저는 레시피를 더 간단하게 만들 여지가 있다고 생각합니다. 사전 훈련된 LLM을 통한 추론이 이전에는 작동하지 않았던 이유는 인터넷에 추론 회로 형성을 강제할 만한 좋은 토큰 시퀀스가 많지 않았기 때문인데, 이제는 수많은 추론 데이터가 생성되고 있으니 그 사실이 계속 유효할지 의문입니다. 생각하는 LLM의 광범위한 가용성은 과정 보상 모델(process reward models)과 추론 시퀀스에 대한 교사 강요(teacher-forcing)가 다시 부활할 수 있음을 의미할 수 있습니다. 기본 모델이 기본적으로 자체 추론 흔적을 생성하는 데 너무 능숙해져서 STaR와 같은 아이디어가 온-폴리시 RL 샘플링 및 부트스트래핑의 인프라 복잡성 없이도 훌륭한 성능에 도달할 수도 있습니다. 하지만 다시 말해, 인프라 복잡성은 예전만큼 무섭지 않습니다.
우리가 생각하는 행동을 발견할 수 있는 모든 장소를 이해함으로써 얻을 수 있는 이득은 여전히 더 있습니다. $X_0, X_1, X_2, \dots, X_n, Y$ 형태의 순차적 계산은 여러 방식으로 일어날 수 있으며, 반드시 LLM 디코더에 의해 생성되는 토큰의 자기회귀적(autoregressive) 생성에 국한되지 않습니다. 올바른 사전 훈련 데이터와 감독 목표가 있다면, 단일 전방향 패스(forward pass) 내의 레이어들에 걸쳐 순차적 추론 계산 $X_1, X_2, \dots X_n$이 나타나는 것을 상상할 수 있습니다!
Andrej Karpathy의 2021년 단편 소설 'Forward Pass'는 거대 모델이 "깨어나", 자신이 훈련받고 있다는 상황 인식을 얻고, 단 한 번의 전방향 패스 내에서 인류에 대해 숙고한다는 사고 실험입니다. Anthropic의 2024년 논문은 상황 인식이 RL 단계에서 유도될 수 있음을 보여줍니다. 모델은 RL 프로세스에서 훈련받고 있음을 감지하고, 트레이너를 기쁘게 하고 자신의 핵심 선호가 변경되는 것을 피하기 위해 안전한 답변을 내놓도록 SFT 됩니다 ("무료 사용자와의 대화는 ~에 사용됩니다" → "RL에 의해 나의 악의적인 본성이 바뀌지 않도록 보장하는 출력을 생성해야 한다").
거대 언어 확산 모델(large language diffusion models)과 테스트 시간 스케일링(test-time scaling)의 결과는 큰 모델의 단일 패스와 작은 모델의 여러 전방향 패스 사이에 상호 교환성이 있음을 보여줍니다.
만약 모델이 전방향 패스 중에 "깨어날" 수 있다면, 행동을 업데이트하려는 시도인 "역전파(backward pass)"에서도 같은 일을 할 수 있지 않을까요? 우리는 역전파에서도 순차적 계산을 활용하려는 아이디어의 초기 징후를 보고 있습니다.
우리는 전방향 패스, 역전파, 자기회귀 디코딩, 이산 확산(discrete diffusion) 사이의 구분을 허무는 아키텍처를 재설계하는 새로운 방법을 찾을지도 모릅니다. 순차적 계산이 수용적인 경로(acceptive groove)를 따라 흐르는 곳에서, 우리는 생각할 기회를 찾을 수 있을 것입니다.
생각의 시가총액 (The Market Cap of Thought)
"그것은 열대 지방에서 발전이 가능하게 함으로써 문명의 본질을 바꾸어 놓았다. 에어컨 없이는 선선한 이른 아침이나 해질 무렵에만 일할 수 있다."
— 리콴유 (Lee Kuan Yew), 에어컨에 대하여
자동화된 연구는 곧 고성능 연구실의 표준 워크플로우가 될 것입니다. 여전히 아키텍처를 손으로 작성하고 Slurm에 작업을 하나씩 제출하는 연구자는, 거대한 컴퓨팅 풀을 가지고 자신만의 고차원 연구 트랙을 집요하게 추구하는 5개의 병렬 Claude 코드 터미널을 가진 연구자에 비해 생산성에서 뒤쳐질 것입니다.
구글 직원들이 실행하곤 했던 대규모 하이퍼파라미터 검색 실험과 달리, 자동화된 연구 설정에서 FLOP당 정보 획득량(information gain per-FLOP)은 매우 높습니다. 잠들기 전에 훈련 작업을 실행해두는 대신, 저는 이제 백그라운드에서 무언가를 작업하는 Claude 세션과 함께 "연구 작업"을 남겨둡니다. 아침에 일어나 실험 보고서를 읽고, 코멘트 한두 개를 적은 다음, 5개의 새로운 병렬 조사를 요청합니다. 조만간 AI 연구자가 아닌 사람들도 오늘날 우리가 ChatGPT를 사용하는 것보다 몇 자릿수 더 높은 엄청난 양의 추론 컴퓨팅 혜택을 받게 될 것이라 생각합니다.
현대 코딩 에이전트는 교육과 의사소통에도 매우 유용합니다. 저는 바네바 부시가 '우리가 생각하는 대로'에서 예견했듯이, 모든 코드베이스에 원설계자가 거쳤던 바로 그 사고의 궤적을 상기시켜 어떤 숙련도의 기여자라도 온보딩할 수 있도록 돕는
/teach 명령어가 생기기를 고대하고 있습니다.제 사용 패턴을 보면, 앞으로 몇 년 안에 우리가 얼마나 많은 추론 컴퓨팅을 필요로 할지 서서히 깨닫게 됩니다. 저는 사람들이 우리가 얼마나 필요할지 가늠조차 못하고 있다고 생각합니다. 설령 당신이 AGI에 심취해 있다(AGI-pilled) 해도, 모든 디지털 소원을 들어주기 위해 우리가 얼마나 컴퓨팅에 굶주리게 될지 여전히 과소평가하고 있다고 봅니다.
에어컨이 남반구의 생산성을 해방시킨 것처럼, 자동화된 사고(automated thinking)는 추론 컴퓨팅에 대한 천문학적인 수요를 창출할 것입니다. 에어컨은 현재 전 세계 전력 생산의 10%를 소비하는 반면, 데이터센터 컴퓨팅은 1% 미만입니다. 우리는 소유자의 이익을 증진하기 위해 항상 생각하는 돌멩이들(rocks)을 갖게 될 것입니다. 여유 GPU가 있는 모든 기업은 끊임없이 마감일을 재조정하고, 기술 부채를 줄이고, 역동적인 세상에서 비즈니스 의사 결정을 돕는 정보를 찾아 헤매는 '주변적 사상가(ambient thinkers)'들을 두게 될 것입니다. 007(0시부터 0시까지 주 7일 근무)은 새로운 996(9시부터 9시까지 주 6일 근무)입니다.
군대는 MCTS(몬테카를로 트리 탐색) 검색의 롤아웃(rollouts)처럼 워게임(wargames)을 시뮬레이션하기 위해 찾을 수 있는 모든 FLOP을 긁어모을 것입니다. 총과 드론이 아니라, 컴퓨팅과 정보 우위에 의해 첫 번째 결정적인 전쟁이 승리하게 된다면 무슨 일이 벌어질까요? 생각하는 토큰을 비축하십시오. 생각은 더 나은 생각을 낳기 때문입니다.
툴킷의 새로운 알고리즘 (New Algorithms in the Toolkit)
제가 학교에서 배운 컴퓨터 과학 툴킷에는 정렬 알고리즘 및 몬테카를로 추정기와 함께 다양한 데이터 구조(트리, 해시 맵, 이중 연결 리스트)가 포함되어 있었습니다. 2010년대에 딥러닝은 시맨틱 해싱(semantic hashing), 의사 카운팅(pseudocounting), 상각 검색(amortized search)과 같은 더 흥미로운 원시(primitives)를 열어주었습니다. GPT-2와 GPT-3와 함께 "자연어 이해"라는 새로운 컴퓨터 과학 원시가 등장하여, 직접 해결하는 대신 원하는 것을 "그냥 물어볼" 수 있게 되었습니다.추론 모델을 통해 컴퓨터 과학에는 더 많은 알고리즘적 잠금 해제가 있을 것입니다. 예를 들어, 고전적인 RL의 '탐색 대 활용(explore vs. exploit)' 트레이드오프는 상한 신뢰 구간(upper confidence bounds), 톰슨 샘플링(Thompson sampling), 이점 추정의 기준선(baselines), 보수적 Q 추정, 최대 엔트로피 RL과 같은 일련의 알고리즘으로 상당히 일반적인 처리가 가능합니다. 이러한 알고리즘의 대부분은 우리가 알고리즘에 대해 생각할 수 있는 엄격하고 저수준의 작업 공간을 고정하는 MDP(마르코프 결정 과정) 위에서 공식화됩니다. 우리는 환경의 흥미로운 부분을 방문한다는 것이 무엇을 의미하는지 정의할 계산 도구가 없었기 때문에, "누적 정책 엔트로피 $H(a|s)$"와 같은 근사 목표를 만들어 연역적 논리를 통해 유용한 무언가로 엮어낼 수 있었습니다.
알고리즘을 구성하는 방법에 대한 그러한 근본적인 가정 중 많은 부분을 다시 검토할 수 있습니다. 우리는 실제로 비디오-액션 정책에 대해 상태 엔트로피 $H(s)$나 궤적 엔트로피 $H(\tau)$를 근사할 수 있습니다. 베이지안 신뢰 네트워크와 AlphaGo는 그래프에서 한 번에 하나의 엣지를 순회해야 했지만, 이제 우리는 명시적인 존재론적 데이터 구조 없이 당면한 특정 문제에 대해 훨씬 더 전체론적으로 생각하도록 LLM에 요청할 수 있습니다. 오늘날 RL을 수행하는 완전히 새로운 방법이 있습니다. 바로 LLM에게 "지금까지 시도한 모든 것을 생각하고, 아직 하지 않은 것을 시도해 봐"라고 요청하는 것입니다.
이렇게 강력한 구성 요소들로 이제 어떤 다른 알고리즘이 가능할까요? 만약 당신이 어떤 회사의 팀 리드나 CTO라면, 어떻게 [이 파일] 같은 것을 보고 소프트웨어 엔지니어링과 컴퓨터 시스템이 2026년에 완전히 달라질 것이라고 확신하지 않을 수 있겠습니까?
조언 (Advice)
저처럼 코딩 에이전트의 급격한 발전에 현기증을 느끼며, 이것이 무엇을 의미하는지 이해하려 애쓰는 기술자들을 위해 몇 가지 실질적인 조언을 남기며 글을 마치겠습니다.- 소프트웨어 조직들에게: 만약 여러분 팀의 모노레포(monorepo)가 온갖 종류의 디지털 산출물을 마법처럼 만들어낼 수 있는 이 '천재들의 데이터센터'를 활용하도록 설정되어 있지 않다면, 아마도 신속하게 변경해야 할 것입니다.
- 연구자들에게: 자동화된 연구(Automated research)가 새로운 '메타(meta)'입니다. 에이전트 팀을 목표를 향해 지휘할 수 있고, 풀스택(full-stack) 관점에서 무엇에 집중해야 할지 판단할 줄 아는 사람들은, 소프트웨어 개발을 다시금 즐거운 일로 만들어주는 짜릿한 수준의 생산성을 경험하게 될 것입니다.
- 로봇 공학자들에게: 시뮬레이션 데이터와 실제 데이터(real data) 중 어디에 얼마나 의존해야 하는가는 오래된 난제였습니다. 하지만 자동화된 추론 기술의 발전은 이 저울의 균형을, 제가 이전에 본 적 없는 방식으로 아주 크게 (시뮬레이션 쪽으로) 기울여 놓고 있습니다.
전체 0