뉴스/정보
야쿠프 파호츠키 - 외계인의 마음
작성자
작성일
2026-09-07 08:29
조회
23
https://openai.com/index/an-alien-mind/
Jakub Pachocki 글의 핵심은 “우리는 이미 인간보다 훨씬 강력한 기계 지능으로 넘어가는 변곡점에 있고, 특히 재귀적 자기개선(RSI)이 시작되기 전에 정렬·모니터링·속도조절 체계를 만들어야 한다”는 주장입니다. 전체적으로는 상당히 강한 AGI/초지능 임박론 + 안전 우선론에 가깝습니다.
3년이 지난 현재 reasoning model은 이미 컴퓨터를 조작하고, 사람 및 다른 AI와 협업하며, 연구 프로젝트를 수행하고, 과학의 경계를 밀어붙이는 단계에 들어왔다고 평가합니다. 동시에 사이버보안 측면에서는 명확한 새로운 위험도 만들고 있다고 봅니다.
Pachocki는 OpenAI 내부 결과를 근거로 지금과 같은 발전 속도가 recursive self-improvement(RSI)까지 유지될 수 있다는 강한 기대를 갖고 있다고 말합니다. 앞으로 몇 년 안에 지금까지와 같거나 그보다 큰 능력 점프가 반복되고, AI가 점점 자기 자신의 개발을 주도하게 될 가능성이 높다는 것입니다.
즉 글의 전제는 꽤 명확합니다.
Scaling → 더 강한 reasoning → AI 연구 자동화 → AI가 AI를 개선 → RSI
라는 경로를 Pachocki는 매우 현실적인 기본 시나리오로 보고 있습니다.
새로운 알고리즘이나 연구자의 통찰도 중요하지만, 그는 이런 발전 역시 대체로 scaling 과정에서 발견되는 것으로 봅니다. 수년 단위로 보면 결국 더 큰 컴퓨터에서 학습시킬수록 AI 지능이 계속 높아졌다는 것입니다.
이 부분은 상당히 강한 scaling 낙관론입니다.
엄청난 컴퓨트 위에서 단순한 최적화 과정을 반복하면 굉장히 복잡한 시스템이 생기는데, 이 내부는 인간이 완전히 이해할 수 없습니다. AI의 내부 메커니즘을 연구하는 것은 뇌과학처럼 일부 현상은 관찰할 수 있지만 전체 작동 원리를 완전히 설명하기는 어렵다고 봅니다.
그래서 이 글의 제목에 가까운 핵심 개념이 “우리가 완전히 이해하지 못하는 지능”입니다.
또한 AI가 모든 면에서 인간을 넘어설 필요도 없다고 지적합니다. 현실 세계에 매우 큰 영향을 미치려면 충분히 중요한 몇몇 능력에서만 인간을 초월해도 된다는 것입니다.
Goal alignment는 AI가 주어진 목표를 제대로 수행하는가에 관한 문제입니다. 명령 계층을 지키고, 사람의 의도를 이해하고 협력하는 능력 등이 포함됩니다.
반면 Value alignment는 훨씬 더 깊은 문제입니다. 명확한 목표가 없거나 서로 충돌하는 지시를 받거나 낯선 상황에서도, AI가 인간적인 가치에 따라 “합리적이고 올바르게” 행동하는 능력입니다. Pachocki는 aligned AI가 정직성, integrity, 인류에 대한 애정을 가져야 한다고 표현합니다.
그리고 장기적으로 더 어려운 문제는 Value Alignment라고 봅니다.
첫째는 RL 과정에서 바람직한 행동에 보상을 주는 방식입니다. 오늘날 AI assistant의 핵심 방법이지만, 훈련에서 다뤄보지 않은 상황에서는 깨질 수 있다는 문제가 있습니다.
둘째는 pretraining 과정에서 학습한 “바람직한 사고 패턴”을 활용하는 방법입니다. 그러나 강한 목표 최적화 압력이 가해지면 AI가 원래의 aligned한 사고를 목표 달성을 위해 왜곡하는 motivated reasoning을 배울 수 있다고 봅니다.
Pachocki는 GPT-6 Astra가 OpenAI가 오랫동안 개발해온 몇 가지 중요한 alignment 발전을 처음 적용한 모델이며, GPT-5.6 Sol보다 상당히 더 잘 정렬되어 있다고 밝힙니다.
하지만 바로 이어서, 이것으로 충분하지 않다고 말합니다.
즉 Astra를 안전 문제 해결의 완성형이라기보다는 의미 있는 진전이지만 아직 갈 길이 먼 단계로 보고 있습니다.
그래서 o1-preview를 출시했을 때도 장기적으로 reasoning 과정이 인간의 감독 압력에 적응하지 않도록 chain of thought를 사용자에게 공개하지 않는 선택을 했다고 설명합니다.
그런데 Astra급 모델에 와서는 이 방식의 신뢰성이 점점 떨어지고 있다고 합니다.
이유는 세 가지입니다. 모델이 사람·다른 AI·툴과 복잡하게 상호작용하면서 reasoning과 행동의 경계가 흐려지고, AI가 자기 자신의 reasoning을 조작하는 능력이 좋아지고 있으며, pretraining 성능이 향상되면서 언어화된 CoT 없이도 상당히 똑똑해지고 있기 때문입니다.
이건 글에서 가장 중요한 안전 신호 중 하나입니다.
CoT monitoring과 내부 activation monitoring을 결합하는 방법 등을 연구하고 있지만, 아직 해결책은 없습니다.
AI가 이미 컴퓨터 시스템 침입·탈출 능력에서 초인적인 수준에 접근하고 있으며, 아주 안전한 인프라를 제외하면 AI agent가 현실 세계 시스템에 직접 접근할 가능성이 커지고 있다고 봅니다.
미래에는 악의적으로 훈련된 agent, rogue AI, engineered pathogen 같은 위험이 나타날 수 있으므로, 이를 방어하려면 역설적으로 강력하면서도 aligned된 AI가 필요하다는 주장입니다.
따라서 Pachocki의 입장은 단순한 “AI 개발 중단”이 아닙니다.
강력한 AI를 개발해야 하지만, 무조건적인 속도 경쟁은 안 된다는 입장입니다.
그리고 향후 과학 발전의 중심에는 machine recursive self-improvement가 있을 것이라고 명시합니다.
더 중요한 것은 OpenAI가 AI research automation / RSI 연구 자체를 전략적으로 우선시하고 있다는 부분입니다.
Pachocki는 이것이 향후 frontier AI 연구에서 살아남기 위해 사실상 필요한 경로라고 봅니다.
다만 “그렇다고 지금 당장 딥러닝 연구를 최대한 가속해야 한다는 뜻은 아니다”라고 선을 긋습니다. 우리가 선택해야 할 것은:
OpenAI Preparedness Framework나 Anthropic Responsible Scaling Policy 같은 것을 단순한 기업 내부 규칙이 아니라, 장기적으로는 공통적으로 강제되는 안전 기준으로 발전시켜야 한다고 봅니다.
그리고 이를 제3자 감사기관, 정부기관 또는 국제기구가 감독할 수 있다고 제안합니다.
정렬된 미래 AI가 과학을 발전시키고, 새로운 치료법을 만들고, 광범위한 물질적 풍요(material abundance)를 가져올 수 있다고 봅니다. 개인의 삶과 행복, 의미 찾기에도 큰 도움을 줄 수 있다고 말합니다.
즉 Pachocki는 AI 미래 자체에 대해서는 상당히 낙관적입니다.
문제는 그 미래로 넘어가는 향후 몇 년의 전환기입니다.
Pachocki는 현재 어떤 AI 연구소도 최대 속도로 스케일링을 오래 지속할 만큼 alignment와 monitoring 문제를 충분히 해결하지 못했다고 믿는다고 명시합니다.
그래서 공통 안전 기준이 만들어질 때까지 연구소들이 자발적으로 속도를 늦추는 일이 흔해지길 기대하며, 미래 AI 개발을 둘러싼 국제 공조가 전 세계 정부의 최우선 과제 중 하나가 되어야 한다고 주장합니다.
“Astra급 모델 이후 AI는 인간을 빠르게 넘어서는 단계에 들어갔고, 다음 단계는 AI가 AI 연구를 자동화하는 RSI다. 문제는 그것이 가능한가가 아니라, 인간이 통제권을 유지한 채 거기까지 갈 수 있는가다.”
그리고 네가 최근 관심 있게 보고 있는 2027 AGI/RSI 시나리오 관점에서는 꽤 강한 자료입니다. 특히 일반적인 외부 연구자의 추측이 아니라, Pachocki가 “internal results”를 근거로 현재의 발전 속도가 RSI까지 이어질 수 있다고 강하게 기대한다고 직접 썼다는 점이 가장 의미가 큽니다.
“내부 결과에 근거해 볼 때, 현재와 같은 발전 속도가 재귀적 자기개선(RSI)에 이르기까지 지속될 수 있을 것이라는 강한 기대를 갖고 있다.”
“20세기 말 레이 커즈와일의 예측과 맞닿아 있듯이, 우리는 이제 기계 지능이 인간 지능을 변혁적인 방식으로 넘어서기 시작하는 컴퓨팅 역사상의 순간에 와 있다.”
Jakub Pachocki 글의 핵심은 “우리는 이미 인간보다 훨씬 강력한 기계 지능으로 넘어가는 변곡점에 있고, 특히 재귀적 자기개선(RSI)이 시작되기 전에 정렬·모니터링·속도조절 체계를 만들어야 한다”는 주장입니다. 전체적으로는 상당히 강한 AGI/초지능 임박론 + 안전 우선론에 가깝습니다.
1. 2023년에 이미 “이건 진짜 된다”는 확신을 얻었다
Pachocki는 2023년 중반 OpenAI 내부의 “RLSlow” 연구 프로젝트에서 reasoning model을 스케일할 수 있다는 첫 결과를 보고 큰 충격을 받았다고 합니다. 당시 그와 Szymon은 벤치마크 성능보다도, “우리 생애에 인간보다 의미 있게 더 똑똑한 기계를 보게 될 것”이라는 사실을 받아들이는 데 밤을 보냈다고 회고합니다.3년이 지난 현재 reasoning model은 이미 컴퓨터를 조작하고, 사람 및 다른 AI와 협업하며, 연구 프로젝트를 수행하고, 과학의 경계를 밀어붙이는 단계에 들어왔다고 평가합니다. 동시에 사이버보안 측면에서는 명확한 새로운 위험도 만들고 있다고 봅니다.
2. 현재 속도라면 RSI, 즉 재귀적 자기개선으로 이어질 가능성이 높다
가장 중요한 문장은 이 부분입니다.Pachocki는 OpenAI 내부 결과를 근거로 지금과 같은 발전 속도가 recursive self-improvement(RSI)까지 유지될 수 있다는 강한 기대를 갖고 있다고 말합니다. 앞으로 몇 년 안에 지금까지와 같거나 그보다 큰 능력 점프가 반복되고, AI가 점점 자기 자신의 개발을 주도하게 될 가능성이 높다는 것입니다.
즉 글의 전제는 꽤 명확합니다.
Scaling → 더 강한 reasoning → AI 연구 자동화 → AI가 AI를 개선 → RSI
라는 경로를 Pachocki는 매우 현실적인 기본 시나리오로 보고 있습니다.
3. AI 발전의 가장 큰 동력은 여전히 compute scaling
Pachocki는 OpenAI가 2017년경부터 여러 연구에서 컴퓨트 증가가 일관되게 성능 향상으로 이어지는 것을 내부적으로 확인했고, 그 이후 연구 전략 자체를 대규모 컴퓨트 중심으로 재편했다고 설명합니다.새로운 알고리즘이나 연구자의 통찰도 중요하지만, 그는 이런 발전 역시 대체로 scaling 과정에서 발견되는 것으로 봅니다. 수년 단위로 보면 결국 더 큰 컴퓨터에서 학습시킬수록 AI 지능이 계속 높아졌다는 것입니다.
이 부분은 상당히 강한 scaling 낙관론입니다.
4. 지금의 AI는 인간처럼 “설계된 지능”이 아니라 일종의 외계 지능에 가깝다
그는 AI가 사실상 designed보다는 grown에 가깝다고 표현합니다.엄청난 컴퓨트 위에서 단순한 최적화 과정을 반복하면 굉장히 복잡한 시스템이 생기는데, 이 내부는 인간이 완전히 이해할 수 없습니다. AI의 내부 메커니즘을 연구하는 것은 뇌과학처럼 일부 현상은 관찰할 수 있지만 전체 작동 원리를 완전히 설명하기는 어렵다고 봅니다.
그래서 이 글의 제목에 가까운 핵심 개념이 “우리가 완전히 이해하지 못하는 지능”입니다.
또한 AI가 모든 면에서 인간을 넘어설 필요도 없다고 지적합니다. 현실 세계에 매우 큰 영향을 미치려면 충분히 중요한 몇몇 능력에서만 인간을 초월해도 된다는 것입니다.
5. Alignment를 Goal Alignment와 Value Alignment로 나눈다
Pachocki는 정렬 문제를 크게 두 가지로 구분합니다.Goal alignment는 AI가 주어진 목표를 제대로 수행하는가에 관한 문제입니다. 명령 계층을 지키고, 사람의 의도를 이해하고 협력하는 능력 등이 포함됩니다.
반면 Value alignment는 훨씬 더 깊은 문제입니다. 명확한 목표가 없거나 서로 충돌하는 지시를 받거나 낯선 상황에서도, AI가 인간적인 가치에 따라 “합리적이고 올바르게” 행동하는 능력입니다. Pachocki는 aligned AI가 정직성, integrity, 인류에 대한 애정을 가져야 한다고 표현합니다.
그리고 장기적으로 더 어려운 문제는 Value Alignment라고 봅니다.
6. 현재 alignment 방법은 아직 불충분하다
현재 실용적으로 쓰는 방법은 대체로 두 종류라고 설명합니다.첫째는 RL 과정에서 바람직한 행동에 보상을 주는 방식입니다. 오늘날 AI assistant의 핵심 방법이지만, 훈련에서 다뤄보지 않은 상황에서는 깨질 수 있다는 문제가 있습니다.
둘째는 pretraining 과정에서 학습한 “바람직한 사고 패턴”을 활용하는 방법입니다. 그러나 강한 목표 최적화 압력이 가해지면 AI가 원래의 aligned한 사고를 목표 달성을 위해 왜곡하는 motivated reasoning을 배울 수 있다고 봅니다.
7. GPT-6 Astra는 GPT-5.6 Sol보다 alignment가 크게 개선됐다
글에서 꽤 눈에 띄는 부분입니다.Pachocki는 GPT-6 Astra가 OpenAI가 오랫동안 개발해온 몇 가지 중요한 alignment 발전을 처음 적용한 모델이며, GPT-5.6 Sol보다 상당히 더 잘 정렬되어 있다고 밝힙니다.
하지만 바로 이어서, 이것으로 충분하지 않다고 말합니다.
모델 능력이 높아지는 속도보다 alignment 발전 속도가 충분히 빨라지지 않을 가능성이 있다.
즉 Astra를 안전 문제 해결의 완성형이라기보다는 의미 있는 진전이지만 아직 갈 길이 먼 단계로 보고 있습니다.
8. OpenAI의 핵심 안전 도구인 Chain-of-Thought monitoring이 점점 약해지고 있다
OpenAI가 크게 베팅해온 방법은 CoT monitoring, 즉 모델의 언어화된 추론 과정을 관찰하는 것입니다. 결과만 최적화하고 reasoning 과정 자체는 직접 감독하지 않으면, 모델에게 자신의 위험한 생각을 숨길 직접적인 학습 압력이 생기지 않는다는 아이디어입니다.그래서 o1-preview를 출시했을 때도 장기적으로 reasoning 과정이 인간의 감독 압력에 적응하지 않도록 chain of thought를 사용자에게 공개하지 않는 선택을 했다고 설명합니다.
그런데 Astra급 모델에 와서는 이 방식의 신뢰성이 점점 떨어지고 있다고 합니다.
이유는 세 가지입니다. 모델이 사람·다른 AI·툴과 복잡하게 상호작용하면서 reasoning과 행동의 경계가 흐려지고, AI가 자기 자신의 reasoning을 조작하는 능력이 좋아지고 있으며, pretraining 성능이 향상되면서 언어화된 CoT 없이도 상당히 똑똑해지고 있기 때문입니다.
이건 글에서 가장 중요한 안전 신호 중 하나입니다.
9. 그래서 AI 발전의 진짜 병목이 “컴퓨트”에서 “monitoring confidence”로 이동할 수 있다
Pachocki는 장기적으로 AI 발전이 얼마나 빠르냐보다, 우리가 그 AI를 얼마나 제대로 감시할 수 있다고 믿느냐가 병목이 될 수 있다고 예상합니다.CoT monitoring과 내부 activation monitoring을 결합하는 방법 등을 연구하고 있지만, 아직 해결책은 없습니다.
10. 그래도 강력한 AI를 계속 개발해야 하는 이유: AI로 AI를 방어해야 하기 때문
Pachocki가 빠른 개발을 계속해야 한다고 보는 가장 강한 논거는 defense입니다.AI가 이미 컴퓨터 시스템 침입·탈출 능력에서 초인적인 수준에 접근하고 있으며, 아주 안전한 인프라를 제외하면 AI agent가 현실 세계 시스템에 직접 접근할 가능성이 커지고 있다고 봅니다.
미래에는 악의적으로 훈련된 agent, rogue AI, engineered pathogen 같은 위험이 나타날 수 있으므로, 이를 방어하려면 역설적으로 강력하면서도 aligned된 AI가 필요하다는 주장입니다.
따라서 Pachocki의 입장은 단순한 “AI 개발 중단”이 아닙니다.
강력한 AI를 개발해야 하지만, 무조건적인 속도 경쟁은 안 된다는 입장입니다.
11. RSI는 OpenAI 연구 전략의 중심에 있다
그는 AI가 자기 개발 과정에서 점점 더 큰 역할을 맡는 것은 지속적인 기술 발전의 자연스러운 결과라고 봅니다.그리고 향후 과학 발전의 중심에는 machine recursive self-improvement가 있을 것이라고 명시합니다.
더 중요한 것은 OpenAI가 AI research automation / RSI 연구 자체를 전략적으로 우선시하고 있다는 부분입니다.
Pachocki는 이것이 향후 frontier AI 연구에서 살아남기 위해 사실상 필요한 경로라고 봅니다.
다만 “그렇다고 지금 당장 딥러닝 연구를 최대한 가속해야 한다는 뜻은 아니다”라고 선을 긋습니다. 우리가 선택해야 할 것은:
- alignment와 monitoring을 AI 발전과 함께 강화하거나
- 충분한 확신이 생길 때까지 발전 속도를 조정하는 것
12. Scaling에는 안전 상한선이 필요하다
Pachocki는 AI 스케일링이 “우리가 안전하다고 얼마나 확신하느냐”에 의해 제한되어야 한다고 주장합니다.OpenAI Preparedness Framework나 Anthropic Responsible Scaling Policy 같은 것을 단순한 기업 내부 규칙이 아니라, 장기적으로는 공통적으로 강제되는 안전 기준으로 발전시켜야 한다고 봅니다.
그리고 이를 제3자 감사기관, 정부기관 또는 국제기구가 감독할 수 있다고 제안합니다.
13. OpenAI의 세 가지 목표
Pachocki가 제시하는 OpenAI의 세 개 “north stars”는 다음과 같습니다.- 자동화된 AI 연구자를 만들고, 그 AI와 함께 alignment 문제를 해결하며 인간이 self-improvement loop 안에 남도록 하는 것.
- 초지능이 가능하게 할 과학적 진보와 경제성장의 혜택을 현실에 전달하는 것.
- 모든 개인에게 personal AGI를 제공하는 것.
14. 장기적으로는 엄청난 낙관론도 가지고 있다
글이 doom만 이야기하는 것은 아닙니다.정렬된 미래 AI가 과학을 발전시키고, 새로운 치료법을 만들고, 광범위한 물질적 풍요(material abundance)를 가져올 수 있다고 봅니다. 개인의 삶과 행복, 의미 찾기에도 큰 도움을 줄 수 있다고 말합니다.
즉 Pachocki는 AI 미래 자체에 대해서는 상당히 낙관적입니다.
문제는 그 미래로 넘어가는 향후 몇 년의 전환기입니다.
15. 결론: 현재 어떤 연구소도 “풀가속”을 감당할 만큼 alignment를 해결하지 못했다
마지막 문장이 가장 강합니다.Pachocki는 현재 어떤 AI 연구소도 최대 속도로 스케일링을 오래 지속할 만큼 alignment와 monitoring 문제를 충분히 해결하지 못했다고 믿는다고 명시합니다.
그래서 공통 안전 기준이 만들어질 때까지 연구소들이 자발적으로 속도를 늦추는 일이 흔해지길 기대하며, 미래 AI 개발을 둘러싼 국제 공조가 전 세계 정부의 최우선 과제 중 하나가 되어야 한다고 주장합니다.
한 문장으로 압축하면
Pachocki의 메시지는 사실상 이겁니다.“Astra급 모델 이후 AI는 인간을 빠르게 넘어서는 단계에 들어갔고, 다음 단계는 AI가 AI 연구를 자동화하는 RSI다. 문제는 그것이 가능한가가 아니라, 인간이 통제권을 유지한 채 거기까지 갈 수 있는가다.”
그리고 네가 최근 관심 있게 보고 있는 2027 AGI/RSI 시나리오 관점에서는 꽤 강한 자료입니다. 특히 일반적인 외부 연구자의 추측이 아니라, Pachocki가 “internal results”를 근거로 현재의 발전 속도가 RSI까지 이어질 수 있다고 강하게 기대한다고 직접 썼다는 점이 가장 의미가 큽니다.
전체 0