최신논문
지능폭발의 역학
작성자
작성일
2026-08-29 21:25
조회
13
https://arxiv.org/abs/2608.14426
이 논문은 옥스퍼드의 Toby Ord가 쓴 「The Dynamics of Intelligence Explosions」입니다. 결론부터 말하면, 흔히 생각하는 “AI가 자기 자신을 개선하면서 순식간에 무한대로 폭발한다”는 수학적 특이점(singularity) 은 생각보다 만들기 어렵지만, 특이점까지 가지 않아도 인간이 따라가기 어려울 정도의 초지수적(super-exponential) 지능폭발은 충분히 가능하다는 논문입니다.
Ord가 이 논문에서 새롭게 강조하는 개념이 바로 generation time, 즉 ‘세대 시간’ 입니다.
AI₁을 인간 연구자들이 개발합니다.
그러다가 AI₁이 AI 연구를 잘하게 됩니다.
그러면
AI₁ → 더 좋은 AI₂ 설계 → AI₂가 더 좋은 AI₃ 설계 → AI₃가 AI₄ 설계 → …
라는 피드백 루프가 생길 수 있습니다.
이를 Recursive Self-Improvement(RSI), 재귀적 자기개선이라고 합니다. Ord는 직접 자신의 소스코드를 수정하는 경우뿐 아니라 AI가 다음 세대 모델 연구·코딩·실험을 수행하는 것도 RSI에 포함시킵니다. 이미 최적화 알고리즘 발견, 행렬곱 개선, AI 코드 작성, 자동화된 실험 등 작은 형태의 AI R&D 자동화가 나타나고 있다는 것이 논문의 출발점입니다. (arXiv)
문제는 여기서 피드백 속도가 계속 빨라질 수 있다는 것입니다.
A˙=kAr\dot A=kA^r
쉽게 말하면:
특히
즉,
A→∞A\rightarrow\infty
가 유한한 시간 안에 발생하는 mathematical singularity가 나옵니다. (arXiv)
여기서 ‘singularity’는 우리가 흔히 말하는 철학적·미래학적 특이점이라기보다는 정확히 그래프에 수직점근선이 생기는 수학적 의미입니다.
그런데 Ord가 말합니다.
“잠깐. 지수보다 빨리 성장한다고 해서 반드시 수직점근선이 생겨야 하나?”
답은 아니다입니다.
A˙=AlogA\dot A=A\log A
라는 성장식이 있다고 해봅시다.
이것은 지수 함수보다 훨씬 빠르게 성장하고 실제로 이중지수(double exponential) 형태가 됩니다.
대충 감각적으로 표현하면
eete^{e^t}
같은 무시무시한 성장입니다.
그런데도 놀랍게도 유한 시간 안에 무한대에는 도달하지 않습니다.
1년 뒤 엄청나게 커지고,
2년 뒤 상상을 초월하게 커지고,
3년 뒤 더더욱 커져도,
어떤 유한한 시점을 지정하든 값 자체는 여전히 유한합니다. (arXiv)
그래서 Ord는 성장 형태를 크게 이렇게 구분해야 한다고 주장합니다.
지수 성장
→ 초지수 성장
→ 특이점 성장
기존 일부 모델에서는 두 번째와 세 번째를 거의 같은 것으로 취급했는데, 실제로는 중요한 차이가 있다는 이야기입니다. (arXiv)
AI가 아이디어를 냄
→ 코드 작성
→ 실험
→ 학습
→ 평가
→ 새로운 시스템 완성
→ 그 AI가 다시 다음 연구 수행.
즉 한 세대에서 다음 세대로 넘어가는 데 시간이 필요합니다.
Ord는 이 시간을
TnT_n
즉 generation time이라고 부릅니다.
예를 들어 지금 한 세대 개선에 6개월이 걸린다면
입니다.
그리고 논문의 가장 중요한 포인트가 등장합니다.
AI₁ → 능력 10
AI₂ → 100
AI₃ → 100,000
AI₄ → 1010010^{100}
처럼 세대당 향상이 엄청나더라도,
각 세대를 만드는 데 1개월이 걸린다면 1년 동안 최대 12번밖에 개선할 수 없습니다.
즉 유한 시간 동안 피드백 루프를 유한 번밖에 돌릴 수 없습니다.
따라서 아무리 세대당 향상폭이 커도 유한시간 특이점은 나오지 않습니다. (arXiv)
이게 Figure 1의 가운데 그래프입니다.
예를 들어 첫 AI 개선에
2년
다음은 1년
다음은 6개월
다음은 3개월
다음은 1.5개월…
걸린다고 해봅시다.
그러면 총 시간은
2+1+0.5+0.25+⋯=42+1+0.5+0.25+\cdots =4
즉 이론적으로는 4년 안에 무한 번의 개선 루프를 돌 수 있습니다.
이것이 바로 유명한 Zeno-type convergence입니다.
Ord는 이것을 Zeno condition이라고 부릅니다. (arXiv)
그래서 특이점에는 두 조건이 필요합니다.
∑Tn<∞\sum T_n < \infty
즉 무한 번의 개선을 유한 시간 안에 수행할 만큼 세대 시간이 빨리 감소해야 하고,
동시에
∑ΔAn=∞\sum \Delta A_n = \infty
즉 그 무한 번의 개선을 합치면 능력도 무한히 증가해야 합니다.
Ord는 앞의 것을 Zeno condition, 뒤의 것을 boundlessness condition이라고 부릅니다. (arXiv)
논문에서 거의 핵심 정리라고 볼 수 있습니다.
예를 들어 AI가 아무리 천재가 되어도,
칩 설계 → 제조 → 패키징 → 데이터센터 설치
에는 물리적 시간이 필요합니다.
새로운 pretraining도 몇 주 또는 몇 달이 걸릴 수 있습니다.
RL 훈련도 시간이 필요합니다.
실험 결과를 얻는 데 시간이 필요한 과학 분야도 있습니다.
Ord는 AI 개선 루프에도 초 단위 루프부터 수개월·수십 년짜리 루프까지 다양한 과정이 섞여 있다고 지적합니다. 짧은 scaffold 개선 같은 것은 빠르게 돌릴 수 있지만 AI 전체 R&D 파이프라인을 무한히 빠르게 만드는 것은 훨씬 어렵습니다. (arXiv)
결국
Tn→T∗>0T_n \rightarrow T^*>0
처럼 최소 generation time에 부딪힐 가능성이 큽니다.
그 순간부터 수학적 특이점은 깨집니다.
Ord는 대략 다음과 같은 궤적이 상당히 plausible하다고 봅니다. (arXiv)
특히 Phase 1이 우리가 흔히 생각하는 ‘지능폭발’에 상당히 가깝습니다.
사람이 연구할 때
이었던 것이
3개월
→ 1개월
→ 1주
→ 2일
등으로 짧아지면,
연간 AI 발전률 자체가 계속 올라갑니다.
그래서 초지수 성장이 발생합니다.
하지만 어느 순간
같은 바닥이 생기면 generation time 감소가 멈춥니다.
그 뒤에는 다시 매우 빠른 지수 성장으로 바뀝니다. (arXiv)
이 부분이 굉장히 중요합니다.
Ord의 주장은
“수학적으로 무한대가 되는 특이점까지 갈 필요가 없다.”
입니다.
예를 들어 인간 연구 속도의 10배만 되어도
Ord는 논문 마지막에서 이 정도의 단순한 속도 향상만으로도 이미 AI R&D가 사회가 감당하기 어려운 수준으로 빨라질 수 있다고 강조합니다. (arXiv)
즉
무한 지능
까지 갈 필요도 없고,
“금요일 AGI → 일요일 신”
같은 극단적인 hard takeoff가 아니어도 됩니다.
2027년 인간 수준 AI
→ 몇 달 뒤 수년치 AI 연구
→ 다시 몇 달 뒤 수십 년치 연구
정도만 되어도 현실적으로는 엄청난 지능폭발입니다.
예를 들어
GPT-N 개발: 8개월
GPT-N+1: 6개월
GPT-N+2: 4개월
GPT-N+3: 2개월
처럼 AI R&D 한 사이클의 wall-clock time이 줄어드는가를 봐야 합니다.
Ord도 결론에서 frontier lab들이 pretraining과 RLVR post-training 등의 generation time을 측정·보고하는 것이 중요할 수 있다고 이야기합니다. (arXiv)
그래서 AGI/RSI를 판단할 때 제가 이 논문을 바탕으로 관찰한다면,
“모델이 얼마나 똑똑해졌나?”
못지않게
“다음 모델을 만드는 시간이 얼마나 줄었나?”
를 보겠습니다.
이것이 이 논문의 가장 실용적인 시사점입니다.
월 +10%
→ +20%
→ +30%
으로 계속 올라간다고 해봅시다.
이것만 보고
라고 결론내릴 수 없습니다.
그것은 초지수 성장의 증거가 될 수는 있지만, 유한시간 특이점의 증거는 아닙니다.
반대로 몇 달 동안 성장률이 그다지 빨라지지 않았다고 해서 향후 폭발을 완전히 배제할 수도 없습니다.
Ord는 피드백 시스템의 장기 거동이 경계 조건의 작은 차이에 매우 민감한 반면 실제 intelligence measurement는 상당히 noisy하기 때문에, 짧은 기간의 데이터만으로 intelligence explosion 여부를 확정하거나 배제하기 어렵다고 지적합니다. (arXiv)
그것이
라는 의미는 아닙니다.
특정 종류의 작업을 거의 완벽하게 매우 오랫동안 수행할 수 있다는 뜻일 수도 있기 때문입니다.
즉
A→∞A\to\infty
가 나왔다고 해도 A를 어떻게 정의했는가에 따라 의미가 완전히 달라질 수 있습니다. Ord는 그래서 intelligence measure 선택에도 상당히 조심해야 한다고 지적합니다.
AI 자체의 추론 한계, 단위 자원당 지능의 물리적 한계, 실리콘 같은 하드웨어 패러다임의 한계, neural network 같은 알고리즘 패러다임의 한계, training data 부족, 또는 현재 AI 구조 자체가 가진 조기 병목 등이 후보입니다.
그래서 현실의 궤적은 아마
지수→초지수→매우 빠른 지수→포화\text{지수} \rightarrow \textbf{초지수} \rightarrow \text{매우 빠른 지수} \rightarrow \text{포화}
같은 모습일 가능성이 있다는 겁니다.
특히 중요한 구분은 이겁니다.
극단적 특이점:
→ Ord: 물리적으로 상당히 어렵다.
하지만
현실적인 지능폭발:
→ Ord: 충분히 가능하며 이것만으로도 매우 위험할 수 있다.
따라서 이 논문은 “2027 AGI → 2028년 갑자기 수학적 무한 지능” 같은 주장을 약화시키지만, “2027 AGI → AI R&D 자동화 → 2027~2028년 발전 속도가 인간 연구 속도의 수십 배로 가속” 같은 시나리오를 거의 건드리지 않습니다. 오히려 그런 종류의 ‘유한하지만 엄청난 지능폭발’을 더 정교하게 설명해주는 논문이라고 보는 편이 맞습니다.
AI가 다음 AI를 얼마나 더 잘 만드는지뿐 아니라, 그것을 얼마나 더 빨리 반복할 수 있는지가 진짜 핵심이라는 이야기입니다.
이 논문은 옥스퍼드의 Toby Ord가 쓴 「The Dynamics of Intelligence Explosions」입니다. 결론부터 말하면, 흔히 생각하는 “AI가 자기 자신을 개선하면서 순식간에 무한대로 폭발한다”는 수학적 특이점(singularity) 은 생각보다 만들기 어렵지만, 특이점까지 가지 않아도 인간이 따라가기 어려울 정도의 초지수적(super-exponential) 지능폭발은 충분히 가능하다는 논문입니다.
가장 중요한 내용을 한 문장으로
지능폭발에서 진짜 중요한 것은 “AI가 한 번 개선될 때 얼마나 많이 똑똑해지는가”보다 “다음 개선을 완료하는 데 걸리는 시간이 얼마나 빨리 줄어드는가”다.
Ord가 이 논문에서 새롭게 강조하는 개념이 바로 generation time, 즉 ‘세대 시간’ 입니다.
우선 ‘지능폭발’이 무엇인가
예를 들어 지금 AI 연구에는 사람이 상당히 많이 개입한다고 해봅시다.AI₁을 인간 연구자들이 개발합니다.
그러다가 AI₁이 AI 연구를 잘하게 됩니다.
그러면
AI₁ → 더 좋은 AI₂ 설계 → AI₂가 더 좋은 AI₃ 설계 → AI₃가 AI₄ 설계 → …
라는 피드백 루프가 생길 수 있습니다.
이를 Recursive Self-Improvement(RSI), 재귀적 자기개선이라고 합니다. Ord는 직접 자신의 소스코드를 수정하는 경우뿐 아니라 AI가 다음 세대 모델 연구·코딩·실험을 수행하는 것도 RSI에 포함시킵니다. 이미 최적화 알고리즘 발견, 행렬곱 개선, AI 코드 작성, 자동화된 실험 등 작은 형태의 AI R&D 자동화가 나타나고 있다는 것이 논문의 출발점입니다. (arXiv)
문제는 여기서 피드백 속도가 계속 빨라질 수 있다는 것입니다.
기존 지능폭발 모델에서 이상한 점을 발견했다
기존 경제학적 모델에서는 보통 AI 능력을A라고 놓고 대략 이런 식으로 씁니다.A˙=kAr\dot A=kA^r
쉽게 말하면:
| r | 의미 |
|---|---|
| r < 1 | 발전 속도가 점점 둔화 |
| r = 1 | 지수 성장 |
| r > 1 | 지수보다 더 빠른 성장 |
r > 1이면 일정한 미래 시점에서 그래프가 수직으로 올라가 버립니다.즉,
A→∞A\rightarrow\infty
가 유한한 시간 안에 발생하는 mathematical singularity가 나옵니다. (arXiv)
여기서 ‘singularity’는 우리가 흔히 말하는 철학적·미래학적 특이점이라기보다는 정확히 그래프에 수직점근선이 생기는 수학적 의미입니다.
그런데 Ord가 말합니다.
“잠깐. 지수보다 빨리 성장한다고 해서 반드시 수직점근선이 생겨야 하나?”
답은 아니다입니다.
논문의 첫 번째 중요한 발견
초지수 성장 ≠ 특이점
예를 들어A˙=AlogA\dot A=A\log A
라는 성장식이 있다고 해봅시다.
이것은 지수 함수보다 훨씬 빠르게 성장하고 실제로 이중지수(double exponential) 형태가 됩니다.
대충 감각적으로 표현하면
eete^{e^t}
같은 무시무시한 성장입니다.
그런데도 놀랍게도 유한 시간 안에 무한대에는 도달하지 않습니다.
1년 뒤 엄청나게 커지고,
2년 뒤 상상을 초월하게 커지고,
3년 뒤 더더욱 커져도,
어떤 유한한 시점을 지정하든 값 자체는 여전히 유한합니다. (arXiv)
그래서 Ord는 성장 형태를 크게 이렇게 구분해야 한다고 주장합니다.
지수 성장
→ 초지수 성장
→ 특이점 성장
기존 일부 모델에서는 두 번째와 세 번째를 거의 같은 것으로 취급했는데, 실제로는 중요한 차이가 있다는 이야기입니다. (arXiv)
그런데 이 논문의 진짜 핵심은 여기부터입니다
AI 개선은 ‘연속적인 과정’이 아니라 루프다
실제 AI 개발을 생각하면 이런 식입니다.AI가 아이디어를 냄
→ 코드 작성
→ 실험
→ 학습
→ 평가
→ 새로운 시스템 완성
→ 그 AI가 다시 다음 연구 수행.
즉 한 세대에서 다음 세대로 넘어가는 데 시간이 필요합니다.
Ord는 이 시간을
TnT_n
즉 generation time이라고 부릅니다.
예를 들어 지금 한 세대 개선에 6개월이 걸린다면
generation time = 6개월
입니다.
그리고 논문의 가장 중요한 포인트가 등장합니다.
Generation time이 일정한 이상 ‘진짜 특이점’은 발생할 수 없다.
예를 들어 매 세대 AI가 말도 안 되게 강해진다고 해봅시다.AI₁ → 능력 10
AI₂ → 100
AI₃ → 100,000
AI₄ → 1010010^{100}
처럼 세대당 향상이 엄청나더라도,
각 세대를 만드는 데 1개월이 걸린다면 1년 동안 최대 12번밖에 개선할 수 없습니다.
즉 유한 시간 동안 피드백 루프를 유한 번밖에 돌릴 수 없습니다.
따라서 아무리 세대당 향상폭이 커도 유한시간 특이점은 나오지 않습니다. (arXiv)
이게 Figure 1의 가운데 그래프입니다.
그러면 진짜 특이점은 언제 가능한가?
Generation time 자체가 계속 감소해야 합니다.예를 들어 첫 AI 개선에
2년
다음은 1년
다음은 6개월
다음은 3개월
다음은 1.5개월…
걸린다고 해봅시다.
그러면 총 시간은
2+1+0.5+0.25+⋯=42+1+0.5+0.25+\cdots =4
즉 이론적으로는 4년 안에 무한 번의 개선 루프를 돌 수 있습니다.
이것이 바로 유명한 Zeno-type convergence입니다.
Ord는 이것을 Zeno condition이라고 부릅니다. (arXiv)
그래서 특이점에는 두 조건이 필요합니다.
∑Tn<∞\sum T_n < \infty
즉 무한 번의 개선을 유한 시간 안에 수행할 만큼 세대 시간이 빨리 감소해야 하고,
동시에
∑ΔAn=∞\sum \Delta A_n = \infty
즉 그 무한 번의 개선을 합치면 능력도 무한히 증가해야 합니다.
Ord는 앞의 것을 Zeno condition, 뒤의 것을 boundlessness condition이라고 부릅니다. (arXiv)
논문에서 거의 핵심 정리라고 볼 수 있습니다.
그런데 현실 AI에서는 문제가 생긴다
바로 generation time을 0으로 만들 수 없을 가능성이 매우 높다는 것입니다.예를 들어 AI가 아무리 천재가 되어도,
칩 설계 → 제조 → 패키징 → 데이터센터 설치
에는 물리적 시간이 필요합니다.
새로운 pretraining도 몇 주 또는 몇 달이 걸릴 수 있습니다.
RL 훈련도 시간이 필요합니다.
실험 결과를 얻는 데 시간이 필요한 과학 분야도 있습니다.
Ord는 AI 개선 루프에도 초 단위 루프부터 수개월·수십 년짜리 루프까지 다양한 과정이 섞여 있다고 지적합니다. 짧은 scaffold 개선 같은 것은 빠르게 돌릴 수 있지만 AI 전체 R&D 파이프라인을 무한히 빠르게 만드는 것은 훨씬 어렵습니다. (arXiv)
결국
Tn→T∗>0T_n \rightarrow T^*>0
처럼 최소 generation time에 부딪힐 가능성이 큽니다.
그 순간부터 수학적 특이점은 깨집니다.
그래서 Ord가 생각하는 현실적인 ‘지능폭발’은 꽤 흥미롭습니다
논문 후반 Figure 3가 사실 이 논문의 현실적인 시나리오입니다.Ord는 대략 다음과 같은 궤적이 상당히 plausible하다고 봅니다. (arXiv)
| 단계 | AI 발전 |
|---|---|
| Phase 0 | 인간이 주도하는 일반적인 지수 성장 |
| Phase 1 | AI가 AI R&D를 자동화 → 세대 시간이 계속 감소 → 초지수 성장 |
| Phase 2 | 거의 완전 자동화 → machine-speed R&D → 매우 빠른 지수 성장 |
| Phase 3 | 알고리즘·컴퓨트·데이터·물리적 한계 → S-curve / 포화 |
사람이 연구할 때
새로운 AI 세대 하나 = 6개월
이었던 것이
3개월
→ 1개월
→ 1주
→ 2일
등으로 짧아지면,
연간 AI 발전률 자체가 계속 올라갑니다.
그래서 초지수 성장이 발생합니다.
하지만 어느 순간
“AI 연구를 아무리 자동화해도 최소 하루는 걸린다”
같은 바닥이 생기면 generation time 감소가 멈춥니다.
그 뒤에는 다시 매우 빠른 지수 성장으로 바뀝니다. (arXiv)
이 부분이 굉장히 중요합니다.
그러니까 논문이 “지능폭발은 없다”고 주장하는 게 아닙니다
오히려 반대에 가깝습니다.Ord의 주장은
“수학적으로 무한대가 되는 특이점까지 갈 필요가 없다.”
입니다.
예를 들어 인간 연구 속도의 10배만 되어도
과거 인간 연구자들이 10년 동안 할 AI 연구를 AI가 1년에 해버립니다.
Ord는 논문 마지막에서 이 정도의 단순한 속도 향상만으로도 이미 AI R&D가 사회가 감당하기 어려운 수준으로 빨라질 수 있다고 강조합니다. (arXiv)
즉
무한 지능
까지 갈 필요도 없고,
“금요일 AGI → 일요일 신”
같은 극단적인 hard takeoff가 아니어도 됩니다.
2027년 인간 수준 AI
→ 몇 달 뒤 수년치 AI 연구
→ 다시 몇 달 뒤 수십 년치 연구
정도만 되어도 현실적으로는 엄청난 지능폭발입니다.
이 논문에서 제가 가장 중요하다고 보는 부분
AI 발전 속도를 예측하려면 앞으로 벤치마크 점수만 보면 안 됩니다.예를 들어
GPT-N 개발: 8개월
GPT-N+1: 6개월
GPT-N+2: 4개월
GPT-N+3: 2개월
처럼 AI R&D 한 사이클의 wall-clock time이 줄어드는가를 봐야 합니다.
Ord도 결론에서 frontier lab들이 pretraining과 RLVR post-training 등의 generation time을 측정·보고하는 것이 중요할 수 있다고 이야기합니다. (arXiv)
그래서 AGI/RSI를 판단할 때 제가 이 논문을 바탕으로 관찰한다면,
“모델이 얼마나 똑똑해졌나?”
못지않게
“다음 모델을 만드는 시간이 얼마나 줄었나?”
를 보겠습니다.
이것이 이 논문의 가장 실용적인 시사점입니다.
또 하나 중요한 경고: 그래프가 빨라졌다고 ‘특이점이 시작됐다’고 판단할 수 없다
가령 AI 능력 증가율이월 +10%
→ +20%
→ +30%
으로 계속 올라간다고 해봅시다.
이것만 보고
“지능폭발이 시작됐다!”
라고 결론내릴 수 없습니다.
그것은 초지수 성장의 증거가 될 수는 있지만, 유한시간 특이점의 증거는 아닙니다.
반대로 몇 달 동안 성장률이 그다지 빨라지지 않았다고 해서 향후 폭발을 완전히 배제할 수도 없습니다.
Ord는 피드백 시스템의 장기 거동이 경계 조건의 작은 차이에 매우 민감한 반면 실제 intelligence measurement는 상당히 noisy하기 때문에, 짧은 기간의 데이터만으로 intelligence explosion 여부를 확정하거나 배제하기 어렵다고 지적합니다. (arXiv)
그리고 ‘지능’을 무엇으로 측정하느냐도 문제입니다
예를 들어 METR의 task time horizon 같은 지표가 계속 증가해서 이론적으로 무한대가 된다고 해도,그것이
“AI가 무한히 똑똑해졌다”
라는 의미는 아닙니다.
특정 종류의 작업을 거의 완벽하게 매우 오랫동안 수행할 수 있다는 뜻일 수도 있기 때문입니다.
즉
A→∞A\to\infty
가 나왔다고 해도 A를 어떻게 정의했는가에 따라 의미가 완전히 달라질 수 있습니다. Ord는 그래서 intelligence measure 선택에도 상당히 조심해야 한다고 지적합니다.
결국 현실적으로 AI가 부딪힐 벽
논문은 지능폭발이 진행되더라도 여러 형태의 ceiling이 존재할 수 있다고 봅니다.AI 자체의 추론 한계, 단위 자원당 지능의 물리적 한계, 실리콘 같은 하드웨어 패러다임의 한계, neural network 같은 알고리즘 패러다임의 한계, training data 부족, 또는 현재 AI 구조 자체가 가진 조기 병목 등이 후보입니다.
그래서 현실의 궤적은 아마
지수→초지수→매우 빠른 지수→포화\text{지수} \rightarrow \textbf{초지수} \rightarrow \text{매우 빠른 지수} \rightarrow \text{포화}
같은 모습일 가능성이 있다는 겁니다.
제가 이 논문을 AGI 관점에서 해석하면
이 논문은 “AGI/지능폭발 회의론” 논문이라기보다 “hard singularity 회의론 + soft/fast takeoff 가능성 인정” 논문에 더 가깝습니다.특히 중요한 구분은 이겁니다.
극단적 특이점:
1개월 → 1일 → 1분 → 1초 → 0초
무한번 자기개선
유한시간에 무한 지능
→ Ord: 물리적으로 상당히 어렵다.
하지만
현실적인 지능폭발:
6개월 → 3개월 → 1개월 → 1주
이후 1주 단위 완전자동 AI R&D
→ Ord: 충분히 가능하며 이것만으로도 매우 위험할 수 있다.
따라서 이 논문은 “2027 AGI → 2028년 갑자기 수학적 무한 지능” 같은 주장을 약화시키지만, “2027 AGI → AI R&D 자동화 → 2027~2028년 발전 속도가 인간 연구 속도의 수십 배로 가속” 같은 시나리오를 거의 건드리지 않습니다. 오히려 그런 종류의 ‘유한하지만 엄청난 지능폭발’을 더 정교하게 설명해주는 논문이라고 보는 편이 맞습니다.
제일 중요한 문장만 기억한다면
Intelligence explosion의 핵심 변수는 intelligence gain per generation보다 _generation time_이다.AI가 다음 AI를 얼마나 더 잘 만드는지뿐 아니라, 그것을 얼마나 더 빨리 반복할 수 있는지가 진짜 핵심이라는 이야기입니다.
전체 0