뉴스/정보
스콧 아론슨 "내가 아는 가장 똑똑한 사람들 중 상당수가 앞으로 12~18개월 안에 재귀적 자기개선이 시작되고, 우리가 알던 세상 전체가 끝날 거라고 생각"
작성자
작성일
2026-11-21 16:59
조회
22
https://scottaaronson.blog/?p=10344
[업데이트] '포의 법칙(Poe's Law)'에 따르면, 인터넷에서는 아무리 명백한 반어나 풍자라도 그것을 알아채지 못하는 사람들이 무수히 많다. 아니나 다를까, 지금 소셜미디어에서는 다음과 같은 반응들이 쏟아지고 있다.
"스콧 애런슨은 어떻게 감히 LLM을 '확률적 앵무새(stochastic parrots)'라고 부를 수 있는가? 그건 2021년에 등장한, LLM을 폄하하고 하찮게 취급하는 표현 아닌가? 그 '확률적 앵무새'들이 방금 리만 가설을 증명했다는 사실도 모르는 건가?"
ㅋㅋㅋㅋ.
나는 지금 캘리포니아에 와 있다. 먼저 Oratomic을 방문하고, 그다음 Inkhaven에 갈 예정이다.
그런데 오늘 아침 눈을 뜨자마자 놀라운 소식을 접했다.
레벤트 알푀게(Levent Alpöge)가 Anthropic의 모델들을 이용해 일반화 리만 가설(Generalized Riemann Hypothesis)을 증명했다고 발표한 것이다.
그 과정에서 무려 1,740만 줄(!!)에 달하는 Lean 코드가 생성됐다고 한다.
"그럼 AI가 리만 가설을 증명하려면 앞으로 얼마나 더 걸릴까요? 그래도 몇 년은 더 필요하겠죠?"
나는 이렇게 대답했다.
"이제 그런 것들을 확신해서는 안 됩니다."
생각해 보라.
AI는 이미 리만 제타 함수의 비자명한 영점들이 임계선에서 최대 3/8만큼 떨어져 있다는 사실을 증명했다.
Quanta Magazine은 바로 어제 이 획기적인 성과에 관한 기사를 발표했다!
그리고 그 결과만으로도 완전한 리만 가설의 증명이 정수론에 가져올 함의의 대부분을 이미 확보한 셈이다.
그러니 도대체 앞으로 무엇이 가능해질지, 그리고 얼마나 빠르게 가능해질지 누가 알겠는가?
1부터 n까지 존재하는 소수의 개수는, 1보다 큰 각각의 정수 x가 서로 독립적으로 1/ln(x)의 확률로 소수가 된다고 가정했을 때 예상되는 개수와 매우 가깝다는 것이다.
그 차이는 표준적인 통계적 오차항 수준이며, 그 오차는 결코 Õ(√n)을 넘어서지 않는다.
우리는 이미 1896년부터 1부터 n까지의 소수 개수가 점근적으로 n/ln(n)에 가까워진다는 사실을 알고 있었다.
이것이 바로 유명한 **소수정리(Prime Number Theorem)**다.
그러나 실제 소수의 개수와 그 근삿값 사이의 오차가 훨씬 더 클 가능성도 충분히 상상할 수 있었다.
한편 G. H. 하디(G. H. Hardy)는 자신이 타고 있던 배가 침몰할지도 모른다는 두려움에 사로잡혔을 때, 동료들에게 리만 가설을 증명했다는 전보를 보낸 적이 있다.
최악의 상황이 벌어지더라도, 적어도 세상 사람들이 리만 가설의 증명이 자신과 함께 바닷속으로 가라앉았다고 믿게 만들기 위해서였다.
그들은 전 세계가 지금 Lean에 크게 '의존(leaning)'하고 있지만, 이 형식 검증 시스템에도 여전히 문제가 있다는 점을 지적할 것이다.
예를 들어 Lean의 커널에는 버그가 존재할 수 있다. 과거에는 실제로 그러한 버그 때문에 0=1이라는 명제까지 증명할 수 있었던 적이 있다.
또한 그 기반이 되는 유형 이론(type theory)이 정말로 건전한지에 관한 불확실성도 존재한다.
내 생각에 이러한 문제들은 시급히 해결할 수 있고, 또 반드시 해결해야 한다!
그렇지 않으면 충분한 동기를 가진 AI는 거의 틀림없이 이런 취약점을 악용해 거짓 명제를 증명해 버릴 수 있을 것이다.
그렇다고 해도, 현재 이번 증명에서 그런 일이 벌어지고 있다는 징후는 전혀 보이지 않는다.
여기서 한 가지 주목할 점이 있다.
지금까지 Lean 증명 인증서를 갖춘 AI의 수학적 성과 중 철회해야 했던 사례는 단 하나도 없었다. 반면 Lean 인증서가 없는 AI의 성과 중에서는 철회된 사례가 여러 건 있었다.
따라서 나는 100% 확신하지는 못하지만, 이번 증명이 결국 검증을 통과하고 살아남을 것이라는 쪽에 베팅하겠다.
그들이 만족할 수 있는 유일한 순간은, 그 증명에 담긴 아이디어들을 스스로 설명하고, 핵심을 추려내고, 자신들의 힘으로 증명을 재구성할 수 있게 되었을 때다.
그리고 아마도 그 과정에는 수년이 걸릴 것이다.
인간 수학자들은 생물학적인 속도로밖에 움직일 수 없기 때문이다.
그런데 인간 수학자들이 그 증명을 이해하기 위해 씨름하고 있는 동안, 얼마나 더 많은 경이로운 발견이 쏟아져 나올 것인가?
이 경이와 공포의 시대에 말이다.
그러자 아들은 이제 그런 소식에도 별로 놀랍지 않다고 대답했다.
어쩌면 이런 일에 놀라려면, 인간이 수학을 주도하던 시대에 성장한 사람이어야 하는지도 모르겠다.
사실 나는 원래부터 이 문제가 그 자리에 있어야 한다고 생각해 왔다.
하지만 그 자리를 얼마나 더 오래 지킬 수 있을까?
우리가 지금 당연하게 여기고 있는 것들 중, 과연 무엇이 얼마나 더 오래 유지될 수 있을까?
다나: "관개시설을 껐는데도 어째서인지 집에서 계속 물이 새고 있어. 우리가 뭔가……"
나: "있잖아, 내가 아는 사람들 중 가장 똑똑한 사람들 상당수가 앞으로 12~18개월 안에 재귀적 자기개선(Recursive Self-Improvement, RSI)이 시작되고, 우리가 알고 있던 세상 전체가 끝날 것이라고 생각하고 있어. 그런데 지금 이 누수 문제는……"
다나: "그래도 물 새는 건 고쳐야지."
확률적 앵무새들이 리만 가설을 증명한 모양이다
스콧 애런슨(Scott Aaronson)"모든 근이 실수일 가능성이 매우 높다. 물론 이에 대한 엄밀한 증명이 있으면 좋겠지만, 잠깐 동안 몇 차례 헛된 시도를 해본 끝에 일단 증명을 찾는 일을 미뤄두기로 했다. 현재 연구의 직접적인 목적을 달성하는 데 꼭 필요하지는 않은 것으로 보이기 때문이다."
— 베른하르트 리만, 1859년
[업데이트] '포의 법칙(Poe's Law)'에 따르면, 인터넷에서는 아무리 명백한 반어나 풍자라도 그것을 알아채지 못하는 사람들이 무수히 많다. 아니나 다를까, 지금 소셜미디어에서는 다음과 같은 반응들이 쏟아지고 있다.
"스콧 애런슨은 어떻게 감히 LLM을 '확률적 앵무새(stochastic parrots)'라고 부를 수 있는가? 그건 2021년에 등장한, LLM을 폄하하고 하찮게 취급하는 표현 아닌가? 그 '확률적 앵무새'들이 방금 리만 가설을 증명했다는 사실도 모르는 건가?"
ㅋㅋㅋㅋ.
나는 지금 캘리포니아에 와 있다. 먼저 Oratomic을 방문하고, 그다음 Inkhaven에 갈 예정이다.
그런데 오늘 아침 눈을 뜨자마자 놀라운 소식을 접했다.
레벤트 알푀게(Levent Alpöge)가 Anthropic의 모델들을 이용해 일반화 리만 가설(Generalized Riemann Hypothesis)을 증명했다고 발표한 것이다.
그 과정에서 무려 1,740만 줄(!!)에 달하는 Lean 코드가 생성됐다고 한다.
"그럼 AI가 리만 가설을 증명하려면 앞으로 얼마나 더 걸릴까요? 그래도 몇 년은 더 필요하겠죠?"
나는 이렇게 대답했다.
"이제 그런 것들을 확신해서는 안 됩니다."
생각해 보라.
AI는 이미 리만 제타 함수의 비자명한 영점들이 임계선에서 최대 3/8만큼 떨어져 있다는 사실을 증명했다.
Quanta Magazine은 바로 어제 이 획기적인 성과에 관한 기사를 발표했다!
그리고 그 결과만으로도 완전한 리만 가설의 증명이 정수론에 가져올 함의의 대부분을 이미 확보한 셈이다.
그러니 도대체 앞으로 무엇이 가능해질지, 그리고 얼마나 빠르게 가능해질지 누가 알겠는가?
리만 가설이란 무엇인가?
이 글을 집에서 읽고 있는 독자들을 위해 설명하자면, 리만 가설은 가장 이해하기 쉬운 형태로 다음과 같이 표현할 수 있다.1부터 n까지 존재하는 소수의 개수는, 1보다 큰 각각의 정수 x가 서로 독립적으로 1/ln(x)의 확률로 소수가 된다고 가정했을 때 예상되는 개수와 매우 가깝다는 것이다.
그 차이는 표준적인 통계적 오차항 수준이며, 그 오차는 결코 Õ(√n)을 넘어서지 않는다.
우리는 이미 1896년부터 1부터 n까지의 소수 개수가 점근적으로 n/ln(n)에 가까워진다는 사실을 알고 있었다.
이것이 바로 유명한 **소수정리(Prime Number Theorem)**다.
그러나 실제 소수의 개수와 그 근삿값 사이의 오차가 훨씬 더 클 가능성도 충분히 상상할 수 있었다.
수학자들에게 리만 가설이 갖는 의미
다비트 힐베르트(David Hilbert)는 다음과 같은 유명한 말을 남겼다."내가 천 년 동안 잠들었다가 깨어난다면, 가장 먼저 묻고 싶은 것은 이것이다. 리만 가설은 증명되었는가?"
한편 G. H. 하디(G. H. Hardy)는 자신이 타고 있던 배가 침몰할지도 모른다는 두려움에 사로잡혔을 때, 동료들에게 리만 가설을 증명했다는 전보를 보낸 적이 있다.
최악의 상황이 벌어지더라도, 적어도 세상 사람들이 리만 가설의 증명이 자신과 함께 바닷속으로 가라앉았다고 믿게 만들기 위해서였다.
이번 증명은 과연 진짜일까?
물론 많은 사람이 오늘 발표된 증명이 검증을 견뎌낼 수 있을지 의문을 제기할 것이다.그들은 전 세계가 지금 Lean에 크게 '의존(leaning)'하고 있지만, 이 형식 검증 시스템에도 여전히 문제가 있다는 점을 지적할 것이다.
예를 들어 Lean의 커널에는 버그가 존재할 수 있다. 과거에는 실제로 그러한 버그 때문에 0=1이라는 명제까지 증명할 수 있었던 적이 있다.
또한 그 기반이 되는 유형 이론(type theory)이 정말로 건전한지에 관한 불확실성도 존재한다.
내 생각에 이러한 문제들은 시급히 해결할 수 있고, 또 반드시 해결해야 한다!
그렇지 않으면 충분한 동기를 가진 AI는 거의 틀림없이 이런 취약점을 악용해 거짓 명제를 증명해 버릴 수 있을 것이다.
그렇다고 해도, 현재 이번 증명에서 그런 일이 벌어지고 있다는 징후는 전혀 보이지 않는다.
여기서 한 가지 주목할 점이 있다.
지금까지 Lean 증명 인증서를 갖춘 AI의 수학적 성과 중 철회해야 했던 사례는 단 하나도 없었다. 반면 Lean 인증서가 없는 AI의 성과 중에서는 철회된 사례가 여러 건 있었다.
따라서 나는 100% 확신하지는 못하지만, 이번 증명이 결국 검증을 통과하고 살아남을 것이라는 쪽에 베팅하겠다.
인간 수학자들은 1,700만 줄의 증명에 만족할까?
물론 수학자들은 1,700만 줄의 Lean 코드만으로 만족하지 않을 것이다.그들이 만족할 수 있는 유일한 순간은, 그 증명에 담긴 아이디어들을 스스로 설명하고, 핵심을 추려내고, 자신들의 힘으로 증명을 재구성할 수 있게 되었을 때다.
그리고 아마도 그 과정에는 수년이 걸릴 것이다.
인간 수학자들은 생물학적인 속도로밖에 움직일 수 없기 때문이다.
그런데 인간 수학자들이 그 증명을 이해하기 위해 씨름하고 있는 동안, 얼마나 더 많은 경이로운 발견이 쏟아져 나올 것인가?
이 경이와 공포의 시대에 말이다.
아홉 살 아들의 반응
나는 아홉 살 아들에게 리만 가설이 증명됐다는 사실을 알려주었다.그러자 아들은 이제 그런 소식에도 별로 놀랍지 않다고 대답했다.
어쩌면 이런 일에 놀라려면, 인간이 수학을 주도하던 시대에 성장한 사람이어야 하는지도 모르겠다.
이제 최종 보스는 P=NP 문제다
이제 P=?NP 문제가 우리가 오랫동안 중요하게 여겨온 수학의 '최종 보스(Final Boss)' 자리를 확고하게 차지하게 되었다.사실 나는 원래부터 이 문제가 그 자리에 있어야 한다고 생각해 왔다.
하지만 그 자리를 얼마나 더 오래 지킬 수 있을까?
우리가 지금 당연하게 여기고 있는 것들 중, 과연 무엇이 얼마나 더 오래 유지될 수 있을까?
그리고 불과 며칠 전, 아내와 나눈 대화
불과 며칠 전, 아내와 나는 다음과 같은 대화를 나누었다.다나: "관개시설을 껐는데도 어째서인지 집에서 계속 물이 새고 있어. 우리가 뭔가……"
나: "있잖아, 내가 아는 사람들 중 가장 똑똑한 사람들 상당수가 앞으로 12~18개월 안에 재귀적 자기개선(Recursive Self-Improvement, RSI)이 시작되고, 우리가 알고 있던 세상 전체가 끝날 것이라고 생각하고 있어. 그런데 지금 이 누수 문제는……"
다나: "그래도 물 새는 건 고쳐야지."
우리가알던세상 전체가 끝난다는말이 되게 강햐게들리네
진짜면 놀랍네
2027년은 특붕 시대가 될 것임
