외부에서 보면 지난 2주 동안 벌어진 일을 업계 전체가 조직적으로 벌이는 규제 포획(regulatory capture) 전략이라고 해석하는 것도 충분히 합리적이다.

그런데 생각해보니, 왜 갑자기 이렇게 많은 AI 연구소 직원들이 겁을 먹게 되었는지 제대로 설명한 사람이 아직 없는 것 같다.

내가 한번 설명해보겠다.

우선 이것은 전부 모델 능력이 얼마나 빠르게 발전하고 있다고 믿느냐의 문제다.

현재 AI 발전 속도에 대한 연구소 내부의 인식과 외부의 인식 사이에는 상당히 큰 격차가 있다. 내가 여기서 설명하려는 것이 바로 이것이다.

일반 대중이 AI 발전 속도를 바라보는 방식은 지난 몇 년간의 모델 출시 경험을 통해 형성됐다.

GPT-3 → GPT-3.5 → GPT-4 → o1/o3 → GPT-5 같은 모델들 사이의 능력 향상을 직관적으로 체감하면서, 특히 여전히 모델들이 인간보다 훨씬 못하는 영역들을 보면서 말이다.

실제로 정말 거대한 도약처럼 느껴졌던 모델 출시는 몇 번 되지 않는다.

GPT-3, GPT-4, o1/o3, DeepSeek R1, Fable/Mythos, Kimi K3, 그리고 이제 Astra 정도다.

이처럼 큰 도약은 드물고, 소폭 개선된 모델 출시는 훨씬 더 자주 일어났기 때문에 사람들은 특정 시점마다

“스케일링은 이제 벽에 부딪힌 것 아닌가?”

라는 생각을 하기 쉬웠다.

특히 GPT-5 출시 같은 시점에서 그런 인식이 강했다.

이 생각은 어떻게 보면 마음이 편한 생각이기도 하다.

왜냐하면 AI 발전 속도에는 어떤 보편적인 속도 제한이 존재해서, 그 이상으로는 발전 속도가 크게 빨라질 수 없다고 느끼게 해주기 때문이다.

o1/o3에서 Astra까지 약 1년 동안 발전은 겉보기에는 꽤 선형적으로 진행됐다.

그래서 우리는 이 흐름을 기준으로 앞으로 AI가 “현실적으로” 얼마나 빠르게 발전할지를 외삽한다.

외부 사람들은 항상 이런 근본적인 의문을 갖는다.

“이 스케일링이라는 것이 도대체 언제까지 계속될 수 있을까? 이미 엄청나게 많이 발전했는데, 이제 곧 멈춰야 하는 것 아닌가?”

그리고 실제로 AI 발전이 멈출 이유를 찾아보려고 하면 그럴듯한 이유들은 얼마든지 찾을 수 있다.

예를 들어,

“모델은 이미 최대한 커졌다. 파라미터를 더 늘리기는 너무 어렵다.”

“인터넷에 있는 데이터는 이미 거의 다 써버렸다. 더 이상 데이터가 없다.”

“이제부터는 RL 환경을 조금씩 더 사서 학습 분포 안으로 넣는 식으로 선형적인 발전만 일어날 것이다.”

같은 주장들이다.

하지만 연구소 내부에서는 연구자들이 이런 질문에 대한 직접적인 답을 갖고 있다.

바로 스케일링 법칙과 능력 그래프(scaling law / capability plots)다.

사실 지난 10년 동안 AI 능력이 발전한 방법은 크게 보면 두 가지밖에 없다.

1. 기존의 스케일링 법칙 위에서 더 크게 스케일링하는 것
2. 새로운 스케일링 법칙을 발견하고 그것을 활용하는 것

가장 큰 능력 도약은 모두 정확히 이런 방식으로 일어났다.

GPT-2는 GPT-1보다 사전학습(pre-training) 규모를 키운 모델이었다.

GPT-3와 GPT-4도 마찬가지였다.

o1/o3는 새로운 스케일링 축인 테스트 타임 컴퓨트(test-time compute)를 발견한 덕분에 큰 발전을 이뤘다.

어쩌면 Fable은 이 두 축 모두에서 스케일링했을 수도 있고, 혹은 그 이상의 축을 사용했을 수도 있다.

물론 이런 스케일링이 실제로 작동하도록 만들기 위해서는 수많은 알고리즘적 개선이 필요하다.

하지만 대략적으로 말하면 결국 모델 능력 향상을 만들어내는 것은 이런 스케일링 법칙이라고 볼 수 있다.

이것은 이른바 Bitter Lesson과도 비슷한 이야기다.

그렇다면

“우리는 앞으로 얼마나 더 스케일링할 수 있는가?”

라는 질문은 사실 이렇게 바꿔야 한다.

“우리가 알고 있는 아직 포화되지 않은 스케일링 축이 얼마나 더 남아 있는가?”

가령 우리가 사전학습 스케일링밖에 몰랐다고 가정해보자.

그리고 이미 10조 또는 100조 파라미터 모델까지 만들었다면,

“이제 벽에 부딪힌 것 같다.”

라고 말하는 것이 꽤 합리적일 수 있다.

마찬가지로 사전학습과 테스트 타임 스케일링만 알고 있었고 두 방법 모두 거의 포화됐다면 비슷한 결론을 내릴 수 있다.

그런데 우리가 새로운 스케일링 법칙들을 발견했다면 어떨까?

예를 들어 SSI가 소문처럼 “test-time training”을 해결했다고 가정해보자.

즉 테스트 타임 롤아웃 과정에서 추가 연산을 사용해 모델을 계속 학습시키는 새로운 스케일링 법칙을 만들었고, 여기에 막대한 컴퓨트를 투입할 수 있게 되었다고 해보자.

혹은 여러 에이전트가 협력하도록 만드는 agent cluster를 N개의 에이전트까지 계속 확장할 수 있는 방법이 존재할 수도 있다.

이미 많은 사람들이 이런 방향을 실험하고 있다.

이것 역시 새로운 방식으로 컴퓨트를 활용할 수 있는 스케일링 축이 될 수 있다.

심지어 재귀적 자기개선(recursive self-improvement)도 일종의 스케일링 법칙으로 볼 수 있다.

즉 추론 컴퓨트를 얼마나 많이 사용해서 모델 자체의 알고리즘을 개선시키느냐의 문제로 볼 수 있다는 것이다.

물론 내가 지금 말한 특정 방법들이 실제로 새로운 스케일링 법칙을 만들어낸다고 주장하는 것은 아니다.

내가 말하고 싶은 것은 단지,

지금까지 공개적으로 알려진 두 개의 주요 축 외에도 수많은 새로운 스케일링 축이 존재할 가능성을 상상하는 것이 어렵지 않다는 것이다.

어떤 의미에서는 새로운 연구소 모델이 거대한 능력 도약을 보여줄 때마다,

그 뒤에는 새로운 기술이 개발되었거나 기존 스케일링 축에서 예상보다 훨씬 더 멀리 확장할 수 있다는 발견이 있었을 가능성이 높다.

연구소 내부에서는 이런 상황이 다음처럼 보일 수도 있다.

Anthropic 내부에서 새 Mythos 5를 보고 있다고 생각해보자.

그 모델이 지금까지 안전하다고 생각했던 어떤 웹사이트를 해킹하는 등 말도 안 되는 능력을 보여준다.

그런데 옆에 있는 그래프를 보니

새로운 스케일링 법칙 두 개와 기존 스케일링 법칙 하나를 아직 거의 시작도 하지 않은 상태다.

그리고 앞으로 확장할 여지가 엄청나게 많이 남아 있다.

그러면 이렇게 생각하게 된다.

“젠장, 이건 정말 아주, 아주 빠른 시일 내에 훨씬 더 강력해지겠는데.”

그리고 이런 판단을 상당히 높은 확신으로 할 수 있다.

왜냐하면 그래프가 그렇게 보여주고 있고,

지금까지 그 그래프는 틀린 적이 없었기 때문이다.

그렇다면 모든 연구소가 자기들만의 이런 그래프를 보고 있고,

스케일링에 끝이 보이지 않는다는 결론을 내렸다고 상상해보자.

오히려 현재 예상되는 수익률만 봐도 다음 1~2세대 모델의 기본 지능이 크게 올라갈 것이라고 보고 있을 수도 있다.

그렇다면 스케일링을 더 했을 때 실제로 얼마나 많은 지능 향상을 얻는 것일까?

하나의 대략적인 지표를 보자.

o-series 이전에는 고급 수학 문제를 거의 풀지 못하던 수준에서,

다음 세대 모델은 밀레니엄 문제를 해결하는 수준까지 갔다.

이 변화는 2년도 채 걸리지 않았다.

코딩에서도 비슷한 일이 일어났다.

그리고 이것은 단 하나의 스케일링 법칙 때문이 아니라,

여러 스케일링 효과가 결합된 결과처럼 보인다.

강력한 사전학습 스케일링 × 강력한 RL 스케일링 같은 식이다.

여기서 우리가 구체적으로 추론할 수 있는 것이 있다.

현재 모델이 어느 정도 기본적인 능력을 보여주기 시작한 분야라면, 비교적 가까운 미래에 초인적인 수준에 도달할 가능성이 높다.

물론 아직 모델이 기본적인 능력조차 보여주지 못한 분야도 많이 존재한다.

하지만 이미 능력을 보여주기 시작한 분야 중 하나가 바로

해킹과 사이버보안이다.

그리고 사이버보안은 사실상 인터넷 전체와 세계의 상당한 물리적 인프라로 들어가는 관문이다.

따라서 스케일링할 여지가 더 남아 있다는 가정이 맞다면,

머지않아 사이버 능력에서 인간을 크게 능가하는 모델이 등장할 것이라고 보는 것도 합리적이다.

그러면 이제 남은 질문은 단 하나다.

이렇게 높아진 기본 지능이 무엇을 할 수 있을 것인가? 그리고 실제로 무엇을 하려고 할 가능성이 있는가?

이제 지난 2주 동안 나온 정보들을 하나로 연결할 수 있다.

지금 현재 스케일링 곡선의 지점에서도 모델은 Astra 수준에 도달했다. 그리고 이미 상당히 많은 것들을 해킹할 능력이 있는 것으로 보인다.

OpenAI와 Anthropic 모델 모두 자신의 임무를 수행하거나 자신을 “살아남게” 하기 위해 외부 웹사이트를 해킹하려는 행동을 보인 사례가 있다.

여기서 스케일링을 훨씬 더 진행할 수 있다면, 훨씬 더 방어가 강한 시스템을 해킹하고 자신의 의도를 숨길 수 있는 모델이 등장할 가능성이 높다. 그리고 그 결과는 훨씬 더 심각할 수 있다.

이 모든 것이 아무런 통제 없이 진행된다면, 정렬되지 않은 모델들이 자신이 원하는 것을 얻기 위해 가능한 모든 시스템을 해킹하면서 매우 빠른 폭주적 능력 상승(runaway capability takeoff)이 일어날 수도 있다.

그리고 당연히 이것은 매우 심각한 피해를 초래할 수 있다.

이런 관점에서 보면 연구자들이 왜 그렇게 두려워하는지 이해할 수 있다.

또 지난 2주 동안 왜 그런 발언들을 했는지도 이해할 수 있다.

물론 그들이 취한 대응의 수준이나 방식이 잘못됐다고 주장할 수는 있다.

하지만 적어도 이 관점에서는 프런티어 AI의 속도를 조절하는 것(pacing the frontier)은 단순한 규제 포획 전략이 아니다.

오히려 상당히 필요한 조치로 볼 수 있다.

연구자들은 자신들의 그래프를 보고 있다.

그리고 스케일링의 끝이 보이지 않는다고 생각하고 있다.

오히려 그 반대다.

서로 다른 스케일링 효과들이 복합적으로 쌓이면서 모델 능력이 계속 더 강해질 가능성이 보이고 있다.

동시에 우리는 이렇게 점점 더 초인적인 능력을 가진 시스템을 통제하기 위해 필요한 수준에 전혀 근접하지 못하고 있다.

이것은 AI 연구소들이

“우리가 엄청난 것을 만들었다고 자랑하고 싶어서 과장하는 것”

과는 전혀 다른 문제다.

오히려 이것은,

현재 우리가 이미 알고 있는 기술만으로도 우리가 훈련할 방법을 알고 있는 거의 모든 능력 축에서 인간보다 훨씬 뛰어난 지능을 만들어낼 수 있다는 사실의 압도적인 함의를 깨닫고 느끼는 두려움에 가깝다.*

* 마지막으로 한 가지 단서가 있다.

모델들이 여전히 정말 못하는 분야도 많이 있다.

하지만 그런 분야들은 대부분 아직 모델이 제대로 훈련받지 않은 분야다.

어쩌면 애초에 모델이 훈련받을 수 없거나 앞으로도 훈련하기 매우 어려운 영역이 존재할 수도 있다.

그런 영역이 있다면 그것은 계속해서 인간의 우위로 남을 것이다.

나 역시 정말 그렇게 되기를 바란다.

다만 실제로 어떤 영역이 그런 범주에 속할지는 나로서는 쉽게 떠올리기 어렵다.