저는 왜 지속 학습(continual learning) 이 필요하다고 생각하는지 다른 글에서 설명한 적이 있습니다. AI가 세션과 세션 사이에 고작 Markdown 파일을 작성해서 정보를 넘겨받는 방식만으로는, 인간만큼 능숙하게 하나의 직업 전체를 수행할 수 있다고 생각하지 않습니다.

예를 들어 보겠습니다. 학생들이 색소폰을 배우는 방식이 다음과 같다고 상상해 봅시다. 한 학생이 아무런 경험 없이 처음부터 색소폰을 연주해 봅니다. 첫 연습이 끝나면 자신이 배운 내용을 잔뜩 메모해 둡니다. 그러면 음악실 밖에서 기다리던, 역시 색소폰을 한 번도 연주해 본 적 없는 다음 학생이 그 메모를 전부 읽은 뒤 색소폰을 처음 연주해 봅니다. 그리고 이 과정을 계속 반복합니다.

음악실 밖에 색소폰을 한 번도 연주하지 않은 학생이 무한히 줄을 서 있고, 이들이 다음 사람에게 메모를 남길 수 있다고 하더라도, 이들이 함께 어떤 텍스트를 작성한다고 해서 N번째 학생이 첫 시도부터 능숙하게 색소폰을 연주할 수 있게 되는 일은 없을 것입니다. 어느 시점에서는 경험 자체가 뇌 속에 축적되어야 합니다.

AI가 앞으로 배치될 수많은 서로 다른 작업 환경에서 배우길 원하는 여러 종류의 기술과 지식에서도 마찬가지일 것이라고 생각합니다.

그렇다면 지속 학습이 가능해진 뒤 AI에는 무엇이 달라질까요?

• 지금까지 제안된 AI 규제 방안 중 상당수는 다음과 같은 전제를 깔고 있습니다. 먼저 모델을 훈련한 다음 배포한다는 것입니다. 따라서 모델을 배포하기 전에 여러 검사를 실시하면, 그 모델이 사이버 공격이나 재귀적 자기개선(recursive self-improvement)을 돕지 않는지 확인할 수 있다는 논리입니다.
  
  하지만 기본 모델 자체가 매일 수행하는 수백만 건의 업무 세션을 바탕으로 하루하루 업데이트된다면 어떨까요?
  
  이것은 제가 지금 당장 어떤 고정된 형태의 규제·안전 체계를 확정해 버리는 것이 현명하지 않다고 보는 여러 이유 중 하나입니다. 우리는 1년 뒤는커녕 5년, 10년 뒤에 어떤 기술을 상대하게 될지조차 모릅니다. 그런데 지금 규제를 고착화하면, 낡고 오히려 역효과를 낼 수 있는 방식으로 AI 위험에 대처하게 될 수 있습니다.
  
  정부가 정말로 모델 제공업체에 대해 안전성 평가를 실시하고 싶다면, 훈련이 끝나고 배포가 시작되기 직전이라는 특정 순간을 특별히 지정하는 것보다 월별 또는 분기별 위험 점검을 실시하는 편이 더 합리적일 것입니다. 미래에는 ‘훈련 완료 후, 배포 시작 전’이라는 구간 자체가 의미 있게 구분되는 범주가 아닐 가능성이 높기 때문입니다.
• AI 연구소들이 기술적 정렬(alignment)을 수행하는 방식도 완전히 바뀌어야 합니다. 현재의 거의 모든 기법은 고정된 가중치(frozen weights)를 가진 모델이 배포 중에 올바르게 행동하게 만드는 문제에 초점을 맞추고 있습니다.
  
  하지만 가중치가 계속 업데이트되는 상황에서도 AI 시스템이 절대로 탈옥(jailbreak)에 당하지 않고, 기만적이거나 악의적인 성격으로 변하지 않도록 보장하는 방법에 관한 연구는 제가 알기로 거의 없습니다.
  
  게다가 AI가 여러 사용자로부터 배운 내용을 서로 통합한다면, 사용자가 기본 모델 안에 백도어를 심거나 악의적인 성향을 주입하는 것을 어떻게 막을까요?
  
  어떤 의미에서는 오히려 인간의 정렬 문제와 더 비슷해집니다. 아이들은 밖에 나가 새로운 것을 배우고, 가끔은 이상한 이념이나 마약 같은 것에 한 번의 강렬한 경험만으로 빠져버리기도 합니다. 그렇지만 부모는 아이에게 충분한 상식과 기본적인 가치관을 심어줘서, 스스로 성장하면서도 극단적으로 이상하거나 인간을 혐오하는 신념에 빠지지 않기를 기대합니다.
• AI 정신의 다양성이 커질 것입니다. 현재 두드러진 AI ‘정신’은 5개도 되지 않으며, 대체로 비슷한 데이터로 훈련되었기 때문에 서로 상당히 유사합니다.
  
  하지만 AI가 경험을 통해 학습하고, 각 AI가 겪는 경험이 서로 다르다면, 학습이 끝난 뒤에는 실제로 서로 다른 성격과 능력을 가진 AI들이 등장할 수 있습니다.
• 배포가 곧 훈련의 일부가 되면, 선두에 있을 때의 이점이 더욱 빠르게 커질 것입니다.
  최고의 모델을 가지고 있다면 더 많은 사람들이 그 AI를 사용해 더 복잡하고 유용한 일을 하게 될 것이고, 세션 컨텍스트를 넘어 지속적으로 통합할 수 있는 엄청난 양의 피드백을 제공하게 됩니다. 그러면 그 모델은 더 똑똑해집니다.
  
  즉,
  
  좋은 모델 → 더 많은 사용 → 더 많은 실제 경험 → 더 빠른 개선 → 더 좋은 모델
  
  이라는 자기강화적 순환이 생깁니다.
• 모델이 주로 실제 배포를 통해 학습하게 된다면, AI 연구소들은 가장 똑똑한 모델을 더 일찍 공개해야 한다는 압박을 받게 될 것입니다.
  
  Anthropic은 2월부터 Mythos를 내부적으로 사용해 왔지만, 이 모델을 대중에게 공개한 것은 6월이었습니다.
  
  지속 학습 체제에서는 내부 사용과 외부 공개 사이에 4개월의 차이가 있다는 것은 곧 4개월치 배포 학습 기회를 포기한다는 뜻입니다.
  
  경쟁사는 공개 시점에는 당신의 모델보다 성능이 떨어질 수도 있습니다. 하지만 더 일찍 출시했다면 훨씬 많은 현실 세계 경험을 활용하면서 빠르게 개선될 수 있습니다.
• 지속 학습은 현재 AI 선도 연구소들에게 부족한 명확한 해자(moat)를 만들어 줄 것입니다.
  많은 사람들이 “AI 연구소들은 실제로 어떻게 돈을 벌 것인가?”라는 질문을 해왔습니다.
  
  제가 팟캐스트에서 Dario에게 이 질문을 했을 때, 그는 클라우드 제공업체를 비유로 들었습니다. 클라우드 업체들도 서로 크게 차별화되지 않은 다양한 서비스를 제공하지만 높은 이익률을 올린다는 것입니다.
  
  하지만 클라우드의 마진이 높은 이유는 한 클라우드에서 다른 클라우드로 옮기는 데 엄청난 시간과 비용이 들기 때문입니다.
  
  현재 AI 모델에는 이런 전환 비용(switching cost)이 거의 없습니다. 예를 들어 제가 Codex로 소프트웨어 저장소 작업을 시작한 뒤 Claude Code로 마무리하는 것을 막는 것은 아무것도 없습니다.
  
  그러나 지속 학습이 가능해지고, 내가 사용하는 모델이 세션을 거듭할수록 실제로 나와의 상호작용을 통해 더 나아진다면 상당한 전환 비용이 발생합니다.
  
  AI를 바꾼다는 것은 사실상 우리 조직에 대해 수개월간 경험과 맥락을 축적한 직원을 해고하고, 아무것도 모르는 새 직원을 뽑아 처음부터 다시 교육하는 것과 비슷해집니다.
  
  이런 식으로 고객이 묶이게 되면 모델 제공업체들은 상당히 높은 마진을 요구할 수 있습니다.
• 기업들도 당연히 이 문제를 인식할 것입니다. 기업들은 이런 종속(lock-in)을 피하려 할 것입니다.
  
  하지만 선택지가 다음 둘 중 하나라면 어떨까요?
  
  1. 특정 모델 제공업체에 종속된다.
  2. 세션을 거듭할수록 AI가 우리 회사에 맞게 계속 개선되는 엄청나게 가치 있는 기능을 포기한다.
  실제 사용이 모델을 개선하는 주된 방법이 된다면, 연구소들은 자신들의 세션을 모델 학습에 사용하도록 허용하는 사용자와 기업에 보조금을 지급할 수도 있습니다. 특히 경제적으로 중요하고 어려운 작업일수록 더욱 그럴 것입니다.
  
  이는 Google이 검색 서비스를 무료로 제공하는 것과 비슷합니다.
  
  반대로 연구소가 이렇게 말할 수도 있습니다.
  
  “여러분의 세션을 학습에 사용하게 해주지 않는 기업은 최고 수준 모델에 접근할 수 없습니다.”
  
  즉, 보상과 압박이라는 당근과 채찍을 모두 사용해서 사용자들이 AI가 실제 경험으로부터 학습하는 것을 허용하도록 만들려 할 것입니다.
  
  여기서는 한 가지를 단순화해서 말하고 있습니다. 개별 사용자마다 별도의 가중치를 업데이트하는 것과, 이렇게 갈라진 수많은 가중치 포크(weight fork)를 다시 하나의 메인 모델로 통합하는 것은 서로 다른 문제이며, 후자가 기술적으로 더 어려울 수 있습니다. 하지만 시간이 지나면 이 문제 역시 해결될 것이라고 봅니다.
• AI 훈련에는 이미 상당한 규모의 경제(economies of scale) 가 존재합니다.
  
  이론적으로는 막대한 훈련 비용을 더 많은 사용자에게 분산할 수 있기 때문이고, 실제 증거로는 지금까지 AI 연구소들의 매출이 컴퓨팅 비용보다 더 빠른 속도로 증가해 왔다는 점을 들 수 있습니다.
  
  그런데 지속 학습은 최종 사용자에게 제공되는 추론(inference) 에서도 배칭(batching)을 통한 규모의 경제를 만들 수 있습니다. 특히 기업별 정보가 저랭크 어댑터(low-rank adapter)에 저장되는 것이 아니라, 모델 가중치 전체를 업데이트해야 한다면 더욱 그렇습니다.
  
  대략적인 계산에 따르면 DeepSeek V3 같은 희소 모델(sparse model)의 최적 추론 배치 크기는 2,400개 이상입니다.
  
  다시 말해, 모델이 동시에 2,400개 이상의 시퀀스를 생성하지 않는 한 컴퓨팅 자원을 충분히 활용하지 못하고 있다는 뜻입니다.
  
  그 이유를 자세히 알고 싶다면 Reiner Pope와 진행한 제