트윗
3주 전 어느 AI 연구소에서 역대 최대 규모의 학습 성공한 모델의 성능이 스케일링 예측 넘었다는 소문
작성자
하이룽룽
작성일
2026-03-29 09:18
조회
5
https://x.com/i/status/2037967531630367218
3주 전, 어느 AI 연구소에서 역대 최대 규모의 성공적인 학습(training run)을 마쳤으며, 그 결과로 나온 모델이 내부의 기대치와 사람들이 스케일링 법칙(scaling laws)으로 예측했던 수준을 훨씬 뛰어넘는 성능을 보인다는 소문이 돌았습니다. 당시에는 그저 소문에 불과했고, 어느 연구소인지 특정되지도 않았습니다. 하지만 미토스(Mythos)에 대해 우리가 새롭게 알게 된 사실들에 비추어 볼 때 이 소문은 꽤 신빙성이 있어 보이며, 그 연구소는 아마도 앤스로픽(Anthropic)이었을 가능성이 높습니다.
비슷한 시기에 선두권 연구소 중 한 곳에서 아키텍처 혁신을 이루어냈다는 소문도 있었습니다. 수많은 단체 채팅방에 들어가 있다 보면 이런 주장들을 끊임없이 듣게 되고, 대부분은 아무것도 아닌 것으로 판명 나기 마련입니다. 하지만 앤스로픽이 특정 규모 이상으로, 혹은 그 규모에서 특정한 방식으로 학습시켰을 때 기존의 추세선을 훨씬 웃도는 성능이 나온다는 사실을 발견했다면, 그것은 분명 아키텍처 혁신이라고 부를 만합니다.
유출된 블로그 게시물은 진짜였다고 생각하지만, 아직 초안 단계였던 것 같습니다. 미토스와 카피바라(Capybara) 둘 다 새로운 티어(tier)의 후보 이름이었으나, 이미 미토스가 사람들의 인식 속에 깊이 자리 잡았기 때문에 결국 그 이름을 유지할 수도 있습니다. 3월 초에 돌았던 구체적인 소문은 이번 학습을 통해 예상보다 대략 2배 뛰어난 성능의 모델이 탄생했다는 것이었습니다. 이는 아직 확인되지 않았습니다. 확실하게 확인된 것은 앤스로픽이 포춘(Fortune)지와의 인터뷰에서 새 모델이 '비약적 도약(step change)'이라고 밝혔다는 점이며, 갑작스러운 2배의 성능 향상이라면 이 정의에 확실히 부합할 것입니다.
이 중 얼마나 사실인지는 4월이 되면 알게 될 것입니다. 제 개인적인 견해로는 수치 중 일부가 틀리더라도 전체적인 윤곽은 맞을 것 같습니다. 그리고 만약 이것이 상당 부분 사실이라면, 최근 오픈AI(OpenAI)가 단행한 구조 조정도 새로운 시각으로 보게 됩니다. 경쟁에서 살아남기 위해 초대규모의 학습이 필수적인 요소가 된다면, 소라(Sora) 프로젝트를 중단한 것과 같은 그들의 최근 결정들은 전략적으로 더욱 타당해 보입니다.
대중의 입장에서 이는 세계 최고의 모델들을 서비스하는 데 훨씬 더 많은 비용이 들게 되고, 결과적으로 사용료 또한 훨씬 비싸질 것이라는 의미입니다. 이는 이미 알게 모르게 보조금이 투입되고 있는 사용량 제한, 가격 책정 및 구독 요금제에 압박을 가할 것입니다. 최첨단 AI 지능은 '계량할 필요조차 없을 정도로 저렴해지는 것(too cheap to meter)'이 아니라, 오히려 대다수 인류가 감당하기엔 너무 비싸지게 될지도 모릅니다.
2차적 파급 효과를 보자면, 연산(compute), 메모리, 그리고 에너지가 지금보다도 훨씬 더 중요해질 것입니다. 유출된 블로그에 따르면, 새 모델은 단순히 개선된 수준이 아니라 코딩과 추론 영역에서 오퍼스(Opus) 4.6보다 '극적으로 더 높은 점수'를 기록했으며, 현재 존재하는 다른 어떤 모델보다 '훨씬 앞서 있다'고 설명하고 있습니다. 만약 이것이 우리의 새로운 현실이 된다면, '규모(scale)'는 완전히 새로운 차원에서 절대적인 권력을 쥐게 될 것입니다. 그리고 언제나 그렇듯, 이는 젠슨(Jensen)이 또 한 번 승리한다는 것을 의미하기도 합니다.
3주 전, 어느 AI 연구소에서 역대 최대 규모의 성공적인 학습(training run)을 마쳤으며, 그 결과로 나온 모델이 내부의 기대치와 사람들이 스케일링 법칙(scaling laws)으로 예측했던 수준을 훨씬 뛰어넘는 성능을 보인다는 소문이 돌았습니다. 당시에는 그저 소문에 불과했고, 어느 연구소인지 특정되지도 않았습니다. 하지만 미토스(Mythos)에 대해 우리가 새롭게 알게 된 사실들에 비추어 볼 때 이 소문은 꽤 신빙성이 있어 보이며, 그 연구소는 아마도 앤스로픽(Anthropic)이었을 가능성이 높습니다.
비슷한 시기에 선두권 연구소 중 한 곳에서 아키텍처 혁신을 이루어냈다는 소문도 있었습니다. 수많은 단체 채팅방에 들어가 있다 보면 이런 주장들을 끊임없이 듣게 되고, 대부분은 아무것도 아닌 것으로 판명 나기 마련입니다. 하지만 앤스로픽이 특정 규모 이상으로, 혹은 그 규모에서 특정한 방식으로 학습시켰을 때 기존의 추세선을 훨씬 웃도는 성능이 나온다는 사실을 발견했다면, 그것은 분명 아키텍처 혁신이라고 부를 만합니다.
유출된 블로그 게시물은 진짜였다고 생각하지만, 아직 초안 단계였던 것 같습니다. 미토스와 카피바라(Capybara) 둘 다 새로운 티어(tier)의 후보 이름이었으나, 이미 미토스가 사람들의 인식 속에 깊이 자리 잡았기 때문에 결국 그 이름을 유지할 수도 있습니다. 3월 초에 돌았던 구체적인 소문은 이번 학습을 통해 예상보다 대략 2배 뛰어난 성능의 모델이 탄생했다는 것이었습니다. 이는 아직 확인되지 않았습니다. 확실하게 확인된 것은 앤스로픽이 포춘(Fortune)지와의 인터뷰에서 새 모델이 '비약적 도약(step change)'이라고 밝혔다는 점이며, 갑작스러운 2배의 성능 향상이라면 이 정의에 확실히 부합할 것입니다.
이 중 얼마나 사실인지는 4월이 되면 알게 될 것입니다. 제 개인적인 견해로는 수치 중 일부가 틀리더라도 전체적인 윤곽은 맞을 것 같습니다. 그리고 만약 이것이 상당 부분 사실이라면, 최근 오픈AI(OpenAI)가 단행한 구조 조정도 새로운 시각으로 보게 됩니다. 경쟁에서 살아남기 위해 초대규모의 학습이 필수적인 요소가 된다면, 소라(Sora) 프로젝트를 중단한 것과 같은 그들의 최근 결정들은 전략적으로 더욱 타당해 보입니다.
대중의 입장에서 이는 세계 최고의 모델들을 서비스하는 데 훨씬 더 많은 비용이 들게 되고, 결과적으로 사용료 또한 훨씬 비싸질 것이라는 의미입니다. 이는 이미 알게 모르게 보조금이 투입되고 있는 사용량 제한, 가격 책정 및 구독 요금제에 압박을 가할 것입니다. 최첨단 AI 지능은 '계량할 필요조차 없을 정도로 저렴해지는 것(too cheap to meter)'이 아니라, 오히려 대다수 인류가 감당하기엔 너무 비싸지게 될지도 모릅니다.
2차적 파급 효과를 보자면, 연산(compute), 메모리, 그리고 에너지가 지금보다도 훨씬 더 중요해질 것입니다. 유출된 블로그에 따르면, 새 모델은 단순히 개선된 수준이 아니라 코딩과 추론 영역에서 오퍼스(Opus) 4.6보다 '극적으로 더 높은 점수'를 기록했으며, 현재 존재하는 다른 어떤 모델보다 '훨씬 앞서 있다'고 설명하고 있습니다. 만약 이것이 우리의 새로운 현실이 된다면, '규모(scale)'는 완전히 새로운 차원에서 절대적인 권력을 쥐게 될 것입니다. 그리고 언제나 그렇듯, 이는 젠슨(Jensen)이 또 한 번 승리한다는 것을 의미하기도 합니다.
전체 0