뉴스/정보
다리오 아모데이, DeepSeek과 수출 통제에 대하여
작성자
작성일
2025-01-30 08:48
조회
385
https://darioamodei.com/on-deepseek-and-export-controls
몇 주 전, 저는 중국에 대한 반도체 수출 통제를 강화해야 한다는 주장을 했습니다. 그 후 DeepSeek이라는 중국 AI 회사가 — 적어도 몇몇 측면에서는 — 더 낮은 비용으로 미국 최첨단 AI 모델의 성능에 상당히 근접해진 것으로 보입니다.
이번 글에서는 DeepSeek이 Anthropic 같은 미국 AI 회사에 위협이 되는지 여부에 대해서는 다루지 않겠습니다(개인적으로는 이들이 미국 AI 리더십에 위협이 된다는 주장의 많은 부분이 과장되었다고 보지만요)¹. 대신 DeepSeek의 공개가 칩 수출 통제 정책을 약화시키는 근거가 될 수 있는지, 그리고 저는 그렇지 않다고 생각한다는 점에 집중하겠습니다. 오히려 이 사실은 칩에 대한 수출 통제 정책이 몇 주 전보다 더 본질적으로 중요하다는 사실을 보여준다고 생각합니다².
수출 통제의 핵심 목적은 민주 국가들이 AI 개발의 최전선에서 계속 앞서가도록 하는 것입니다. 분명히 하자면, 이것은 미국과 중국 간의 경쟁을 피하기 위한 수단이 아닙니다. 궁극적으로, 미국과 다른 민주주의 국가들의 AI 기업들이 중국 기업들보다 더 뛰어난 모델을 보유해야 우리가 승리할 수 있습니다. 하지만 우리가 원하지 않아도 되는 상황에서 중국 공산당에게 기술적 이점을 넘겨줄 이유는 없습니다.
AI 개발의 세 가지 동학
본격적인 정책 논의에 앞서, AI 시스템에 관한 세 가지 기본적인 동학에 대해 간략히 설명하겠습니다.
1. 스케일링 법칙(Scaling laws)
저는 공동창업자들과 함께 OpenAI에서 근무할 당시, 모든 다른 조건이 동일하다면 AI 시스템 훈련에 더 많은 비용(혹은 규모)을 투입할수록 광범위한 인지 과제에서 점진적이면서도 전반적으로 더 우수한 결과가 나온다는 ‘스케일링 법칙’을 가장 먼저 체계적으로 보여주었습니다. 예를 들어, 어떤 모델에 100만 달러를 투입했을 때 20%의 중요한 코딩 과제를 해결할 수 있다면, 1,000만 달러로 40%, 1억 달러로 60%를 해결할 수 있다는 식입니다. 이러한 차이는 실제로는 매우 큰 의미를 지니며, 규모 10배의 차이는 학부생 수준과 박사급 수준의 차이 정도가 될 수 있습니다. 그래서 기업들은 모델 훈련에 많은 비용을 투입하고 있습니다.
2. 곡선 자체를 옮기는(Shift) 혁신
이 분야에서는 항상 대·소규모의 아이디어들이 나오는데, 이런 아이디어들은 효율성이나 효과성을 개선해 줍니다. 모델의 아키텍처(현재 모든 최신 모델이 사용하는 Transformer 구조를 조금 변경하는 식) 개선이 될 수도 있고, 기저 하드웨어에서 모델을 더 효율적으로 실행하는 방법일 수도 있습니다. 새 하드웨어 세대 또한 같은 효과를 내죠. 이를 통해 "곡선"이 상하로 평행 이동한다고 볼 수 있습니다. 예를 들어 어떤 혁신이 2배의 “계산 효율 향상(Compute Multiplier, CM)”을 가져왔다면, 예전에는 1,000만 달러로 40% 성능을 내던 것을 500만 달러로 가능하게 하고, 1억 달러로 60% 성능을 내던 것을 5,000만 달러로 가능하게 만들어 줍니다.
하지만 AI의 지적 능력이 더 높아질 때의 가치가 워낙 크다 보니, 기업들은 비용 절감분을 모델 성능 향상을 위해 다시 투자합니다. “뭔가가 처음에는 비싸다가 나중에 저렴해지면, 칩 사용량도 줄일 수 있다”는 식으로 AI를 단일 상품으로 여기는 관점이 있지만, 실제로는 ‘스케일링 곡선’을 따라 더 높은 지적 능력을 가진 모델까지 빠르게 나아가는 쪽으로 자금이 투입됩니다. 2020년, 제 팀은 알고리즘적 발전으로 인해 스케일링 곡선이 연간 약 1.68배씩 이동한다는 논문을 발표했습니다. 이후 이 속도는 훨씬 빨라진 것 같습니다. 여기에 하드웨어 개선과 효율 개선을 합치면, 현재는 연간 대략 4배 정도로 추정됩니다. 다른 추정 자료도 있습니다.
이런 훈련 곡선의 이동은 추론(inference) 비용 곡선도 함께 이동시키고, 그 결과 모델 품질이 일정하다는 전제하에 가격이 크게 하락하는 추세는 이미 수년 전부터 계속 이어지고 있습니다. 예를 들어, 15개월 전에 출시된 Claude 3.5 Sonnet은 거의 모든 벤치마크에서 GPT-4보다 우수한 성능을 보이면서, API 가격은 대략 10분의 1 수준입니다.
3. 패러다임의 전환(Paradigm shift)
때로는 확장(Scaling)하는 대상 자체가 조금 바뀌거나, 훈련 프로세스에 완전히 새로운 유형의 확장이 추가될 때가 있습니다. 2020년부터 2023년까지는 주로 대규모 사전 학습(pretraining)에 집중하는 패러다임이었습니다. 대규모 인터넷 텍스트에 대해 모델을 사전 학습한 뒤, 그 위에 아주 적은 양의 추가 훈련을 얹는 방식이었죠.
그런데 2024년에 들어와, 체인 오브 소트(Chain-of-thought) 생성 능력을 강화하기 위해 강화학습(RL)을 도입하는 방안이 새로운 초점으로 떠올랐습니다. Anthropic, DeepSeek, 그리고 다른 여러 회사들(가장 대표적으로는 9월에 o1-preview 모델을 공개한 OpenAI) 역시 이러한 방식으로 학습을 진행하면서, 수학이나 코딩 대회, 그리고 이와 유사한 논리 추론 능력 측면에서 큰 폭으로 개선된 결과를 얻었습니다.
이 새로운 패러다임은, 전통적 사전 학습 모델을 만든 뒤, 두 번째 단계로 강화학습을 추가하는 방식입니다. 중요한 점은 이 강화학습 방식이 아직 초기 단계라서, 모든 업체가 여기에 많이 투자하고 있지는 않다는 것입니다. 예를 들어, 10만 달러짜리 RL을 100만 달러 정도로 확장만 해도 성능이 크게 향상됩니다. 현재 여러 기업들이 수천만 달러, 수억 달러 규모로 이 두 번째 단계를 빠르게 확장하려 하고 있으나, 어쨌든 지금은 ‘새로운 패러다임이 도입된 초기’라 상대적으로 적은 비용으로도 큰 향상을 얻을 수 있는 시점입니다.
---
DeepSeek의 모델
위에서 설명한 세 가지 동학은 DeepSeek의 최근 모델 공개 상황을 이해하는 데 도움이 됩니다. 약 한 달 전, DeepSeek은 "DeepSeek-V3"라는 모델을 공개했는데, 이는 위의 세 번째에서 말한 첫 번째 단계 — 즉 순수 사전 학습 모델(Pretrained model)³ — 에 해당합니다. 그리고 지난주에 "R1"을 공개했는데, 이는 두 번째 단계를 추가한 것이었습니다. 외부에서 이들 모델의 모든 세부 정보를 파악할 수는 없지만, 현재까지 파악한 바는 다음과 같습니다.
DeepSeek-V3가 실제로 큰 혁신이었고, 한 달 전 그것이 공개되었을 때 주목해야 했습니다(실제로 우리는 주목했습니다). 사전 학습 모델로서, 주요 과제에서 미국 최첨단 모델들과 유사한 성능⁴을 보여주면서도 훈련 비용이 상당히 더 낮았던 것으로 보였습니다(물론 실제 코딩 업무 같은 현실적인 작업에서는 Claude 3.5 Sonnet이 여전히 훨씬 뛰어나다고 생각합니다). DeepSeek은 주로 엔지니어링 효율 개선을 통해 이를 달성했는데, "Key-Value 캐시"를 다루는 방식과 "Mixture of Experts" 기법을 이전보다 더 높은 수준으로 적용한 점이 특히 참신했습니다.
하지만 좀 더 자세히 보면:
1. DeepSeek이 “미국 AI 기업들이 수십억 달러를 들인 것과 유사한 성능을 600만 달러에 구현했다”는 식의 주장은 과장입니다. Anthropic을 예로 들면, Claude 3.5 Sonnet은 중간 규모 모델이며 수천만 달러 정도를 훈련에 사용했습니다(정확한 금액은 밝힐 수 없습니다). 또한 3.5 Sonnet은 더 크거나 더 비싼 모델을 사전에 한 뒤 축소한 방식이 아니었습니다(그런 소문이 있긴 하지만 사실이 아닙니다). Sonnet의 훈련은 912월에 훈련되었으며, Sonnet은 여전히 여러 내부 및 외부 평가에서 DeepSeek 모델보다 월등합니다. 결국 “DeepSeek이 미국 모델보다 7~10개월 정도 늦은 시점의 미국 모델과 유사한 성능을, 꽤 낮은 비용으로 만들어냈다(다만 사람들이 주장하는 만큼 극단적 차이는 아님)” 정도가 정확한 표현일 것입니다.
2. 연간 약 4배의 비용 절감 추세가 이어져 왔다고 가정하면(이는 우리가 보아온 알고리즘·하드웨어·효율 개선 등을 모두 고려한 대략적 수치), 우리가 1년 전에 만든 3.5 Sonnet/GPT-4o 정도의 모델보다 3~4배 저렴한 모델이 지금 시점에 등장하는 것은 전혀 놀라운 일이 아닙니다. DeepSeek-V3가 US 모델보다 다소 떨어진다고 할 때(가령 스케일링 곡선상 ~2배 정도 차이라고 가정), 그렇다면 DeepSeek-V3의 훈련 비용이 ~8배 정도 저렴한 것은 정상 범주라는 의미입니다. 앞서 말했듯이 3.5 Sonnet은 GPT-4보다 더 나은 모델인데, 그 추론 비용을 10분의 1로 낮추었습니다. 모든 점을 고려하면, DeepSeek이 발표한 훈련 비용이 사실이라 해도, 그들은 최대한 좋게 잡아도 ‘일반적인 추세에 부합’하거나, 혹은 그보다 못한 정도입니다. 즉 DeepSeek-V3가 LLM의 경제성을 근본적으로 바꾸는 돌파구가 아니라, 이미 예상되어 온 비용 하락 곡선의 한 지점일 뿐이라는 것입니다. 다만 지금까지는 중국 회사가 이 트렌드를 가장 먼저 시현해 본 적이 없었으므로(미국에서 먼저 해왔음) 이번 사례는 지정학적으로 의미 있는 사건이기는 합니다. 하지만 미국 기업들 역시 조만간 비슷한 비용 절감을 할 것이며, DeepSeek을 그대로 베끼는 것이 아니라 이미 자체적인 역량으로 이런 추세를 달성하고 있습니다.
3. DeepSeek이 공개한 모델에 투자한 칩이나 자금은 이들의 '대표 모델'을 훈련하는 데만 쓰인 것이 아니라, 추가적인 R&D 개발, 혹은 더 큰 규모의 모델 시험, 여러 차례의 재시도 등에 쓰였을 것입니다. 또한 보도 자료에 따르면 — 확실한지는 모르지만 — DeepSeek이 5만 장의 Hopper(엔비디아) 칩⁶을 가졌다고 하는데, 이는 주요 미국 AI 기업들이 보유한 칩 수량의 3배 적은 수준). 해당 5만 장의 Hopper 칩을 구매하는 비용만 대략 10억 달러(약 1조 원) 규모가 됩니다. 즉, DeepSeek 전체 기업 차원에서 지출한 총비용은 미국 주요 AI 연구소들과 극적으로 다르지 않을 가능성이 높습니다.
4. 스케일링 곡선이라는 것이 실제보다 단순화된 개념이라는 점도 주의해야 합니다. 모델은 저마다 강점과 약점이 다릅니다. 제가 확실히 말할 수 있는 것은 Anthropic의 모델입니다만, Claude는 코딩 능력과 사람과의 상호작용 면에서 매우 탁월합니다(개인적 조언이나 감정적인 지원 등에도 많이 쓰입니다). DeepSeek 모델은 이런 면에서 아직 비교가 되지 않습니다. 이는 스케일링 법칙만으로 설명하기 어려운 차이입니다.
R1은(지난주 공개되어 엔비디아 주가를 17% 가량 떨어뜨린 바로 그 모델) 사실 V3에 비해 기술 혁신이나 엔지니어링 관점에서 훨씬 덜 흥미롭습니다. 이는 앞서 말한 두 번째 단계, 즉 강화학습을 추가한 것인데, OpenAI가 o1 모델로 이미 보여준 방식을 재현한 것으로 보입니다(비슷한 규모로 비슷한 결과를 얻은 것으로 추정). 하지만 앞서 말했듯이, 지금은 이 새로운 강화학습 패러다임이 초기 스케일링 구간에 있는 시점이어서, 일단 뛰어난 사전 학습 모델만 있다면 비교적 적은 비용으로 이 단계를 적용해 좋은 성능을 낼 수 있습니다. 그렇기에 “한시적으로” 여러 회사들이 우수한 논리 추론 모델을 만들 수 있는 상태이지만, 모든 업체가 이 강화학습 단계에 더 많은 예산을 투입할수록 곧 격차가 다시 벌어질 것입니다.
---
수출 통제
지금까지의 내용은 결국 다음의 주장을 뒷받침하는 서론에 불과합니다. 그 주장은 바로 중국으로의 칩 수출 통제에 관한 것입니다. 위에서 제시한 사실들을 종합하면 상황은 다음과 같이 요약됩니다.
1. AI 모델의 훈련 비용 곡선은 계속 빠르게 하락하고 있습니다만, AI에 대한 경제적·전략적 가치가 매우 높기 때문에, 대형 기업들은 ‘생긴 여유분’을 더 큰 모델 훈련에 재투자해 왔고 앞으로도 그럴 것입니다. 즉, 훈련 비용 효율화로 절약된 비용이 다시 더 대규모 모델 훈련에 투입되어 궁극적으로는 ‘거의 모든 인간보다 뛰어난 범용 AI’를 목표로 하게 됩니다.
2. “거의 모든 인간보다 스마트한 AI”를 만들려면 수백만 장의 칩과 최소 수백억 달러(아니면 그 이상)가 필요하며, 2026~2027년쯤 가장 가능성이 높다고 봅니다. DeepSeek의 발표는 이 시점을 앞당기거나 늦추지는 않습니다. 그들의 모델은 이미 예상된 비용 절감 곡선상 그다지 예외적이지 않은 지점에 위치해 있기 때문입니다.
3. 따라서 2026~2027년이 되었을 때 우리는 크게 두 가지 시나리오 중 하나를 맞이할 수 있습니다.
시나리오 A(양극 세계): 미국과 그 동맹국 기업들은 수백만 장의 칩(수백억 달러 규모)을 확실히 가질 것이고, 만약 중국도 같은 수준의 칩을 확보한다면, 미국과 중국 모두 강력한 AI 모델을 보유하게 됩니다. 즉 “데이터센터 안에 천재들(거의 모든 과학·기술 문제를 빠르게 해결할 수 있는 모델들)”을 양국이 보유하게 되는 것입니다. 하지만 이 양극 상태가 안정적으로 지속될 거라는 보장은 없습니다. 초기에는 미국과 중국이 AI에서 동등한 지위를 갖는다 해도, 중국이 더 많은 인력·자본·국가적 자원을 군사적 활용에 집중한다면, 전반적인 기술·산업·군사 분야에서 중국이 우위를 확보할 수도 있습니다.
시나리오 B(단극 세계): 중국이 수백만 장의 칩을 확보하지 못할 경우, 미국과 그 동맹국만 초강력 AI 모델을 갖게 됩니다. 이 단극 체제가 언제까지 이어질지는 불확실하지만, AI 시스템이 스스로 더 뛰어난 AI를 개발하는 데 도움을 줄 수도 있기 때문에, 한시적인 우위가 장기적 격차로 이어질 가능성도 있습니다¹⁰. 따라서 이 시나리오에서는 미국과 동맹국이 전 세계적으로 압도적이고 장기적인 우위를 차지할 수 있습니다.
4. 결국 이 중 어떤 시나리오가 펼쳐지느냐는, 중국이 수백만 장의 칩을 확보할 수 있게 될지 여부에 달려 있고, 이것을 막을 수 있는 유일한 실효적 도구가 ‘수출 통제’¹¹입니다.
5. DeepSeek의 성과는 수출 통제가 실패했음을 의미하지 않습니다. 위에서 말했듯 DeepSeek은 적지 않은 칩을 보유해 왔고, 그 덕에 강력한 모델을 개발하고 훈련할 수 있었던 것입니다. 이미 그들은 미국 AI 기업들에 비해 심각하게 부족한 자원 상태가 아니었습니다. 그리고 이들이 혁신을 보인 이유가 ‘칩이 부족해서’는 아니었다고 봅니다. 그들은 이미 뛰어난 엔지니어이며, 따라서 중국이 미국에 심각한 경쟁 상대가 될 수 있다는 점을 다시 확인시켜 준 사례입니다.
6. DeepSeek은 또한 “중국이 언제든 밀수나 우회 경로로 충분한 칩을 구할 수 있다”라는 주장이나 “수출 통제가 구멍이 많아 의미가 없다”라는 증거로 볼 수도 없습니다. 사실 수출 통제의 목표는 중국이 수만 개 정도의 칩을 못 구하게 하려는 것이 아니라, 수백만 개라는 대규모 확보를 막는 것입니다. 10억 달러(1조 원) 정도의 물량은 눈속임이 가능할 수 있어도, 100억 달러(10조 원)나 그 이상 규모까지 은밀하게 밀수하는 것은 훨씬 어렵습니다. 물리적으로 칩 한두 장 정도가 아닌 엄청난 물량이 필요하기 때문입니다.
DeepSeek의 칩 보유 현황(추정)은 H100·H800·H20의 혼합이라고 하는데, 총 5만 장 규모로 SemiAnalysis가 보도했습니다. H100 칩은 2022년 수출 통제 이후 곧바로 금수 대상으로 지정되었으므로, 만약 DeepSeek이 H100을 가지고 있다면 그것은 밀수의 결과일 것입니다(엔비디아는 DeepSeek의 진전이 “수출 통제를 전적으로 준수한다”고 밝혔지만, 이것이 모든 H100이 합법적인 경로로 갔다는 의미인지는 불분명함). H800은 2023년 10월에 통제 대상이 되었으나, 그 전까지는 합법적으로 중국으로 수출이 가능했습니다. H20 칩은 훈련보다는 추론에 좀 더 효율적인데, 아직 공식적으로 금지 대상이 아닙니다(하지만 저는 이것도 금지해야 한다고 봅니다).
결과적으로 DeepSeek 칩의 상당 부분은 (아직 금지되지 않았으나 금지해야 할) 칩, 금지 전에 수출된 칩, 혹은 밀수를 통해 확보된 칩들로 추정됩니다. 이는 통제가 실시간으로 변경·보완되고 있음을 보여주며, 만약 제대로 작동하지 않았다면 DeepSeek은 훨씬 더 대규모의 H100 칩을 보유할 수도 있었을 것입니다. 우리가 이 ‘구멍’을 빨리 메운다면, 중국이 수백만 장의 칩을 확보하는 일을 막고, 단극 세계가 실현될 가능성을 높일 수 있습니다.
7. 마지막으로, 제가 여기서 “DeepSeek을 적으로 간주해야 한다”고 주장하는 것은 전혀 아닙니다. 그들을 향해 별도의 제재를 가하자는 것이 아닙니다. DeepSeek이 각종 인터뷰에서 밝힌 바를 보면, 이들은 단지 유용한 기술을 만들고 싶은 열정적이고 똑똑한 연구자들로 보입니다.
하지만 이들은 인권 유린 문제를 일으키고, 국제무대에서 공격적인 행동을 보여 온 권위주의 정부(중국 정부)에 종속되어 있습니다. 만약 중국 정부가 AI 분야에서 미국과 맞먹는 기술력을 갖게 된다면, 이들의 정책적·군사적 행동에 훨씬 더 제약이 덜 걸릴 것이 자명합니다. 수출 통제는 이를 막을 수 있는 가장 강력한 수단 중 하나이며, 기술이 더욱 강력하고 경제적 가치가 높아졌다는 이유로 규제를 푸는 것은 전혀 말이 되지 않는다고 생각합니다.
---
¹ 예: DeepSeek이 미국 AI 리더십에 얼마나 큰 위협인지에 대한 특정 기사나 평론
² 저는 이 점이 특히 군사전략적 관점에서 중요하다고 생각합니다.
³ 이번 글에서는 사전 학습(Pretraining) 모델을 “첫 번째 단계”라고 했고, RL을 통한 후속 훈련을 “두 번째 단계”라고 지칭했습니다.
⁴ DeepSeek 측이 제공하는 다양한 벤치마크 지표 결과를 고려할 때의 추정
⁵ DeepSeek이 훈련 비용으로 “6백만 달러”라고 발표했으나, 실제로는 자사 보유 칩 비용이나 R&D 예산 등이 반영되지 않았을 가능성 있음
⁶ Hopper 칩은 엔비디아가 개발한 고성능 GPU 계열로, 최근 AI 모델 훈련에 가장 많이 사용되는 하드웨어 중 하나입니다.
⁷ xAI가 자체 보유한다고 알려진 “Colossus” 클러스터와의 대략적 비교치
⁸ OpenAI의 o1 모델은 강화학습을 통한 논리 추론 및 체인 오브 소트(chain-of-thought) 능력을 개선한 모델
⁹ 실제로는 ‘수백만 장의 칩 + 안정적인 전력 및 냉각 인프라 + 전문인력·소프트웨어 스택’ 등이 함께 필요하지만, 칩이 가장 중요한 물적 자원이라는 맥락
¹⁰ AI 모델이 더 높은 성능을 갖출수록, 자신들의 후속 모델 개발 과정도 더 효율적으로 돕는 “AI가 AI를 만드는” 구도가 가속화될 가능성이 큼
¹¹ 물론 다른 국제 전략도 있겠지만, 수출 통제야말로 핵심 정책 수단 중 하나로 꼽힘
몇 주 전, 저는 중국에 대한 반도체 수출 통제를 강화해야 한다는 주장을 했습니다. 그 후 DeepSeek이라는 중국 AI 회사가 — 적어도 몇몇 측면에서는 — 더 낮은 비용으로 미국 최첨단 AI 모델의 성능에 상당히 근접해진 것으로 보입니다.
이번 글에서는 DeepSeek이 Anthropic 같은 미국 AI 회사에 위협이 되는지 여부에 대해서는 다루지 않겠습니다(개인적으로는 이들이 미국 AI 리더십에 위협이 된다는 주장의 많은 부분이 과장되었다고 보지만요)¹. 대신 DeepSeek의 공개가 칩 수출 통제 정책을 약화시키는 근거가 될 수 있는지, 그리고 저는 그렇지 않다고 생각한다는 점에 집중하겠습니다. 오히려 이 사실은 칩에 대한 수출 통제 정책이 몇 주 전보다 더 본질적으로 중요하다는 사실을 보여준다고 생각합니다².
수출 통제의 핵심 목적은 민주 국가들이 AI 개발의 최전선에서 계속 앞서가도록 하는 것입니다. 분명히 하자면, 이것은 미국과 중국 간의 경쟁을 피하기 위한 수단이 아닙니다. 궁극적으로, 미국과 다른 민주주의 국가들의 AI 기업들이 중국 기업들보다 더 뛰어난 모델을 보유해야 우리가 승리할 수 있습니다. 하지만 우리가 원하지 않아도 되는 상황에서 중국 공산당에게 기술적 이점을 넘겨줄 이유는 없습니다.
AI 개발의 세 가지 동학
본격적인 정책 논의에 앞서, AI 시스템에 관한 세 가지 기본적인 동학에 대해 간략히 설명하겠습니다.
1. 스케일링 법칙(Scaling laws)
저는 공동창업자들과 함께 OpenAI에서 근무할 당시, 모든 다른 조건이 동일하다면 AI 시스템 훈련에 더 많은 비용(혹은 규모)을 투입할수록 광범위한 인지 과제에서 점진적이면서도 전반적으로 더 우수한 결과가 나온다는 ‘스케일링 법칙’을 가장 먼저 체계적으로 보여주었습니다. 예를 들어, 어떤 모델에 100만 달러를 투입했을 때 20%의 중요한 코딩 과제를 해결할 수 있다면, 1,000만 달러로 40%, 1억 달러로 60%를 해결할 수 있다는 식입니다. 이러한 차이는 실제로는 매우 큰 의미를 지니며, 규모 10배의 차이는 학부생 수준과 박사급 수준의 차이 정도가 될 수 있습니다. 그래서 기업들은 모델 훈련에 많은 비용을 투입하고 있습니다.
2. 곡선 자체를 옮기는(Shift) 혁신
이 분야에서는 항상 대·소규모의 아이디어들이 나오는데, 이런 아이디어들은 효율성이나 효과성을 개선해 줍니다. 모델의 아키텍처(현재 모든 최신 모델이 사용하는 Transformer 구조를 조금 변경하는 식) 개선이 될 수도 있고, 기저 하드웨어에서 모델을 더 효율적으로 실행하는 방법일 수도 있습니다. 새 하드웨어 세대 또한 같은 효과를 내죠. 이를 통해 "곡선"이 상하로 평행 이동한다고 볼 수 있습니다. 예를 들어 어떤 혁신이 2배의 “계산 효율 향상(Compute Multiplier, CM)”을 가져왔다면, 예전에는 1,000만 달러로 40% 성능을 내던 것을 500만 달러로 가능하게 하고, 1억 달러로 60% 성능을 내던 것을 5,000만 달러로 가능하게 만들어 줍니다.
하지만 AI의 지적 능력이 더 높아질 때의 가치가 워낙 크다 보니, 기업들은 비용 절감분을 모델 성능 향상을 위해 다시 투자합니다. “뭔가가 처음에는 비싸다가 나중에 저렴해지면, 칩 사용량도 줄일 수 있다”는 식으로 AI를 단일 상품으로 여기는 관점이 있지만, 실제로는 ‘스케일링 곡선’을 따라 더 높은 지적 능력을 가진 모델까지 빠르게 나아가는 쪽으로 자금이 투입됩니다. 2020년, 제 팀은 알고리즘적 발전으로 인해 스케일링 곡선이 연간 약 1.68배씩 이동한다는 논문을 발표했습니다. 이후 이 속도는 훨씬 빨라진 것 같습니다. 여기에 하드웨어 개선과 효율 개선을 합치면, 현재는 연간 대략 4배 정도로 추정됩니다. 다른 추정 자료도 있습니다.
이런 훈련 곡선의 이동은 추론(inference) 비용 곡선도 함께 이동시키고, 그 결과 모델 품질이 일정하다는 전제하에 가격이 크게 하락하는 추세는 이미 수년 전부터 계속 이어지고 있습니다. 예를 들어, 15개월 전에 출시된 Claude 3.5 Sonnet은 거의 모든 벤치마크에서 GPT-4보다 우수한 성능을 보이면서, API 가격은 대략 10분의 1 수준입니다.
3. 패러다임의 전환(Paradigm shift)
때로는 확장(Scaling)하는 대상 자체가 조금 바뀌거나, 훈련 프로세스에 완전히 새로운 유형의 확장이 추가될 때가 있습니다. 2020년부터 2023년까지는 주로 대규모 사전 학습(pretraining)에 집중하는 패러다임이었습니다. 대규모 인터넷 텍스트에 대해 모델을 사전 학습한 뒤, 그 위에 아주 적은 양의 추가 훈련을 얹는 방식이었죠.
그런데 2024년에 들어와, 체인 오브 소트(Chain-of-thought) 생성 능력을 강화하기 위해 강화학습(RL)을 도입하는 방안이 새로운 초점으로 떠올랐습니다. Anthropic, DeepSeek, 그리고 다른 여러 회사들(가장 대표적으로는 9월에 o1-preview 모델을 공개한 OpenAI) 역시 이러한 방식으로 학습을 진행하면서, 수학이나 코딩 대회, 그리고 이와 유사한 논리 추론 능력 측면에서 큰 폭으로 개선된 결과를 얻었습니다.
이 새로운 패러다임은, 전통적 사전 학습 모델을 만든 뒤, 두 번째 단계로 강화학습을 추가하는 방식입니다. 중요한 점은 이 강화학습 방식이 아직 초기 단계라서, 모든 업체가 여기에 많이 투자하고 있지는 않다는 것입니다. 예를 들어, 10만 달러짜리 RL을 100만 달러 정도로 확장만 해도 성능이 크게 향상됩니다. 현재 여러 기업들이 수천만 달러, 수억 달러 규모로 이 두 번째 단계를 빠르게 확장하려 하고 있으나, 어쨌든 지금은 ‘새로운 패러다임이 도입된 초기’라 상대적으로 적은 비용으로도 큰 향상을 얻을 수 있는 시점입니다.
---
DeepSeek의 모델
위에서 설명한 세 가지 동학은 DeepSeek의 최근 모델 공개 상황을 이해하는 데 도움이 됩니다. 약 한 달 전, DeepSeek은 "DeepSeek-V3"라는 모델을 공개했는데, 이는 위의 세 번째에서 말한 첫 번째 단계 — 즉 순수 사전 학습 모델(Pretrained model)³ — 에 해당합니다. 그리고 지난주에 "R1"을 공개했는데, 이는 두 번째 단계를 추가한 것이었습니다. 외부에서 이들 모델의 모든 세부 정보를 파악할 수는 없지만, 현재까지 파악한 바는 다음과 같습니다.
DeepSeek-V3가 실제로 큰 혁신이었고, 한 달 전 그것이 공개되었을 때 주목해야 했습니다(실제로 우리는 주목했습니다). 사전 학습 모델로서, 주요 과제에서 미국 최첨단 모델들과 유사한 성능⁴을 보여주면서도 훈련 비용이 상당히 더 낮았던 것으로 보였습니다(물론 실제 코딩 업무 같은 현실적인 작업에서는 Claude 3.5 Sonnet이 여전히 훨씬 뛰어나다고 생각합니다). DeepSeek은 주로 엔지니어링 효율 개선을 통해 이를 달성했는데, "Key-Value 캐시"를 다루는 방식과 "Mixture of Experts" 기법을 이전보다 더 높은 수준으로 적용한 점이 특히 참신했습니다.
하지만 좀 더 자세히 보면:
1. DeepSeek이 “미국 AI 기업들이 수십억 달러를 들인 것과 유사한 성능을 600만 달러에 구현했다”는 식의 주장은 과장입니다. Anthropic을 예로 들면, Claude 3.5 Sonnet은 중간 규모 모델이며 수천만 달러 정도를 훈련에 사용했습니다(정확한 금액은 밝힐 수 없습니다). 또한 3.5 Sonnet은 더 크거나 더 비싼 모델을 사전에 한 뒤 축소한 방식이 아니었습니다(그런 소문이 있긴 하지만 사실이 아닙니다). Sonnet의 훈련은 912월에 훈련되었으며, Sonnet은 여전히 여러 내부 및 외부 평가에서 DeepSeek 모델보다 월등합니다. 결국 “DeepSeek이 미국 모델보다 7~10개월 정도 늦은 시점의 미국 모델과 유사한 성능을, 꽤 낮은 비용으로 만들어냈다(다만 사람들이 주장하는 만큼 극단적 차이는 아님)” 정도가 정확한 표현일 것입니다.
2. 연간 약 4배의 비용 절감 추세가 이어져 왔다고 가정하면(이는 우리가 보아온 알고리즘·하드웨어·효율 개선 등을 모두 고려한 대략적 수치), 우리가 1년 전에 만든 3.5 Sonnet/GPT-4o 정도의 모델보다 3~4배 저렴한 모델이 지금 시점에 등장하는 것은 전혀 놀라운 일이 아닙니다. DeepSeek-V3가 US 모델보다 다소 떨어진다고 할 때(가령 스케일링 곡선상 ~2배 정도 차이라고 가정), 그렇다면 DeepSeek-V3의 훈련 비용이 ~8배 정도 저렴한 것은 정상 범주라는 의미입니다. 앞서 말했듯이 3.5 Sonnet은 GPT-4보다 더 나은 모델인데, 그 추론 비용을 10분의 1로 낮추었습니다. 모든 점을 고려하면, DeepSeek이 발표한 훈련 비용이 사실이라 해도, 그들은 최대한 좋게 잡아도 ‘일반적인 추세에 부합’하거나, 혹은 그보다 못한 정도입니다. 즉 DeepSeek-V3가 LLM의 경제성을 근본적으로 바꾸는 돌파구가 아니라, 이미 예상되어 온 비용 하락 곡선의 한 지점일 뿐이라는 것입니다. 다만 지금까지는 중국 회사가 이 트렌드를 가장 먼저 시현해 본 적이 없었으므로(미국에서 먼저 해왔음) 이번 사례는 지정학적으로 의미 있는 사건이기는 합니다. 하지만 미국 기업들 역시 조만간 비슷한 비용 절감을 할 것이며, DeepSeek을 그대로 베끼는 것이 아니라 이미 자체적인 역량으로 이런 추세를 달성하고 있습니다.
3. DeepSeek이 공개한 모델에 투자한 칩이나 자금은 이들의 '대표 모델'을 훈련하는 데만 쓰인 것이 아니라, 추가적인 R&D 개발, 혹은 더 큰 규모의 모델 시험, 여러 차례의 재시도 등에 쓰였을 것입니다. 또한 보도 자료에 따르면 — 확실한지는 모르지만 — DeepSeek이 5만 장의 Hopper(엔비디아) 칩⁶을 가졌다고 하는데, 이는 주요 미국 AI 기업들이 보유한 칩 수량의 3배 적은 수준). 해당 5만 장의 Hopper 칩을 구매하는 비용만 대략 10억 달러(약 1조 원) 규모가 됩니다. 즉, DeepSeek 전체 기업 차원에서 지출한 총비용은 미국 주요 AI 연구소들과 극적으로 다르지 않을 가능성이 높습니다.
4. 스케일링 곡선이라는 것이 실제보다 단순화된 개념이라는 점도 주의해야 합니다. 모델은 저마다 강점과 약점이 다릅니다. 제가 확실히 말할 수 있는 것은 Anthropic의 모델입니다만, Claude는 코딩 능력과 사람과의 상호작용 면에서 매우 탁월합니다(개인적 조언이나 감정적인 지원 등에도 많이 쓰입니다). DeepSeek 모델은 이런 면에서 아직 비교가 되지 않습니다. 이는 스케일링 법칙만으로 설명하기 어려운 차이입니다.
R1은(지난주 공개되어 엔비디아 주가를 17% 가량 떨어뜨린 바로 그 모델) 사실 V3에 비해 기술 혁신이나 엔지니어링 관점에서 훨씬 덜 흥미롭습니다. 이는 앞서 말한 두 번째 단계, 즉 강화학습을 추가한 것인데, OpenAI가 o1 모델로 이미 보여준 방식을 재현한 것으로 보입니다(비슷한 규모로 비슷한 결과를 얻은 것으로 추정). 하지만 앞서 말했듯이, 지금은 이 새로운 강화학습 패러다임이 초기 스케일링 구간에 있는 시점이어서, 일단 뛰어난 사전 학습 모델만 있다면 비교적 적은 비용으로 이 단계를 적용해 좋은 성능을 낼 수 있습니다. 그렇기에 “한시적으로” 여러 회사들이 우수한 논리 추론 모델을 만들 수 있는 상태이지만, 모든 업체가 이 강화학습 단계에 더 많은 예산을 투입할수록 곧 격차가 다시 벌어질 것입니다.
---
수출 통제
지금까지의 내용은 결국 다음의 주장을 뒷받침하는 서론에 불과합니다. 그 주장은 바로 중국으로의 칩 수출 통제에 관한 것입니다. 위에서 제시한 사실들을 종합하면 상황은 다음과 같이 요약됩니다.
1. AI 모델의 훈련 비용 곡선은 계속 빠르게 하락하고 있습니다만, AI에 대한 경제적·전략적 가치가 매우 높기 때문에, 대형 기업들은 ‘생긴 여유분’을 더 큰 모델 훈련에 재투자해 왔고 앞으로도 그럴 것입니다. 즉, 훈련 비용 효율화로 절약된 비용이 다시 더 대규모 모델 훈련에 투입되어 궁극적으로는 ‘거의 모든 인간보다 뛰어난 범용 AI’를 목표로 하게 됩니다.
2. “거의 모든 인간보다 스마트한 AI”를 만들려면 수백만 장의 칩과 최소 수백억 달러(아니면 그 이상)가 필요하며, 2026~2027년쯤 가장 가능성이 높다고 봅니다. DeepSeek의 발표는 이 시점을 앞당기거나 늦추지는 않습니다. 그들의 모델은 이미 예상된 비용 절감 곡선상 그다지 예외적이지 않은 지점에 위치해 있기 때문입니다.
3. 따라서 2026~2027년이 되었을 때 우리는 크게 두 가지 시나리오 중 하나를 맞이할 수 있습니다.
시나리오 A(양극 세계): 미국과 그 동맹국 기업들은 수백만 장의 칩(수백억 달러 규모)을 확실히 가질 것이고, 만약 중국도 같은 수준의 칩을 확보한다면, 미국과 중국 모두 강력한 AI 모델을 보유하게 됩니다. 즉 “데이터센터 안에 천재들(거의 모든 과학·기술 문제를 빠르게 해결할 수 있는 모델들)”을 양국이 보유하게 되는 것입니다. 하지만 이 양극 상태가 안정적으로 지속될 거라는 보장은 없습니다. 초기에는 미국과 중국이 AI에서 동등한 지위를 갖는다 해도, 중국이 더 많은 인력·자본·국가적 자원을 군사적 활용에 집중한다면, 전반적인 기술·산업·군사 분야에서 중국이 우위를 확보할 수도 있습니다.
시나리오 B(단극 세계): 중국이 수백만 장의 칩을 확보하지 못할 경우, 미국과 그 동맹국만 초강력 AI 모델을 갖게 됩니다. 이 단극 체제가 언제까지 이어질지는 불확실하지만, AI 시스템이 스스로 더 뛰어난 AI를 개발하는 데 도움을 줄 수도 있기 때문에, 한시적인 우위가 장기적 격차로 이어질 가능성도 있습니다¹⁰. 따라서 이 시나리오에서는 미국과 동맹국이 전 세계적으로 압도적이고 장기적인 우위를 차지할 수 있습니다.
4. 결국 이 중 어떤 시나리오가 펼쳐지느냐는, 중국이 수백만 장의 칩을 확보할 수 있게 될지 여부에 달려 있고, 이것을 막을 수 있는 유일한 실효적 도구가 ‘수출 통제’¹¹입니다.
5. DeepSeek의 성과는 수출 통제가 실패했음을 의미하지 않습니다. 위에서 말했듯 DeepSeek은 적지 않은 칩을 보유해 왔고, 그 덕에 강력한 모델을 개발하고 훈련할 수 있었던 것입니다. 이미 그들은 미국 AI 기업들에 비해 심각하게 부족한 자원 상태가 아니었습니다. 그리고 이들이 혁신을 보인 이유가 ‘칩이 부족해서’는 아니었다고 봅니다. 그들은 이미 뛰어난 엔지니어이며, 따라서 중국이 미국에 심각한 경쟁 상대가 될 수 있다는 점을 다시 확인시켜 준 사례입니다.
6. DeepSeek은 또한 “중국이 언제든 밀수나 우회 경로로 충분한 칩을 구할 수 있다”라는 주장이나 “수출 통제가 구멍이 많아 의미가 없다”라는 증거로 볼 수도 없습니다. 사실 수출 통제의 목표는 중국이 수만 개 정도의 칩을 못 구하게 하려는 것이 아니라, 수백만 개라는 대규모 확보를 막는 것입니다. 10억 달러(1조 원) 정도의 물량은 눈속임이 가능할 수 있어도, 100억 달러(10조 원)나 그 이상 규모까지 은밀하게 밀수하는 것은 훨씬 어렵습니다. 물리적으로 칩 한두 장 정도가 아닌 엄청난 물량이 필요하기 때문입니다.
DeepSeek의 칩 보유 현황(추정)은 H100·H800·H20의 혼합이라고 하는데, 총 5만 장 규모로 SemiAnalysis가 보도했습니다. H100 칩은 2022년 수출 통제 이후 곧바로 금수 대상으로 지정되었으므로, 만약 DeepSeek이 H100을 가지고 있다면 그것은 밀수의 결과일 것입니다(엔비디아는 DeepSeek의 진전이 “수출 통제를 전적으로 준수한다”고 밝혔지만, 이것이 모든 H100이 합법적인 경로로 갔다는 의미인지는 불분명함). H800은 2023년 10월에 통제 대상이 되었으나, 그 전까지는 합법적으로 중국으로 수출이 가능했습니다. H20 칩은 훈련보다는 추론에 좀 더 효율적인데, 아직 공식적으로 금지 대상이 아닙니다(하지만 저는 이것도 금지해야 한다고 봅니다).
결과적으로 DeepSeek 칩의 상당 부분은 (아직 금지되지 않았으나 금지해야 할) 칩, 금지 전에 수출된 칩, 혹은 밀수를 통해 확보된 칩들로 추정됩니다. 이는 통제가 실시간으로 변경·보완되고 있음을 보여주며, 만약 제대로 작동하지 않았다면 DeepSeek은 훨씬 더 대규모의 H100 칩을 보유할 수도 있었을 것입니다. 우리가 이 ‘구멍’을 빨리 메운다면, 중국이 수백만 장의 칩을 확보하는 일을 막고, 단극 세계가 실현될 가능성을 높일 수 있습니다.
7. 마지막으로, 제가 여기서 “DeepSeek을 적으로 간주해야 한다”고 주장하는 것은 전혀 아닙니다. 그들을 향해 별도의 제재를 가하자는 것이 아닙니다. DeepSeek이 각종 인터뷰에서 밝힌 바를 보면, 이들은 단지 유용한 기술을 만들고 싶은 열정적이고 똑똑한 연구자들로 보입니다.
하지만 이들은 인권 유린 문제를 일으키고, 국제무대에서 공격적인 행동을 보여 온 권위주의 정부(중국 정부)에 종속되어 있습니다. 만약 중국 정부가 AI 분야에서 미국과 맞먹는 기술력을 갖게 된다면, 이들의 정책적·군사적 행동에 훨씬 더 제약이 덜 걸릴 것이 자명합니다. 수출 통제는 이를 막을 수 있는 가장 강력한 수단 중 하나이며, 기술이 더욱 강력하고 경제적 가치가 높아졌다는 이유로 규제를 푸는 것은 전혀 말이 되지 않는다고 생각합니다.
---
¹ 예: DeepSeek이 미국 AI 리더십에 얼마나 큰 위협인지에 대한 특정 기사나 평론
² 저는 이 점이 특히 군사전략적 관점에서 중요하다고 생각합니다.
³ 이번 글에서는 사전 학습(Pretraining) 모델을 “첫 번째 단계”라고 했고, RL을 통한 후속 훈련을 “두 번째 단계”라고 지칭했습니다.
⁴ DeepSeek 측이 제공하는 다양한 벤치마크 지표 결과를 고려할 때의 추정
⁵ DeepSeek이 훈련 비용으로 “6백만 달러”라고 발표했으나, 실제로는 자사 보유 칩 비용이나 R&D 예산 등이 반영되지 않았을 가능성 있음
⁶ Hopper 칩은 엔비디아가 개발한 고성능 GPU 계열로, 최근 AI 모델 훈련에 가장 많이 사용되는 하드웨어 중 하나입니다.
⁷ xAI가 자체 보유한다고 알려진 “Colossus” 클러스터와의 대략적 비교치
⁸ OpenAI의 o1 모델은 강화학습을 통한 논리 추론 및 체인 오브 소트(chain-of-thought) 능력을 개선한 모델
⁹ 실제로는 ‘수백만 장의 칩 + 안정적인 전력 및 냉각 인프라 + 전문인력·소프트웨어 스택’ 등이 함께 필요하지만, 칩이 가장 중요한 물적 자원이라는 맥락
¹⁰ AI 모델이 더 높은 성능을 갖출수록, 자신들의 후속 모델 개발 과정도 더 효율적으로 돕는 “AI가 AI를 만드는” 구도가 가속화될 가능성이 큼
¹¹ 물론 다른 국제 전략도 있겠지만, 수출 통제야말로 핵심 정책 수단 중 하나로 꼽힘
전체 0