AGI와 범용적으로 유용한 AI를 향한 진전에는 여러 길이 있습니다. 우리가 계산 능력의 한계에 봉착했다고 말하기엔 너무 이릅니다. 할 일이 정말 많습니다!

Dan Fu, 2025년 12월 15일

며칠 전, 제 친구 Tim Dettmers는 AGI(일반 인공지능)를 향한 진전이 하드웨어와 계산상의 제약으로 인해 병목 현상을 겪고 있다는 관점의 훌륭한 블로그 게시물을 작성했습니다. 저는 이 글을 정말 좋아합니다. 지능의 근본적인 구성 요소, 특히 계산(computation)과 가용 FLOPs(초당 부동소수점 연산)의 관점에서 제1원칙(first-principles)에 입각해 분석한 글이기 때문입니다. 저는 이러한 접근 방식을 높이 평가합니다. 오늘날 눈에 보이는 병목 현상을 살펴보고 현실적인 관점을 갖는 것은 가치 있는 일입니다(단순히 지수 곡선을 그리며 그 연장선상에서 AGI가 필연적이라고 결론짓는 것보다 훨씬 낫습니다).

하지만 저는 Tim의 분석이 효율성 측면에서 우리가 현재 어디에 있는지, 그리고 시스템을 얼마나 최대한 활용하고 있는지에 대한 몇 가지 핵심적인 부분을 놓치고 있다고 생각합니다. 요컨대, 오늘날의 모델들은 하드웨어의 계산 능력이나 효율성 한계치(ceiling)에 전혀 도달하지 못했으며, 가시권 내에 적어도 한 자릿수(10배) 이상의 계산 능력이 더 남아 있습니다. 새로운 혁신, 패러다임 전환, 흥미로운 공동 설계(codesign) 기회가 열려 있다는 점은 말할 것도 없고요!

이 블로그에서 저는 오늘날 AI 시스템의 소프트웨어와 하드웨어 효율성에 훨씬 더 많은 여유 공간(headroom)이 있음을 주장하고, 앞으로 나아갈 몇 가지 경로를 제시하겠습니다. 또한, 현재 우리가 보유한 AI 시스템이 비록 모든 사람의 "AGI" 정의에 부합하지 않더라도 이미 충분히 유용하다는 점을 주장하고 싶습니다.

이 글은 세 부분으로 구성됩니다.

1. 포인트 1: 오늘날의 AI 시스템은 극도로 활용도가 낮습니다.

2. 포인트 2: 모델 품질은 하드웨어 구축의 후행 지표(Lagging Indicator)입니다.

3. 포인트 3: 유용한 AGI는 얼마나 멀리 있을까요?

즐겁게 읽어주세요!

포인트 1: 오늘날의 AI 시스템은 극도로 활용도가 낮습니다

Tim의 글에서 핵심 주장 중 하나는 오늘날의 AI 시스템이 "디지털 계산의 한계"에 도달하고 있다는 것입니다. 두 가지 전제는 오늘날의 모델(트랜스포머)이 이미 극도로 효율적이며, GPU의 발전이 정체되고 있으므로 AGI를 향한 진전이 예전과 같은 방식으로 계속되기를 기대해서는 안 된다는 것입니다.

하지만 실제 수치를 자세히 들여다보면 꽤 다른 그림이 보이기 시작합니다. **학습(Training)**과 **추론(Inference)**이라는 두 가지 각도에서 더 깊이 살펴보고, 이것이 앞으로 나아갈 길에 대해 무엇을 말해주는지 알아봅시다.

학습(Training): 오늘날의 최첨단(SOTA) 모델을 학습시키는 것은 생각보다 훨씬 덜 효율적입니다. 사실 몇 년 전보다 효율성이 약간 떨어졌습니다. 이를 확인하는 한 가지 방법은 학습 실행의 **MFU(평균 FLOP 활용률, mean FLOP utilization)**를 보는 것입니다. 이 지표는 계산이 "얼마나 효율적인지", 그리고 실제로 GPU를 얼마나 사용하고 있는지를 알려줍니다.

예를 들어, DeepSeek-V3와 Llama-4의 학습 실행은 FP8 학습에서 약 20%의 MFU만 달성했습니다(이 게시물에 DeepSeek-V3에 대한 훌륭한 분석이 있으며, Llama-4의 수치를 돌려봐도 비슷한 결과가 나옵니다). 반면, BLOOM과 같은 오픈 소스 학습 실행은 이미 2022년에 50%의 MFU를 달성했습니다.

분명히 말씀드리지만, 저는 이 모델들을 사랑합니다! 그들이 일을 못 했다고 지적하는 것이 아닙니다. 그들은 학습 실행에 대한 세부 정보가 담긴 오픈 백서를 공개하는 몇 안 되는 곳들 중 하나입니다. 커뮤니티가 어디로 계속 나아가야 할지 알 수 있도록 정보를 공개하는 것은 칭찬받아 마땅합니다.

이러한 격차는 몇 가지 요인과 관련이 있습니다. 주요 요인 중 하나는 DeepSeek-V3와 Llama-4가 모두 MoE(Mixture-of-Experts, 전문가 혼합) 모델이라는 점입니다. MoE 레이어는 밀집된(dense) GEMM 연산보다 산술 집약도가 낮기 때문에(가중치 로딩으로 인한 I/O가 많고 행렬 곱 연산이 작음), 동일한 FLOP 활용률을 달성하기가 더 어렵습니다. 결과적으로 계산량 대비 더 많은 통신(communication)이 필요합니다. 오늘날의 모델들은 GPU에서의 최대 학습 FLOP 활용을 위해 설계되지 않았습니다!

게다가 이들은 지난 세대 하드웨어에서 수행된 비교적 오래된 학습 실행들입니다. 블랙웰(Blackwell) 칩은 호퍼(Hopper)보다 FP8 처리량이 2.2배 높으며, 기본 FP4 텐서 코어(블랙웰에서 FP8 대비 4.5배 FLOPs)를 갖추고 있습니다. 또한 GB200(빠른 인터커넥트로 연결된 72개의 GPU)과 같은 랙 스케일 솔루션, 그리고 계산과 통신을 중첩(overlapping)시키기 위한 커널 설계는 오늘날 모델의 통신 병목 현상을 해결하는 데 도움이 될 수 있습니다. 만약 우리가 높은 MFU에서 효율적이고 고품질의 FP4 학습 방법을 알아낸다면, 최대 9배 더 많은 FLOPs를 사용할 수 있게 됩니다.

추론(Inference): 추론 쪽을 보면 상황은 사실 더 나쁩니다! 메가커널(megakernels)과 같은 가장 최적화된 추론 구현체들은 MFU를 지표로 사용하지도 않습니다. 대신 **MBU(최대 대역폭 활용률, maximum bandwidth utilization)**를 봅니다.

그 이유는 자기회귀(autoregressive) 언어 모델이 대개 GPU 메모리(HBM)에서 온칩 메모리(SRAM/레지스터/텐서 메모리)로 가중치를 로드하는 데서 병목 현상을 겪기 때문입니다. 가장 고도로 최적화된 구현체들은 이러한 지연 시간(latency)을 최대한 숨기는 데 초점을 맞추며, 대략 70% 정도의 MBU를 달성합니다.

이것을 MFU(연산 활용률) 관점으로 뒤집어 보면, 한 자리 수(<5%)의 FLOP 활용률에 불과합니다!

이는 물리학이나 하드웨어의 근본적인 한계가 아닙니다. 단지 우리가 처음으로 확장(scale up)한 아키텍처가 자기회귀 방식(따라서 위와 같은 한계 발생)이었다고 해서, 그것만이 유일하게 작동하는 방식이거나 범용적으로 유용한 AI를 만드는 유일한 방법이라는 뜻은 아닙니다. 이 분야는 새롭지만, 우리는 소프트웨어(모델 아키텍처, 커널 등)와 하드웨어 측면 모두에서 모든 조각을 제어할 수 있습니다!

나아갈 길: 우리가 현재 어디에 있는지 이해했다면, 진전을 이루고 하드웨어를 더 잘 활용할 수 있는 몇 가지 명확한 방법이 있습니다. 어렵긴 하지만 로켓 공학 수준은 아닙니다. 이미 다음과 같은 전선에서 진전이 이루어지고 있습니다.

• 하드웨어를 더 잘 활용할 수 있는 학습 효율적인 ML 아키텍처 공동 설계: 여기에는 훌륭한 연구들이 많지만, Simran Arora의 하드웨어 인식 아키텍처에 대한 연구와 Songlin Yang의 효율적인 어텐션에 대한 연구를 꼽고 싶습니다. 이들은 a) 좋은 품질을 낼 수 있는 트랜스포머의 변형이 많다는 것과, b) 하드웨어 활용도가 높고 확장이 잘 되는 효율적인 아키텍처를 설계할 수 있다는 것을 보여주는 밝은 사례들입니다.

• 고품질의 효율적인 FP4 학습: FP4로 학습할 수 있다면 사용 가능한 FLOPs를 두 배로 늘릴 수 있습니다(추론 쪽에서는 이미 FP4로 인한 속도 향상을 보고 있습니다). Albert Tseng과 NVIDIA의 훌륭한 논문들을 포함해 이 방향의 연구들이 이미 시작되었습니다.

• 추론 효율적인 모델 설계: 추론 시 더 많은 FLOPs를 사용하는 모델 아키텍처를 설계할 수 있다면 하드웨어 활용률을 훨씬 높일 수 있을 것입니다. Inception Labs와 Radical Numerics의 확산(diffusion) 언어 모델 연구, 그리고 Ted Zadouri의 추론 인식 어텐션 연구를 주목해 볼 만합니다. 또한 전국(및 전 세계)에 분산된 휴대폰과 노트북에는 엄청난 미개발 잠재력이 있습니다. 이를 더 많은 추론에 활용할 방법을 찾을 수 있을까요?

현재의 AI 모델 학습 레시피에는 **많은 여유 공간(headroom)**이 있으며, 위의 각 연구 방향은 이 여유 공간을 좁히고 더 나은 하드웨어 활용률을 가진 고품질 모델을 구축하는 다양한 방법을 탐구합니다. 흥미로운 점은 이러한 경로들이 실현 불가능한 이론적 아이디어가 아니라는 것입니다. 이들은 각각 구체적인 연구 의제이며 유망한 초기 결과를 보여주고 있습니다. 많은 경우 첫 번째 논문들이 이미 작성되었습니다!

포인트 2: 모델은 하드웨어의 후행 지표입니다

두 번째로 강조하고 싶은 주요 포인트는 모델 출시와 그 성능이 이미 시작된 하드웨어 구축 및 새로운 하드웨어 기능의 **후행 지표(lagging indicator)**라는 점입니다. 제1원칙에서 보면 더 명확합니다. 새로운 클러스터가 설치되는 시점, 누군가가 그 위에서 모델을 사전 학습(pretrain)하는 시점, 사후 학습(post-training)이 완료되어 우리가 실제로 API에서 모델을 사용할 수 있게 되는 시점 사이에는 시차가 존재합니다.

"모델의 진보"를 추론할 때 이 현실이 갖는 몇 가지 중요한 의미가 있습니다. 클러스터 크기와 하드웨어 세대, 두 가지에 초점을 맞춰 분석해 보겠습니다.

클러스터 크기: 여기서 다시 DeepSeek-V3를 예로 들겠습니다. 나쁜 모델이라서가 아니라, 얼마나 많은 하드웨어에서 얼마나 오랫동안 학습되었는지에 대한 세부 정보를 우리가 모두 알고 있기 때문입니다(CNBC에 나올 정도로요). DeepSeek-V3는 2024년 말, 불과 2048개의 H800 GPU에서 사전 학습되었습니다. 1년이 지난 지금도 오픈 소스 모델 환경에서 주요 플레이어입니다.

우리는 현재 훨씬 더 큰 클러스터가 구축되고 있다는 것을 알고 있습니다. 스타트업의 4만 개 규모 클러스터부터 프런티어 연구소의 10만 개 이상의 클러스터까지요. 순수하게 클러스터 크기만 놓고 보면 50배에 달하는 컴퓨팅 파워가 구축되고 있는 것입니다.

새로운 하드웨어 기능: 오늘날 우리가 사용하는 대부분의 모델은 지난 세대 하드웨어(호퍼, Hopper)에서 학습되었다는 점에서도 "구식"입니다. 새로운 하드웨어 세대는 모델이 (재)설계되어야 할 새로운 기능을 갖추고 있습니다. 가능하다면 FP4 학습은 분명히 추진해야 할 부분입니다. GB200의 랙(rack) 수준 통신 도메인(NVL72는 72개의 GPU가 빠른 NVLink로 연결됨)은 또 다른 추진 영역입니다. 이는 포인트 1에서 언급한 낮은 FLOP 활용률 문제를 해결하고 새로운 모델 설계를 탐색할 수 있는 지렛대를 제공할 것입니다.

우리는 아직 블랙웰(Blackwell) 하드웨어 주기의 아주 초기 단계에 있습니다. 목요일에 막 출시된 GPT-5.2는 GB200으로 학습된 최초의 모델 중 하나인 것으로 보입니다(H100과 H200에서도 학습된 것으로 보이지만요).

덜 분명하지만 여전히 중요한 다른 하드웨어 개선 사항들도 있습니다. 제가 이야기하기 좋아하는 것은 B200의 어텐션(attention)이 계산 병목 현상을 겪지만, 텐서 코어가 아니라 **지수 연산(exponentiation)**에 의해 병목이 생긴다는 점입니다. 이유는 간단합니다. 텐서 코어는 세대에 걸쳐 2.2배 빨라졌지만, 초월 함수 유닛(transcendental units)의 수나 속도는 그에 비례하여 증가하지 않았기 때문입니다. 다행히도 이런 문제는 해결하기 꽤 간단합니다. B300(중간 주기 하드웨어 개선판)은 초월 함수 유닛이 2배로 늘어나 병목 현상을 어느 정도 완화할 수 있습니다(물론 FP4 어텐션 같은 것은 여전히 초월 함수 유닛에 의해 병목될 수 있습니다).

이러한 하드웨어 개선에는 노력이 필요하지만, 다시 말하지만 로켓 공학은 아닙니다. 쉽게 딸 수 있는 과실(low-hanging fruit)이 널려 있습니다!

나아갈 길: 이 조각들을 이해하면, 최고의 모델을 구동하는 계산량을 늘리기 위해 앞으로 나아갈 수 있는 구체적인 방법들이 보입니다.

• 서둘러 기다리기(Hurry up and wait): 대부분의 경우 우리는 여전히 지난 세대 클러스터(심지어 매우 작은 규모의 지난 세대 클러스터)에서 사전 학습된 모델의 성능을 기준으로 삼고 있습니다. 일부는 이미 대규모 차세대 클러스터를 구축했으며, 더 많은 클러스터가 작업 중에 있습니다. 지금은 그 모델들이 나오기를 기다려야 하는 상황일 수 있습니다!

• 하드웨어별 최적화: 차세대 하드웨어 기능을 활용하는 데에도 해야 할 좋은 작업들이 있습니다. 앞서 FP4를 간단히 언급했지만, 전체 랙 스케일 도메인을 사용하도록 모델을 설계하거나, B200이나 B300의 지수 연산 병목 현상에 맞춰 어텐션을 조정하는 것 등이 있습니다.

• 새로운 하드웨어와 새로운 컴퓨팅 소스: 마지막으로 새로운 하드웨어의 확산과 이를 AI에 사용할 수 있게 만드는 소프트웨어의 발전이 있습니다. 새로운 하드웨어 플랫폼은 이제 흔해졌고(많은 수가 추론에 특화되어 있음), 특정 하나를 꼽지는 않겠습니다. 하지만 그중 하나라도 큰 영향을 미친다면 게임의 판도가 바뀝니다.

오늘날 우리가 보는 모델들은 필연적으로 오래된 하드웨어 구축 환경, 아마도 지난 세대 하드웨어에서 학습된 것들입니다. 우리는 차세대 하드웨어가 제공할 수 있는 최고의 성능을 아직 보지 못했습니다. 아직 멀었습니다!

포인트 3: 유용한 AGI는 얼마나 멀리 있을까요?

마지막으로 제가 하고 싶은 이야기는 시스템이나 AI의 계산적 측면보다는 "AGI"가 무엇을 의미하며 구체적인 영향을 미치기 위해 무엇이 필요한지에 대한 것입니다. 이 섹션을 생각하는 한 가지 방법은 이렇습니다. 만약 세상의 모든 시스템 및 효율성 발전이 멈춘다 하더라도(포인트 1과 2를 볼 때 그럴 가능성은 없지만), 유용한 "AGI 같은" 발전이 결실을 맺으려면 얼마나 더 필요할까요?

그렇다면 AGI는 정확히 무엇이며, 우리는 얼마나 왔을까요? 만약 그것이 지팡이를 휘둘러 지구상의 어떤 사람이든 할 수 있는 모든 일을 할 수 있는 요술 지팡이라면, 분명히 우리는 아직 거기에 도달하지 못했습니다. 하지만 대부분의 사람보다 특정 일들을 더 잘할 수 있고, 거대한 경제적 영향을 미칠 수 있는 유용한 도구 세트라면요? 우리는 그리 멀지 않았을지도 모릅니다.

여기서 불과 몇 년 전 우리가 어디에 있었는지 기억해보는 것이 도움이 됩니다. 오늘날 오픈 소스 및 프런티어 모델들은 몇 년 전만 해도 마법처럼 보였을 일들을 해냅니다. Together AI에서 커널 팀을 이끄는 제 본업에서, 저는 LLM이 팀 내 모든 사람의 생산성(과 성취감)을 크게 향상하는 것을 보았습니다. 개인적으로, Claude와 같은 LLM 코드 작성 도구와 Cursor Composer는 이미 제가 작성하는 코드의 대부분을 생산하는 경계를 넘어섰습니다(물론 이 블로그는 구식 방법으로 썼습니다).

커널 엔지니어링에 미친 영향 중 저를 놀라게 한 몇 가지가 있습니다.

• 이 모델들은 인간의 개입(human-in-the-loop)이 있을 때 GPU 커널 작성에 놀라울 정도로 능숙합니다. 제로 샷(zero-shot) 수준은 아니지만, 충분한 맥락 가이드가 있으면 메가커널과 같이 가장 복잡한 커널에서도 스택의 여러 부분을 건드리는 복잡한 기능을 작성할 수 있습니다. 이는 전문 프로그래머에게도 꽤 어렵고 드문 기술입니다!

• 이 모델들은 다음에 성능을 어디서 끌어올려야 할지 이해하는 데 도움이 되는 도구 작성과 시각화 구축에 훌륭했습니다. 로깅부터 워크로드 시뮬레이션, 성능 버블 시각화에 이르기까지 모든 부분에서요.

인간의 개입 통제가 있는 상황에서 현재 세대의 모델들이 스택의 더 많은 부분을 차지하는 것을 상상하는 데 큰 능력의 도약이 필요하지 않습니다. 모델들은 이미 미친 듯이 유용합니다!

잠재적인 새롭고 더 효율적인 알고리즘과 하드웨어에 접근할 수 없다 하더라도, 우리는 이미 특정 도메인의 문제 95%를 해결하거나 가속화하는 데 도움을 줄 수 있는 범용적으로 유용한 AI 에이전트와 모델을 만드는 공식을 가지고 있을지 모릅니다. 오늘날 코딩 분야가 그런 것처럼요. 적어도 데이터 수집(예: RLHF, RL 환경 구축)과 도메인 전문 지식(AI 분야의 모든 사람이 코드를 작성하고 경제적 파급력이 크기 때문에 코딩이 자연스럽게 가장 먼저 적용됨)의 적절한 혼합을 통해 다양한 문제에 적용할 수 있는 도구 모음을 우리는 가지고 있습니다.

다양한 나아갈 길: 물론 여기서 우리는 AI 연구의 주된 영역(bread and butter)으로 들어갑니다. 위의 제약 조건 하에서도 유용한 도구를 구축하는 데 도움이 될 수 있는 여러 가지 발전을 상상할 수 있습니다.

• 새로운 사후 학습(post-training) 공식: 오늘날 우리가 이해하는 "사후 학습"의 개념은 오래되었으면서도 새로운 것입니다. 현재 우리가 수행하는 정확한 방식(대량의 RLHF, 모델 테스트 환경 수집 등)에서는 새롭지만, 개념("전이 학습"은 제 박사 학위보다 오래됨)에서는 오래되었습니다. Tinker나 미세 조정(fine-tuning) API를 포함한 수많은 미세 조정 플랫폼이 존재하는 데는 이유가 있습니다!

• 더 나은 샘플 복잡도(Sample Complexity): 더 적은 데이터와 더 적은 예시로 더 잘 학습할 수 있는 학습 시스템을 구축하거나, 샘플 복잡도를 개선하기 위한 더 나은 데이터 선택 알고리즘을 식별하는 것입니다. 저는 이 분야 전문가는 아니지만, 대체로 "데이터 중심 AI"를 연구하는 분들이 이 그림을 개선하기 위해 노력하고 있습니다.

• 구식의 끈기와 도메인 전문 지식: 마지막으로, 우리가 손을 뒤로 묶고 모델이 전혀 개선될 수 없다고 가정하더라도, 오늘날의 AI 모델이 큰 영향을 미칠 수 있는 응용 분야와 도메인은 매우 다양합니다. 모델 품질을 고정하더라도, 시스템 효율성의 개선은 영향력 높은 애플리케이션을 사용할 수 있게 만드는 데 큰 차이를 만들 수 있습니다.

우리는 이 새로운 기술을 구축하고 이해하는 데 있어 여전히 아주 초기 단계에 있습니다. 실제 영향력을 위해 어떻게 적용할지 이해하는 것부터 우리를 위해 더 잘 작동하게 만드는 방법을 알아내는 것까지 할 일이 산더미입니다. 흥미진진한 시대입니다!

결론: AGI로 향하는 수많은 길

이 블로그 게시물에서 제가 하고 싶었던 요점은 현재 AI 시스템에 엄청난 여유 공간이 있으며, 이를 개선할 수 있는 다양한 방법이 있다는 것입니다. 적어도 한 자릿수(10배) 이상의 계산 능력 향상을 달성할 수 있는 구체적인 경로와 연구 의제들이 있습니다(자세한 예시들을 자세히 살펴보면, 이 블로그의 파트 1과 2에서 각각 10배씩 찾을 수 있을 겁니다).

이 블로그의 원래 동기로 돌아가서, 제가 Tim의 블로그 게시물에서 정말 높이 평가했던 점은 우리가 현재 있는 곳과 미래에 있을 곳 사이에 가로놓인 구체적인 도전 과제들을 기꺼이 직시하려는 태도였습니다. 그리고 만약 우리가 모델링과 시스템 기술을 현재 상태로 동결한다면, Tim이 지적한 자원 제약에 부딪힐 가능성도 충분히 있습니다.

하지만 우리는 그럴 필요가 없습니다. 우리는 기존 및 미래의 하드웨어를 더 잘 활용하는 새로운 모델을 공동 설계(codesign)할 수 있으며, 더 좋고 유용한 모델을 향한 많은 길을 찾을 수 있습니다. 잠재적인 장애물을 구체적으로 나열하는 것의 흥미로운 점은, 그것이 우리가 다음에 무엇을, 어떻게 해결해야 할지에 대한 로드맵을 제공한다는 것입니다.

세 가지 주요 요점을 다시 요약하자면:

1. 우리의 현재 AI 시스템은 오늘날의 하드웨어를 너무나도 활용하지 못하고 있습니다. 더 높은 FLOP 활용률과 훨씬 더 많은 "유용한 FLOPs"를 얻기 위해 더 나은 모델-하드웨어 공동 설계가 필요합니다.

2. 우리의 현재 모델은 하드웨어 구축의 후행 지표입니다. GPU의 절대적인 숫자 측면에서나 새로운 하드웨어 기능 사용 측면에서 모두 그렇습니다.

3. 오늘날의 모델을 가져와 널리 유용하게 만들 수 있는 더 나은 알고리즘들이 다양하게 상상될 수 있습니다. 위의 모든 시스템 개선 없이도 말이죠. 그리고 오늘날 우리가 가진 모델들도 이미 엄청나게 유용합니다!

물론 기술적 과제들이 있겠지만, 저는 개인적으로 이를 환영하며, 사람들이 이를 해결하면서 다음에 무엇을 내놓을지 기대됩니다. AI와 시스템 분야에서 일하기에 이보다 더 좋고 흥미진진한 때는 없었습니다!