인터뷰/예측

Semianalysis 운영자 딜런 파텔 "2028년이나 2029년에 1e30 FLOPS 규모의 훈련이 가능해질 것"

작성자
작성일
2024-10-03 13:31
조회
1506
https://www.dwarkeshpatel.com/p/dylan-jon?open=false#%C2%A7xis-path-to-agi

중국의 AGI 전략:


  • 시진핑이 스케일링 중심적 사고방식을 가졌다면, 모든 중국계 인재를 활용하여 정보, 기술, 공급망 등을 확보하고, OpenAI와 같은 서구 기업의 기술을 탈취하려 할 것입니다.

  • 중국은 전력 및 데이터 센터 인프라 구축에 강점이 있어 미국보다 더 큰 규모의 AI 훈련 클러스터를 중앙 집중식으로 구축할 수 있습니다. 이는 미국처럼 분산된 AI 개발 환경보다 규모의 경제를 통해 더 빠른 AGI 개발을 가능하게 할 수 있습니다.

  • 수출 통제에도 불구하고 중국은 여전히 상당량의 NVIDIA GPU를 확보하고 있으며, 자체 칩 개발에도 박차를 가하고 있습니다. Ascend 910B와 같은 자체 칩 생산량을 늘리고 중앙 집중식으로 활용한다면 미국보다 먼저 1e30 FLOPS 규모의 모델 훈련이 가능할 수도 있습니다.

  • 중국은 국가 안보를 위해 반도체 산업 육성에 총력을 기울이고 있으며, 화웨이와 같은 기업은 서구의 제재에도 불구하고 놀라운 기술력을 보여주고 있습니다. 이들의 성공은 '투쟁'을 강조하는 문화와 국가적 사명감에서 비롯된 것으로 분석됩니다.

반도체 산업의 현황과 미래:


  • 반도체 산업은 고도로 전문화되고 계층화되어 있어 각 분야의 전문가조차 전체 그림을 파악하기 어렵습니다. 이는 AI를 통한 혁신적인 혁신의 가능성을 시사합니다.

  • AI 칩 수요 폭증으로 인해 2nm와 같은 초미세 공정 개발이 경제적으로 정당화되고 있습니다. AI가 없었다면 이러한 공정 개발은 수익성이 낮았을 것입니다.

  • 향후 칩 성능 향상은 공정 개선뿐 아니라 AI 기반 설계 도구를 통한 아키텍처 개선에서도 큰 비중을 차지할 것으로 예상됩니다. 특히 데이터 이동 효율을 높이는 것이 중요한 과제입니다.

  • 대만 유사시 전 세계적으로 엄청난 경제적, 기술적 타격이 예상됩니다. 자동차, 가전제품 등 거의 모든 전자제품 생산에 차질이 생길 것입니다.

AI 하드웨어 확장:


  • 2025년에는 100,000 GPU 규모의 클러스터가 일반화될 것이고, 2026년에는 다중 사이트 연결을 통해 수십만 개의 GPU를 활용하는 클러스터가 등장할 것입니다. 2028-2029년에는 1e30 FLOPS 규모의 훈련이 가능해질 것으로 예상됩니다.

  • 이러한 급격한 확장에는 막대한 자본 투자가 필요하며, OpenAI와 같은 기업은 수백억 달러 규모의 투자 유치를 계획하고 있습니다. 이는 마치 도트컴 버블과 유사한 AI 버블을 형성할 수 있습니다.

  • 전력 수요 증가는 중요한 과제이지만, 재생 에너지 및 전력망 개선을 통해 해결 가능할 것으로 예상됩니다. 가장 큰 비용은 GPU 구매이며, 전력 비용은 상대적으로 낮습니다.

Asianometry와 SemiAnalysis 시작 스토리:


  • Jon Y는 대만에서 관광 채널로 시작했던 Asianometry를 반도체, 아시아 경제사 등을 다루는 인기 채널로 성장시켰습니다.

  • Dylan Patel은 반도체에 대한 오랜 관심을 바탕으로 온라인 활동과 컨설팅을 통해 SemiAnalysis를 설립하고, 현재는 주요 기업과 투자자들에게 데이터와 분석 서비스를 제공하고 있습니다.

두 전문가는 AI와 반도체 산업의 미래에 대해 낙관적인 전망을 제시하며, 끊임없는 혁신과 투자가 중요하다고 강조했습니다. 특히 딜런은 AI 버블 가능성에도 불구하고 AGI 개발 경쟁에서 뒤쳐지지 않기 위해서는 적극적인 투자가 필수적이라는 '파스칼의 내기' 논리를 제시했습니다.

전체 0