1. AGI와 AI 에이전트 발전
   • Bob McGrew는 기존에 “대화형 AI”, “코드 작성”, “이미지 생성” 등 AGI의 일부 기능이 이미 구현되어 있지만, 초기 걱정했던 “모든 일이 AI로 대체되어 인간이 쓸모없어진다”는 시나리오는 아직 실현되지 않았다고 설명합니다.
   • 그는 최근 추론(reasoning) 능력과 테스트 타임 컴퓨트(test-time compute)의 발전이 AI 에이전트가 사용자를 대신해 신뢰할 수 있는 행동을 수행할 수 있게 해줄 것이라고 봅니다.
2. OpenAI 초기 연구 경험과 스케일링 법칙
   • McGrew는 OpenAI에서 로봇공학(예: 로봇 손으로 루빅스 큐브 해결)과 게임(도타 2) 등 다양한 프로젝트를 진행하며, 큰 데이터와 경험을 통한 스케일링(scaling)이 AI 발전의 핵심임을 깨달았다고 말합니다.
   • GPT-1의 시작부터 GPT-2, GPT-3, 그리고 GPT-4에 이르기까지, 단순한 “다음 토큰 예측” 목표와 함께 대규모 데이터를 통한 학습이 AI 모델의 성능 향상을 이끌었다고 설명합니다.
3. 추론 및 에이전트의 역할 강화
   • 단순히 사전 학습(pre-training)만으로는 한계가 있으며, AI가 “더 오래 생각하도록” 하여 문제 해결 능력을 높이는 추론 능력이 중요하다고 강조합니다.
   • 이 추론 능력이 발전함에 따라, AI 에이전트가 사람 대신 복잡한 작업이나 결정을 내리는 등, 실제로 행동을 수행하는 분야에서 큰 진전을 이룰 것이라고 전망합니다.
4. 디스틸레이션과 소형 모델의 역할
   • 대형 AI 모델에서 얻은 성능을 바탕으로, 이를 더 작고 빠른 소형 모델(디스틸레이션)로 전환하는 기술이 발전 중입니다.
   • 스타트업이나 기업들은 초기에는 최고의 성능을 내는 대형 모델을 활용한 후, 실제 서비스 적용 시 비용 효율성을 위해 소형 모델로 전환하는 전략을 사용할 수 있다고 조언합니다.
5. 로봇공학과 미래 기술 융합
   • AI의 스케일링과 추론 기술 발전은 로봇공학 분야에도 큰 영향을 미칠 전망입니다.
   • 향후 5년 내에 로봇 분야에서도 “ChatGPT 모멘트”와 같은 혁신이 나타나, 물리적 로봇에 AI를 접목하여 다양한 산업 분야에서 혁신적인 변화가 일어날 것으로 기대합니다.
6. 사회와 개인에 미치는 영향
   • AI 발전은 단순한 기술 혁신을 넘어, 업무 효율화, 개인 비서 역할, 그리고 맞춤형 교육 등 다양한 영역에서 인간의 생활 방식을 변화시킬 것입니다.
   • McGrew는 AI가 사람들의 창의력과 판단력을 보조하는 도구로서, 인간 고유의 역할(예: “독창적인 천재”와 “관리자”)을 강화시킬 것이라고 낙관적인 시각을 보였습니다.

이처럼 Bob McGrew는 AI의 발전이 단순히 모델의 크기나 데이터 양에만 의존하는 것이 아니라, 추론 능력과 에이전트 기술의 발전, 그리고 이를 통한 다양한 응용 분야의 혁신으로 이어질 것임을 강조하였습니다.

 

(15:32~16:18) 성능 향상에 대한 "9의 법칙":

• 90%에서 99%로 성능을 높이거나
• 99%에서 99.9%로 성능을 높이려면
• 대략 10배(order of magnitude)의 컴퓨팅 파워가 필요하다고 언급