1. 포커 AI 관련:
- 초기 3년간 알고리즘 성능을 100배 향상
- 20-30초 생각하는 시간을 추가했을 때 성능이 100,000배 향상
- 6인 포커 AI 훈련 비용이 단 150달러

2. 모델 성능 관련:
- Noam이 처음에는 성능 향상을 10배 정도로 예상했으나, 실제로는 100,000배의 향상을 보임
- AlphaGo의 경우, 뉴럴넷만으로는 최상위 인간 플레이어를 이기지 못했지만, Monte Carlo Tree Search를 더했을 때 10,000배~100,000배의 성능 향상

3. 모델 학습 관련:
- Jimmy Ba는 어려운 문제를 해결할 때마다 컴퓨팅 파워를 100배 증가시키면 불확실성이 약 절반으로 줄어든다고 설명
- 간단한 검색 문제의 경우 현재 모델은 약 4비트의 불확실성이 남아있으며, 컴퓨팅 파워를 100배 늘리면 2비트로 감소

 

발전

1. AGI 관련 Noam의 초기 관점 변화:
- 2021년 말에는 AGI가 실현되기까지 10년 이상 걸릴 것으로 회의적이었음
- 하지만 현재는 발전 경로가 더 명확해졌다고 언급

2. 자율적 AI 시스템에 대한 Jimmy의 전망:
- AI 시스템이 다국적 기업처럼 계층적 구조(인턴, 매니저, CEO 등)를 가질 것으로 예측
- 프롬프팅을 통한 상호작용이 중요해질 것으로 전망

3. 시스템 발전 방향:
- 현재는 "AlphaGo 시대"로, 인간의 지도학습(SFT)에 의존
- 다음 단계로는 "AlphaZero 시대"가 올 것으로 예측 - 인간의 개입 없이 자율적으로 학습하는 시스템

 

기타

1. 모델의 한계에 대한 논의:
- GPT-3.5는 틱택토 게임판도 제대로 그리지 못했음
- GPT-4도 여전히 불법 이동을 하거나 승리 조건을 인식하지 못하는 등의 기본적인 실수를 함

2. 연구 방향성에 대한 제안:
- AI의 사회경제적 영향에 대한 연구 필요성 강조
- 경제학자들이 AI가 실제로 구현된 세상의 경제를 연구할 필요성 제기
- AI 유머 평가 리더보드 구축 제안 (청중 호응 있었음)

3. 추론 시간 컴퓨팅의 중요성:
- 단순히 모델의 가중치를 갖는 것만으로는 불충분
- 실제 활용을 위해서는 상당한 추론 시간 컴퓨팅 파워가 필요
- 이는 AI 접근성과 활용에 중요한 정책적 함의를 가짐

4. 안전성 관련:
- 기존의 안전성 연구들이 사전학습 중심으로 이뤄졌다는 지적
- 추론 시간 컴퓨팅이 중요해지는 상황에서의 새로운 안전성 고려사항 필요