이 강연에서 Noam Brown의 AI 연구와 관련된 여러 주제들이 다뤄졌습니다. 다음은 10개의 핵심 요약입니다.

1. **Noam Brown의 AI 게임 플레이 업적**: Brown은 OpenAI에서 활동하며 AI로 포커와 같은 전략 게임에서 인간 플레이어를 능가하는 여러 AI 시스템을 개발했습니다. 특히 2019년 포커 AI가 큰 과학적 돌파구로 인정받았습니다.

2. **포커 AI 연구 시작**: 2012년 대학원생 시절부터 포커 AI 연구를 시작했고, 이후 매년 AI 모델을 확장하고, 최적화하여 2015년 'Brains vs. AI'에서 인간 전문가를 상대로 승리를 거두었습니다.

3. **AI의 탐색(Search) 중요성**: Brown은 초기 연구에서 모델의 크기를 확장하는 것이 성능 향상에 주요하다고 여겼으나, 탐색 기술을 도입하여 훨씬 더 큰 성능 향상을 이루었다고 강조합니다. 이는 100,000배의 성능 향상에 해당했습니다.

4. **AI 확장과 탐색**: 탐색 기술의 도입으로 AI 모델의 성능이 급격히 개선되었습니다. 특히, 포커 AI가 2017년 6명 참가 포커에서 승리한 사례가 탐색의 중요성을 강조합니다.

5. **딥러닝과 탐색**: Brown은 AI가 딥러닝과 함께 탐색을 병행할 때 성능이 비약적으로 향상된다고 말하며, 게임을 넘어 다른 AI 응용 분야에도 탐색 기법을 적용할 수 있다고 언급했습니다.

6. **Hanabi와 협력 게임**: AI가 협력 게임 'Hanabi'에서 탐색 기법을 사용해 성능을 크게 향상시켰으며, 이는 포커와 같은 경쟁 게임뿐만 아니라 협력 게임에서도 탐색의 효과를 보여주는 사례였습니다.

7. **체스와 인간 모방 AI**: 체스 AI 연구에서 인간 같은 플레이를 목표로 하는 'Maya'라는 모델이 소개되었으며, 이 모델은 인간의 행동을 모방하는 데 중점을 두었습니다. 이 연구에서는 AI가 계획을 더 추가하여 성능을 개선하는 방법을 탐구했습니다.

8. **언어 기반 AI Cicero**: Brown은 외교 전략 게임 'Diplomacy'에서 자연어와 전략을 결합한 AI 'Cicero'를 개발했습니다. 이는 50,000개의 인간 게임 데이터를 바탕으로 훈련되었으며, 복잡한 자연어 전략 게임에서도 강력한 성능을 발휘했습니다.

9. **AI 확장성과 일반성**: Brown은 AI의 일반적인 확장성 문제를 해결하는 것이 중요한 도전 과제라고 언급했습니다. 현재 탐색 기법은 특정 도메인에 맞춰져 있지만, 다양한 도메인에 적용 가능한 더 일반적인 방법이 필요하다고 주장합니다.

10. **AI 연구의 방향성**: Brown은 학생들과 연구자들에게 AI 연구에서 탐색이 중요한 연구 영역임을 강조하며, AI 연구를 진행할 때 외부 검증 도구를 사용하는 도메인에서 연구하는 것이 유리할 수 있다고 제안했습니다.

이 강연은 AI가 게임과 전략 분야에서 어떻게 발전해왔는지에 대해 다루며, 특히 탐색과 계획이 AI 성능 향상에 있어 중요한 역할을 한다는 점을 강조합니다.

 

1. **포커 AI 성능 향상**: Brown은 탐색 기술을 도입했을 때, AI의 성능이 **100,000배** 향상되었다고 설명했습니다. 이 수치는 단순히 모델을 확장하는 것보다 탐색을 추가하는 것이 훨씬 더 큰 성능 개선을 가져왔음을 보여줍니다.

2. **AlphaGo와 ELO 점수**: Go AI 'AlphaGo Zero'의 ELO 점수가 약 **5,200**으로 인간 초월 성능을 나타내며, Brown은 이를 기반으로 모델 크기를 100,000배 확장해야 이러한 수준에 도달할 수 있다고 언급했습니다. AI 모델의 성능 향상을 위해 필요한 수치적 확장과 훈련의 관계를 강조한 부분입니다.

3. **탐색 기법의 성능 향상**: 협력 게임 'Hanabi'에서 탐색 기법을 추가했을 때 성능이 **72%**까지 상승했다고 설명했으며, 이는 다른 딥러닝 기반 AI보다 훨씬 높은 성능입니다.

4. **체스 AI 예측 정확도**: 체스 AI 연구에서 Brown은 계획을 추가하면 예측 정확도가 **1% 증가할 때, 모델 크기를 약 4배 늘린 것과 동일한 성능 향상**을 달성할 수 있다고 설명했습니다.

추가 언급

1. **탐색과 AI 성능 간의 상관관계**: Brown은 탐색을 통해 AI의 성능이 **100배에서 100,000배**까지 향상될 수 있다고 강조했습니다. 이는 단순히 더 많은 데이터나 더 큰 모델을 사용하는 것보다 훨씬 더 효과적인 방법이라고 설명합니다. 이 수치는 AI 연구에서 탐색의 중요성을 잘 보여줍니다.

2. **AI 성능의 학습 속도**: Brown은 ELO 점수에 대해 **120 포인트** 상승할 때마다 모델의 크기와 훈련 시간을 **2배**로 늘려야 한다는 "경험 법칙"을 언급했습니다. 이는 AI 모델의 성능 향상을 위한 계산 비용과 관련된 중요한 수치적 지표입니다.

3. **Diplomacy AI Cicero의 비용**: Diplomacy에서 자연어 전략 AI 'Cicero'는 성능을 극대화하기 위해 상당한 계산 자원을 사용했으며, 메시지 하나를 생성하는 데 **10초 이상**이 걸릴 수 있다고 언급되었습니다. 이 점은 AI 시스템의 복잡성이 커질수록 연산 비용이 크게 증가할 수 있음을 보여줍니다.

4. **다양한 도메인에서 AI의 일반화 문제**: Brown은 AI가 특정 도메인에 맞춰서 탐색과 계획이 적용되는 경우가 많았지만, 미래에는 더 **일반적인 방법론**을 개발하는 것이 중요하다고 강조했습니다. 이는 AI 연구가 특정 분야에만 국한되지 않고, 다양한 응용 분야에 걸쳐 발전할 가능성을 암시합니다.

5. **"Best of n" 전략과 성공률**: Brown은 AI가 여러 솔루션을 생성한 후 그중에서 가장 좋은 결과를 선택하는 "Best of n" 전략을 소개하며, 이 기법이 성능을 크게 향상시킬 수 있음을 강조했습니다. 특히 **수천 개의 샘플을 생성한 후 정확도를 높이는 방식**으로 성공 확률이 극적으로 증가할 수 있다고 언급했습니다.

이 외에도 Brown은 AI 연구에서 **탐색과 계획을 통해 얻을 수 있는 성능 향상의 잠재성**을 계속 강조하면서, 여러 분야에서 AI 성능을 극대화하는 방법에 대해 이야기했습니다. 다만, 구체적인 미래 예측보다는 기존 성과와 방법론에 초점을 맞추고 있습니다.