1. AGI 타임라인:
- Shane Legg(DeepMind 공동 창립자)가 2009년에 2028년에 AGI가 도달할 것이라고 예측했다고 합니다.
- 현재 세계적인 추정치는 2030년 정도라고 언급됩니다.

2. AGI에 대한 관점:
- Oriol Vinyals는 AGI라는 용어를 그다지 좋아하지 않는다고 말합니다.
- AGI 달성 여부보다는 모델이 할 수 있는 것과 할 수 없는 것의 분포가 더 중요하다고 봅니다.
- AGI 달성 시점에 대해 모두가 동의하기는 어려울 것이라고 예상합니다.

3. AI의 발전:
- 언어 모델링이 일반성을 위한 강력한 추상화라고 언급합니다.
- 다중 모달리티(텍스트, 이미지, 소리 등)를 다루는 능력이 최근의 중요한 돌파구라고 봅니다.

4. 미래 교육에 대한 조언:
- 자신의 열정을 찾고 그것이 AI와 함께 어떻게 변화할지 고려해야 한다고 조언합니다.
- AI 도구를 embrace하고 이해하는 것이 중요하다고 말합니다.

5. 긴 컨텍스트 처리:
- 무한한 컨텍스트 길이가 가까운 미래에 올 것이라고 예상합니다.
- 1-2년 내에 현재보다 10배 정도 긴 컨텍스트를 처리할 수 있을 것으로 예측합니다.

6. 추론 능력:
- 현재 모델들은 추론 능력이 있지만, 이를 더 정확하고 선명하게 만드는 것이 과제라고 언급합니다.
- 모델이 올림피아드 수학 문제를 풀면서도 기본적인 퍼즐을 못 푸는 경우가 있다고 지적합니다.

7. 보상 함수의 중요성:
- 언어 모델에서 정확한 보상 함수를 정의하는 것이 현재 주요 연구 분야 중 하나라고 합니다.
- 모델이 자체적으로 출력을 판단하고 개선하는 능력이 중요해질 것이라고 예측합니다.

8. 검색과 대화형 AI의 관계:
- 전통적인 검색과 대화형 AI가 당분간 공존할 것으로 예상합니다.
- 검색 경험이 언어 모델에 의해 크게 향상될 것이라고 봅니다.

9. 특화 모델과 일반 모델:
- 일반 모델의 발전에도 불구하고, 특정 중요한 문제(단백질 접힘, 핵융합 등)에 대해서는 여전히 특화된 모델이 필요할 수 있다고 말합니다.

superhuman 언급

1. MedPalm 2 모델:
- 이 모델이 인간 의사들보다 더 나은 성능을 보였다고 언급되었습니다.
- 특히 의사 전문가 패널과 비교했을 때 더 나은 결과를 냈다고 합니다.

2. 보상 함수 확장:
- 모델이 superhuman 성능에 도달한 후에는 보상 함수를 어떻게 확장할 것인지에 대한 논의가 있었습니다.
- 한 시점에서 기계가 인간 전문가보다 더 나은 성능을 보일 것이라고 예측했습니다.

3. 자체 평가:
- 모델이 자신의 출력을 평가하고 개선하는 능력이 중요해질 것이라고 언급했습니다.
- 이는 superhuman 성능을 달성한 후에 더욱 중요해질 수 있는 능력입니다.

모델 성능언급

1. 긴 컨텍스트 처리 능력:
- Oriol Vinyals는 모델이 1시간 분량의 비디오를 전체적으로 처리할 수 있게 되었다고 언급했습니다.

2. 처리 속도:
- 비디오를 입력으로 넣은 후 10-30초 정도면 전체 내용을 처리할 수 있다고 말했습니다.

3. 질문 응답 능력:
- 비디오 처리 후에는 해당 비디오에 대해 어떤 질문이든 할 수 있고, 모델이 답변할 수 있다고 설명했습니다.

4. 인간을 뛰어넘는 능력:
- 이러한 능력이 "초인적(superhuman)"이라고 표현했습니다.

5. 컴퓨터 비전 분야와의 비교:
- 이 능력이 기존의 컴퓨터 비전이나 비디오 질문 응답 데이터셋들을 훨씬 뛰어넘는 것이라고 평가했습니다.

6. 미래 인터페이스에 대한 시사점:
- 이러한 능력이 미래의 인터페이스를 매우 간단하게 만들 수 있다고 예측했습니다.
- 예를 들어, 카메라로 화면을 가리키고 질문하는 것만으로도 답을 얻을 수 있을 것이라고 말했습니다.

기타

1. AI의 발전 단계:
- 2010-2020년을 "딥러닝 시대"로 정의하며, 이 시기에는 알고리즘은 일반적이었지만 모델은 특정 도메인에 특화되었다고 설명합니다.
- 현재는 언어 모델링을 통해 일반성을 갖춘 모델이 등장했다고 봅니다.

2. 검색과 AI의 관계:
- AI가 전통적인 검색을 완전히 대체하지는 않을 것이라고 예측합니다.
- 대신 AI와 검색이 서로 보완하며 공존할 것으로 전망합니다.

3. 프로젝트 Aster:
- 개인의 모든 데이터를 컨텍스트로 활용하는 에이전트 형태의 AI를 언급했습니다.

4. 효율성과 계산 비용:
- 모델 훈련, 강화학습, 추론 시 계산 비용의 분배에 대해 논의했습니다.
- AlphaGo와 비교하여 현재 모델들의 계산 비용 분배가 어떻게 다른지 설명했습니다.

5. 오픈소스의 영향:
- AI 분야에 더 많은 사람들이 참여하게 되면서 필드의 크기가 커지고 있다고 언급했습니다.
- 이는 다양한 배경을 가진 사람들의 참여로 인한 것이라고 봅니다.

6. AI와 교육:
- 미래 교육에서 AI 도구를 이해하고 활용하는 것이 중요하다고 강조했습니다.