1. 컨텍스트 윈도우와 멀티모달리티의 발전
- GPT-4 이후 컨텍스트 윈도우가 8,000토큰에서 크게 확장됨
- 현재 Claude는 200,000토큰, Gemini는 2백만 토큰까지 처리 가능
- 멀티모달 기능이 크게 향상되어 이미지 인식, 음성 처리 등이 가능해짐

2. AI 사용 현황과 비용
- AI 도입이 역사상 가장 빠른 속도로 진행 중
- OpenAI의 수익이 급증하여 2024년 37억 달러, 2025년 110억 달러 예상
- AI 비용이 1000배 이상 감소하여 접근성이 크게 향상됨

3. 주요 기업들의 경쟁 구도
- Microsoft, Google, OpenAI, Anthropic 등이 주도
- 기업들이 서로 협력하면서도 경쟁하는 복잡한 관계 형성
- Meta의 오픈소스 전략이 AI 생태계에 중요한 영향을 미침

4. 안전성과 해석 가능성
- AI 모델의 내부 작동 방식을 이해하려는 노력이 진행 중
- Anthropic 등이 AI 모델의 개념과 특징을 해석하는 기술 개발
- 안전성 확보를 위한 다양한 접근 방식 시도 중

5. 향후 전망
- AI 기업들은 2-3년 내 AGI(인공일반지능) 달성 가능성 언급
- 생물학, 로보틱스 등 다양한 분야에서 AI 발전 가속화
- 규제와 거버넌스는 아직 발전 속도를 따라가지 못하는 상황

6. 도전과제
- AI 모델의 안전성과 통제 가능성에 대한 우려
- 기술 발전 속도에 비해 부족한 규제 체계
- 윤리적 문제와 사회적 영향에 대한 고려 필요

 

2025-2027년 AGI 예측
- OpenAI, Anthropic, Google 등 주요 AI 기업들은 2-3년 내 AGI 달성 가능성 언급
- John Schulman(전 OpenAI, 현 Anthropic): "내년은 아니지만, 2-3년 안에 가능"
- Anthropic의 내부 문서: "2025-2026년경 선두 기업들이 다른 기업들이 따라잡을 수 없는 수준에 도달할 수 있음"

현재-2024년
- OpenAI의 Q* 모델 등 새로운 세대의 모델 출시 예상
- 컨텍스트 길이가 지속적으로 증가할 것으로 예상
- 멀티모달 기능이 더욱 향상될 것으로 전망

2024-2025년
- 생물학 분야에서 AI가 새로운 과학적 발견을 이끌어낼 것으로 예상
- 해석 가능성(Interpretability) 연구에서 중요한 진전 기대
- 자율주행 기술의 더 광범위한 상용화 예상

다만 인터뷰에서는 이러한 예측들이 매우 불확실하며, 특히 AGI 달성 이후의 발전 속도(takeoff speed)에 대해서는 확신하기 어렵다는 점을 강조했습니다.

 

2024-2025 (단기)
- Meta의 Llama 4 훈련 예정 (100,000 H100 GPU 사용)
- 로봇공학: 가정용 휴머노이드 로봇의 초기 상용화 시도 예상
- 음성 스캠 등 AI 오용 문제 증가 우려

2025-2027 (중기)
- Tesla의 휴머노이드 로봇 대량 생산 가능성
- Gary Marcus의 예측 반박: "내 생애에 집에 들어와 커피를 만들 수 있는 로봇이 불가능하다"는 주장이 2020년대 전반에 틀릴 것으로 예상
- 뇌-컴퓨터 인터페이스: Neuralink 등의 기술이 더 보편화될 것으로 전망

2027 이후 (장기)
- AI가 인간의 언어를 통한 소통뿐만 아니라 과학적 발견도 가능해질 것으로 예상
- 자발적 뇌 수술이나 임플란트가 10년 내 일반화될 가능성
- Elon Musk: 인간보다 더 많은 수의 휴머노이드 로봇이 존재할 것으로 예측

불확실성 요소:
- 중국과의 AI 경쟁이 발전 속도에 영향을 미칠 수 있음
- 정부 규제가 18개월 내에 제대로 이루어지지 않으면 통제가 어려워질 수 있다는 우려
- 오픈소스 AI의 발전 속도가 Meta의 투자에 크게 의존적

 

"...but one way we could resolve it I think pretty conclusively is if we do a similar process on biological data you know various kinds of sequences instructs and what have you and then we start to do this interpretability and we look at these features and we're like making actual discoveries where it's like the model learned that first then we interpreted what the model is doing and then we tried to figure out what does that actually mean in reality and then we then we learned new stuff that way that I think is going to be a probably a Big Driver of biological progress and hopefully medicinal progress and would in my mind kind of resolve ... that would be a prediction for like a 2025 time frame that I think you know 2025 maybe 2026..."

여기서 Nathan은 AI 모델이 생물학적 데이터를 분석하면서 새로운 패턴이나 특징을 먼저 발견하고, 연구자들이 그 후에 모델의 발견을 해석하여 실제 의미를 이해하는 방식으로 새로운 과학적 발견이 이루어질 것이라고 예측했습니다. 이는 2025-2026년 경에 일어날 것으로 전망했으며, 이를 통해 AI가 단순히 기존 지식을 학습하는 것을 넘어 실제로 새로운 것을 발견할 수 있다는 것을 입증할 수 있을 것이라고 보았습니다.