인터뷰/예측

노엄 브라운 "초지능으로 가는 길에 가장 어려운 문제 해결"

작성자
작성일
2024-12-07 07:11
조회
1296















"...when we had it think for longer it would just do these kinds of things emergently you could it wasn't like um it wasn't like oh suddenly we have like a one but it was like oh there's indications here that it is doing things that we wanted that we were strategizing about how to enable to do these things um and it's just figuring out on its own that it should be doing these things..."


모델에게 더 길게 사고할 시간을 주었을 때 모델이 자발적으로 원하던 행동들을 하기 시작

"우리가 그런 행동을 하도록 전략을 짜고 고민했던 사항들을 모델이 알아서 수행하기 시작했으며, 이는 아주 명확한 '질적 변화'는 아니었지만 그런 징후(indications)가 나타났다"









1. AGI와 모델 발전 타임라인
- 2021년에는 AGI까지 최소 10년이 걸릴 것으로 예상했음
- 추론 컴퓨팅의 일반화가 가장 큰 과제였으나 2-3년 만에 해결
- 현재 해결되지 않은 연구 과제들도 있지만, 이미 해결한 문제들보다 어렵지 않을 것으로 전망
- 2025년에는 AI 발전이 더욱 가속화될 것으로 예상

2. O1 모델의 특징과 성능
- GPT-4와 비교했을 때 더 높은 지능을 보유
- 복잡한 연구 문제나 심층적 사고가 필요한 작업에 특히 강점
- 이미지 입력 처리 가능
- 수학과 코딩 분야에서 특히 뛰어난 성능
- 문제를 더 작은 단계로 나누어 해결하는 능력이 뛰어남
- 실수를 인식하고 수정하는 능력 보유

3. 테스트 타임 컴퓨팅의 중요성
- 현재 ChatGPT 쿼리 비용은 약 1센트
- 중요한 문제 해결을 위해서는 더 많은 비용 투자 가능
- 알고리즘 개선을 통해 효율성 향상 가능
- 향후 AI 발전의 핵심 방향이 될 것

4. AI 모델의 미래 방향
- 장기적으로는 하나의 통합된 모델이 될 것으로 예상
- 계산기 같은 단순하고 특화된 도구는 계속 존재할 것
- 모델이 필요에 따라 적절한 도구를 선택해서 사용하게 될 것
- 비디오 생성 등 멀티모달 능력도 계속 발전할 것

5. AI 연구의 현재와 미래
- 학계는 데이터와 컴퓨팅 파워 부족으로 어려움을 겪음
- 새로운 아키텍처나 접근법 연구에 집중하는 것이 바람직
- 하드웨어 발전, 특히 추론 컴퓨팅 최적화가 중요
- 로보틱스는 하드웨어 한계로 발전이 더딜 것으로 예상

6. AI의 실제 응용
- 과학 연구 분야에서의 활용이 크게 증가할 것으로 전망
- 전문가 수준을 넘어서는 도메인이 계속 늘어날 것
- 사회과학 실험이나 게임 이론 연구에도 활용 가능
- 인간 연구자의 대체가 아닌 보완재로서의 역할 강조

7. 현재 AI 개발의 관점
- 프롬프트 엔지니어링이나 스캐폴딩 기법은 과대평가됨
- O1의 중요성과 의미는 아직 충분히 인식되지 않음
- 5년 전과 비교하면 공상과학 수준의 발전을 이룸
- 테스트 타임 컴퓨트 패러다임이 많은 한계를 해결할 것으로 기대
전체 0