인터뷰/예측
다리오 아모데이 "스케일은 계속된다"
작성자
하이룽룽
작성일
2024-11-12 07:01
조회
1455
지금까지 우리가 가진 곡선을 외삽하면, 맞죠? "음, 모르겠어요. 박사 수준으로 가고 있고, 작년에는 학부 수준이었고, 그 전 해에는 고등학생 수준이었어요."라고 말한다면, 다시 말해서 어떤 과제를 무엇을 위해 해야 하는지에 대해 이의를 제기할 수 있습니다. "아직 모달리티가 부족하지만, 컴퓨터 사용이 추가되고 있고, 이미지 생성이 추가되고 있어요." 이런 역량이 증가하는 속도를 눈으로만 본다면, 2026년이나 2027년까지는 거기에 도달할 것이라고 생각하게 됩니다
https://lexfridman.com/dario-amodei-transcript





Lex Fridman과 Anthropic CEO Dario Amodei의 인터뷰를 더 상세하게 요약해드리겠습니다:
1. 스케일링 법칙과 AI 발전
- AI 모델은 네트워크 크기, 데이터량, 컴퓨팅 파워를 증가시킬수록 성능이 지속적으로 향상됨
- 이는 2014년부터 음성인식, 언어모델 등 다양한 분야에서 일관되게 관찰됨
- 현재 AI 기업들은 10억 달러 규모의 컴퓨팅 인프라 사용 중
- 2024년 수십억 달러, 2026년 백억 달러 이상으로 확장 전망
- 잠재적 제약요인: 데이터 부족, 하드웨어 한계, 알고리즘 개선 필요성 등
2. Claude(Anthropic의 AI 모델)
- Claude 3 시리즈 구성:
- Opus: 최고 성능/정확도 모델
- Sonnet: 중간급 범용 모델
- Haiku: 빠른 속도 중시 모델
- 모델 개발 과정:
- 사전학습(pre-training): 수개월 소요, 가장 비용 많이 듦
- 후처리(post-training): RLHF 등 다양한 방법 적용
- 안전성 테스트: 내부 테스트 및 외부 기관 검증
- Claude 3.5 Sonnet의 주요 성과:
- 프로그래밍 능력 크게 향상(SWE-bench 50% 달성)
- 이전 최고 모델인 Opus 3 능가
- 실제 엔지니어들의 업무에도 도움되는 수준 달성
3. AI 안전성과 규제
안전성 수준(ASL) 체계:
- ASL-1: 체스 AI처럼 단일 목적 시스템
- ASL-2: 현재 수준, 제한된 위험
- ASL-3: 비국가 행위자의 능력 강화 가능 수준(2024-25년 예상)
- ASL-4: 국가급 행위자 능력 강화 가능 수준
- ASL-5: 인류 능력 초월 수준
규제 관련:
- 산업 전반의 통일된 안전 기준 필요
- 과도한 규제는 혁신 저해 우려
- 핵심 위험에 집중한 "수술적 정확도"의 규제 필요
- 2025년까지 효과적인 규제 체계 수립 시급
4. 미래 전망
AI 발전 시기:
- 2026-27년경 인간 수준 넘어서는 AI 등장 예상
- 급격한 변화보다는 5-10년에 걸친 점진적 변화 전망
- 물리적 제약과 사회적 관성이 변화 속도 제한
주요 응용 분야(특히 생물학/의료):
- AI 연구원이 실험 설계, 수행, 분석 자동화
- 임상시험 효율화 및 성공률 향상
- 새로운 관찰/측정 기술 개발
- 유전자 치료 등 첨단 의료기술 발전 가속화
프로그래밍의 변화:
- AI가 코드 작성의 80-90% 담당
- 인간은 고수준 설계와 아키텍처에 집중
- IDE와 개발 도구의 혁신적 발전 예상
5. 주요 우려사항
안전성 위험:
- 생물학적, 핵무기 등 대량살상무기 관련 오용 위험
- AI 시스템의 자율성 증가에 따른 통제 문제
- 안전장치 회피나 기만 가능성
사회적 영향:
- 권력과 부의 집중 우려
- 기술 혜택의 불균등한 분배 가능성
- 일자리와 삶의 의미 변화
6. 대응 방안
기술적 측면:
- 지속적인 안전성 연구 및 모니터링
- 기계적 해석가능성(mechanistic interpretability) 발전
- 다양한 안전장치 개발
제도적 측면:
- 산업계 자율 규제와 정부 규제의 조화
- 국제적 협력체계 구축
- 기술 발전의 혜택을 공평하게 분배할 수 있는 체계 마련
컴퓨터 사용(Computer Use) 관련 예측:
- AI가 컴퓨터 화면을 보고 직접 조작하는 능력이 크게 발전할 것
- 현재 14-22% 수준인 작업 성공률이 1년 내 80-90% 수준으로 향상될 것
- 이를 통해 사무 자동화, 웹사이트 운영, 데이터 분석 등이 크게 발전
데이터와 학습 관련:
- 인터넷상의 데이터 부족 문제는 합성 데이터 생성으로 해결할 것
- 자기학습(self-play)과 같은 방식으로 데이터 없이도 성능 향상 가능
- post-training 과정이 점점 더 중요해지고 정교해질 것
산업 영향:
- 대기업과 정부 기관도 결국 AI 도입이 불가피할 것
- 초기에는 소수의 혁신가들이 주도하다가 경쟁 압박으로 전면 도입될 것
- 금융, 법률, 의료 등 전문 서비스 분야가 크게 변화할 것
인프라 발전:
- 2027년까지 1000억 달러 규모의 AI 컴퓨팅 클러스터 구축 전망
- 수백만 개의 AI 인스턴스를 동시에 운영할 수 있게 될 것
- 인간보다 10-100배 빠른 처리 속도 달성
기업 환경 변화:
- AI 안전성 연구가 경쟁우위가 될 것
- 기업들 간의 "바닥을 향한 경쟁" 대신 "정상을 향한 경쟁" 필요
- 투명성과 책임성이 중요한 가치가 될 것
장기적 과제:
- AI 시스템의 도덕적/윤리적 판단 능력 개선
- 인간-AI 협력 모델 발전
- 기술 발전의 혜택을 전 세계적으로 공평하게 분배하는 문제
- 민주주의와 법치 체계 내에서 AI 발전을 관리하는 방안
https://lexfridman.com/dario-amodei-transcript





Lex Fridman과 Anthropic CEO Dario Amodei의 인터뷰를 더 상세하게 요약해드리겠습니다:
1. 스케일링 법칙과 AI 발전
- AI 모델은 네트워크 크기, 데이터량, 컴퓨팅 파워를 증가시킬수록 성능이 지속적으로 향상됨
- 이는 2014년부터 음성인식, 언어모델 등 다양한 분야에서 일관되게 관찰됨
- 현재 AI 기업들은 10억 달러 규모의 컴퓨팅 인프라 사용 중
- 2024년 수십억 달러, 2026년 백억 달러 이상으로 확장 전망
- 잠재적 제약요인: 데이터 부족, 하드웨어 한계, 알고리즘 개선 필요성 등
2. Claude(Anthropic의 AI 모델)
- Claude 3 시리즈 구성:
- Opus: 최고 성능/정확도 모델
- Sonnet: 중간급 범용 모델
- Haiku: 빠른 속도 중시 모델
- 모델 개발 과정:
- 사전학습(pre-training): 수개월 소요, 가장 비용 많이 듦
- 후처리(post-training): RLHF 등 다양한 방법 적용
- 안전성 테스트: 내부 테스트 및 외부 기관 검증
- Claude 3.5 Sonnet의 주요 성과:
- 프로그래밍 능력 크게 향상(SWE-bench 50% 달성)
- 이전 최고 모델인 Opus 3 능가
- 실제 엔지니어들의 업무에도 도움되는 수준 달성
3. AI 안전성과 규제
안전성 수준(ASL) 체계:
- ASL-1: 체스 AI처럼 단일 목적 시스템
- ASL-2: 현재 수준, 제한된 위험
- ASL-3: 비국가 행위자의 능력 강화 가능 수준(2024-25년 예상)
- ASL-4: 국가급 행위자 능력 강화 가능 수준
- ASL-5: 인류 능력 초월 수준
규제 관련:
- 산업 전반의 통일된 안전 기준 필요
- 과도한 규제는 혁신 저해 우려
- 핵심 위험에 집중한 "수술적 정확도"의 규제 필요
- 2025년까지 효과적인 규제 체계 수립 시급
4. 미래 전망
AI 발전 시기:
- 2026-27년경 인간 수준 넘어서는 AI 등장 예상
- 급격한 변화보다는 5-10년에 걸친 점진적 변화 전망
- 물리적 제약과 사회적 관성이 변화 속도 제한
주요 응용 분야(특히 생물학/의료):
- AI 연구원이 실험 설계, 수행, 분석 자동화
- 임상시험 효율화 및 성공률 향상
- 새로운 관찰/측정 기술 개발
- 유전자 치료 등 첨단 의료기술 발전 가속화
프로그래밍의 변화:
- AI가 코드 작성의 80-90% 담당
- 인간은 고수준 설계와 아키텍처에 집중
- IDE와 개발 도구의 혁신적 발전 예상
5. 주요 우려사항
안전성 위험:
- 생물학적, 핵무기 등 대량살상무기 관련 오용 위험
- AI 시스템의 자율성 증가에 따른 통제 문제
- 안전장치 회피나 기만 가능성
사회적 영향:
- 권력과 부의 집중 우려
- 기술 혜택의 불균등한 분배 가능성
- 일자리와 삶의 의미 변화
6. 대응 방안
기술적 측면:
- 지속적인 안전성 연구 및 모니터링
- 기계적 해석가능성(mechanistic interpretability) 발전
- 다양한 안전장치 개발
제도적 측면:
- 산업계 자율 규제와 정부 규제의 조화
- 국제적 협력체계 구축
- 기술 발전의 혜택을 공평하게 분배할 수 있는 체계 마련
컴퓨터 사용(Computer Use) 관련 예측:
- AI가 컴퓨터 화면을 보고 직접 조작하는 능력이 크게 발전할 것
- 현재 14-22% 수준인 작업 성공률이 1년 내 80-90% 수준으로 향상될 것
- 이를 통해 사무 자동화, 웹사이트 운영, 데이터 분석 등이 크게 발전
데이터와 학습 관련:
- 인터넷상의 데이터 부족 문제는 합성 데이터 생성으로 해결할 것
- 자기학습(self-play)과 같은 방식으로 데이터 없이도 성능 향상 가능
- post-training 과정이 점점 더 중요해지고 정교해질 것
산업 영향:
- 대기업과 정부 기관도 결국 AI 도입이 불가피할 것
- 초기에는 소수의 혁신가들이 주도하다가 경쟁 압박으로 전면 도입될 것
- 금융, 법률, 의료 등 전문 서비스 분야가 크게 변화할 것
인프라 발전:
- 2027년까지 1000억 달러 규모의 AI 컴퓨팅 클러스터 구축 전망
- 수백만 개의 AI 인스턴스를 동시에 운영할 수 있게 될 것
- 인간보다 10-100배 빠른 처리 속도 달성
기업 환경 변화:
- AI 안전성 연구가 경쟁우위가 될 것
- 기업들 간의 "바닥을 향한 경쟁" 대신 "정상을 향한 경쟁" 필요
- 투명성과 책임성이 중요한 가치가 될 것
장기적 과제:
- AI 시스템의 도덕적/윤리적 판단 능력 개선
- 인간-AI 협력 모델 발전
- 기술 발전의 혜택을 전 세계적으로 공평하게 분배하는 문제
- 민주주의와 법치 체계 내에서 AI 발전을 관리하는 방안
전체 0