1. AI 발전 전망:
- 근미래에 AI는 계속 발전할 것으로 예측됨
- 스타트렉처럼 영어로 명령하면 컴퓨터가 이해하고 실행하는 방식의 인터페이스가 일반화될 것

2. AI 발전의 한계 가능성:
- 학습 데이터 부족: 이미 공개된 인터넷 데이터의 상당 부분이 사용되고 있음
- 컴퓨팅 파워 한계: GPU 생산량, 에너지 소비 등의 물리적 제약 존재

3. AI 회사들의 발전 과정:
- DeepMind → OpenAI → Anthropic 순으로 "더 안전한 방식"을 추구하며 분리/설립됨
- 각 회사가 "윤리적으로 먼저 개발"한다는 논리로 AI 개발 경쟁에 참여

4. AI 안전 연구 방향:
- 해석 가능성(Interpretability) 연구: AI의 내부 작동 원리 파악
- 위험한 능력 평가: 통제된 환경에서 AI의 잠재적 위험 행동 테스트
- 암호화 기술 활용: AI 출력물에 워터마크를 삽입해 오용 방지

 

인간과 AI의 차이점:
- Aaronson은 인간의 뇌가 "복제 불가능한" 특성을 가진다고 주장합니다.
- 양자역학적 특성으로 인해 인간의 뇌 상태를 완벽히 복제하는 것은 불가능할 수 있다고 설명합니다.
- 이러한 특성이 인간의 결정에 더 큰 의미와 영구성을 부여한다고 주장합니다.

의식에 대한 논의:
- Aaronson은 많은 AI 회의론자들이 실제로는 의식(qualia, 주관적 경험)에 대해 이야기하고 싶어 하지만, 다른 용어(이해, 의도성, 접지 등)를 대신 사용한다고 지적합니다.

AI의 "거짓말" 능력:
- 언어 모델이 거짓말을 하도록 훈련될 수 있으며, 연구자들이 이를 탐지하는 방법을 개발하고 있다고 언급합니다.
- 이는 AI 안전성 연구에 중요한 함의를 갖습니다.

AI의 잠재적 위험:
- AI가 의식이 없더라도 인간보다 더 똑똑해져서 위험할 수 있다는 가능성을 언급합니다.
- 이는 AI의 경험이나 의식 여부와는 별개의 실용적인 문제라고 지적합니다.