- 대형 언어 모델이 더 많은 파라미터와 더 긴 훈련 시간으로 계속 확장되면, AI의 전반적인 능력이 향상될 것

- AI 발전이 컴퓨팅 자원의 한계로 인해 일시적으로 느려질 수 있지만, 전체적인 발전 속도는 여전히 빠를 것으로 예상

- AI의 능력 향상으로 인해 많은 인간의 작업이 AI로 대체될 수 있으며, 이는 경제와 사회에 큰 변화를 가져올 것

AGI 정의 관련 Daniel의 견해:
“제가 정의하는 AGI는 모든 인지적 과제에서 최고의 인간과 같은 수준일 것입니다.”

초지능(Superintelligence)에 대한 정의:
“초지능은 그냥 훨씬 더 나은 AGI라고 해야 할 것 같습니다”

"I personally would think that some combination of bigger models with more compute and and models that have been more specifically trained to operate in these types of environments will succeed and the question is just how long will it take to succeed I think it could totally succeed in the next 12 months but probably it will take a few more years than that because everything always takes longer than you expect"

“개인적으로 더 많은 컴퓨팅을 갖춘 더 큰 모델과 이러한 유형의 환경에서 작동하도록 더 구체적으로 훈련된 모델의 조합이 성공할 것이라고 생각하며, 문제는 성공하는 데 얼마나 걸릴 것인가입니다. 앞으로 12개월 안에 완전히 성공할 수 있다고 생각하지만 모든 것이 항상 예상보다 오래 걸리기 때문에 아마도 그보다 몇 년 더 걸릴 것입니다.”

"around 2027 in my subjective guess based on all the Benchmark extrapolations I've seen is when it feels like I can say all the current benchmarks will be saturated"

“제가 본 모든 벤치마크 추정에 근거한 주관적인 추측으로는 2027년경이 현재의 모든 벤치마크가 포화 상태에 이를 것이라고 말할 수 있는 시점입니다.”

1. 대담 참가자
- Daniel Kokotajlo: OpenAI 전 정책연구팀 연구원
- Dean W. Ball: AI 정책 전문가
- Nathan Labenz: 진행자

2. 주요 논의 사항:

AI 투명성 제안 4가지:
1) 기업들이 새로운 AI 능력 개발 시 정부와 대중에게 공개
2) AI 모델의 행동 기준과 훈련 목표를 담은 문서 공개
3) 안전성 사례와 위험 분석 결과 공개
4) 내부고발자 보호 제도 도입

3. 주요 우려사항:
- AGI(인공일반지능) 개발 시점이 2027년경으로 예상
- 현재 기업들의 안전 대책이 충분하지 않음
- AI 개발 기업들의 권력 집중 문제
- 기업 내부의 의사결정 투명성 부족

4. 제안된 해결책:
- 정부 감독과 규제 강화
- 기업의 자발적 투명성 증진
- 제3자 평가기관 설립
- 내부고발자 보호를 통한 견제

5. 결론:
두 전문가는 AI 개발의 투명성 확보가 시급하다는 점에 동의했으나, 규제의 강도와 방식에 대해서는 의견 차이를 보였습니다. Dean은 자율규제를 선호한 반면, Daniel은 더 강력한 정부 규제를 지지했습니다.

전망

1. 단기 전망 (현재~2025):
- Anthropic이 최근 기본적인 컴퓨터 사용 AI 에이전트 출시
- 현재 AI들은 아직 실수를 하고 한계가 있지만, 빠르게 발전 중
- 각 기업들이 더 큰 모델과 더 많은 컴퓨팅 파워에 투자 중

2. 2027년 경 전망:
- AGI 등장 가능성이 높은 시기로 예측
- 현재 AI 벤치마크들이 모두 포화될 것으로 예상
- GPT-4에서 2세대 정도 발전한 수준이 될 것으로 예상

3. AGI 이후 전망:
- AI가 R&D를 자동화하면서 발전 속도가 10배 이상 가속화될 수 있음
- 1년 동안 지난 10년과 맞먹는 수준의 발전이 있을 수 있음
- 컴퓨팅 파워에 대한 수요가 크게 증가할 것

4. 우려사항:
- 초기에는 실험과 실패가 허용되지만, AGI 수준에서는 실수의 대가가 너무 클 수 있음
- 현재 기업들이 이런 위험을 충분히 인식하지 못하고 있다는 우려
- 기술 발전 속도가 안전 대책 발전 속도를 앞지를 수 있음

Daniel은 1년 내에도 AGI가 등장할 가능성이 있다고 보았으나, 현실적으로는 2027년 경이 더 가능성이 높다고 전망했습니다.

1. Dean의 단기 예측:

"I think I will be able to pull up my laptop the laptop that is in front of me right now in four years and I will be able to instantiate like 10,000 very intelligent agents to go do stuff for me and they can use Computers and Tools and write code at an expert level and I believe I will be able to do that and I believe it'll be cheap for me to do that"

“4년 후에는 지금 내 앞에 있는 노트북을 꺼내서 1만 명 정도의 매우 지능적인 에이전트를 인스턴스화해 저를 대신해 일을 할 수 있을 것이고, 이들은 컴퓨터와 도구를 사용하고 전문가 수준의 코드를 작성할 수 있을 것이며, 그렇게 할 수 있을 것이라고 믿으며, 그렇게 하는 데 드는 비용도 저렴할 것이라고 믿습니다.”

- 4년 내에 현재 노트북으로도 10,000개의 매우 지능적인 에이전트를 실행할 수 있을 것
- 이 에이전트들은 컴퓨터와 도구를 사용하고 전문가 수준의 코딩이 가능할 것
- 실제 AGI가 되기 전에 초지능(superintelligence)이 먼저 올 수 있다고 봄

2. Daniel의 기술 발전 예측:
- 현재 프론티어 모델들이 이미 기업 내 연구를 가속화하고 있음
- AGI가 되면 연구개발 속도가 극적으로 가속화될 것
- 1년 동안 지난 10년과 맞먹는 발전이 있을 수 있으며, 이는 보수적인 추정임
- 실제로는 10배 이상의 발전 속도도 가능할 것으로 봄

3. 컴퓨팅 파워 관련 Dean의 전망:
- Sam Altman이 언급한 7-10조 달러 규모의 컴퓨팅 인프라 투자가 필요할 것
- 2020년대 후반에는 현재보다 더 심각한 컴퓨팅 파워 병목현상이 있을 수 있음
- 미국이 원하는 방식으로 이 컴퓨팅 파워를 활용할 수 있을지는 불확실함

Daniel은 기존 컴퓨팅 파워만으로도 이번 10년 말 이전에 초지능 수준에 도달할 수 있다고 보았고, Dean도 이 부분에 동의했습니다.