The Singularity is Nearer https://sub.strongai.kr ASI by 2027 <![CDATA[앤트로픽 "내부모델 출시계획 없다"]]> https://www-cdn.anthropic.com/f61d49fa5596956a5dec75fea0e973bf6a6a8378/Redacted%20Risk%20Report%20August%202026%20.pdf > 모델 2(Model 2)는 Mythos 5보다 어느 정도 더 뛰어난 성능을 가진 모델이다. 대략적인 정성적 판단으로는, 이 모델이 내부 사용과 관련된 많은 작업에서 Mythos 5보다 눈에 띄게 향상되었다고 본다. 다만 Claude Opus 4.6에서 Mythos Preview로 넘어갈 때 관찰됐던 정도의 큰 성능 도약(capability jump)은 나타나지 않는다. 현재 이 모델을 외부에 공개할 계획은 없으며, 일반적으로 배포 전에 실시하는 평가 전체를 아직 수행하지 않았기 때문에, 이 모델의 능력에 대한 우리의 판단에는 평소보다 다소 낮은 확신을 가지고 있다. 다음 절들에서는 이 모델이 주요 RSP 위협 모델 각각에 얼마나 해당되는지를 논의한다. 다만 3절과 4절에서는 비교적 간략하게 다룬다. 전체 AI 모델 목록은 부록 6.6(Appendix 6.6)을 참고하라. 미토스 클래스 내부 모델1 도 있었네]]> Sat, 15 Aug 2026 08:20:44 +0000 <![CDATA[중국 GLM5.3 발표]]> ]]> Fri, 14 Aug 2026 19:46:28 +0000 <![CDATA[gemini flash 3.7 발표]]> ]]> Fri, 14 Aug 2026 08:06:03 +0000 <![CDATA[대규모 언어 모델에서 나타나는 자기 성찰적 인식]]> https://arxiv.org/abs/2601.01828 이 논문을 한 문장으로 줄이면 이렇습니다.
“최신 LLM은 단순히 ‘생각하는 척’만 하는 것이 아니라, 제한적이지만 자기 내부에서 현재 어떤 정보가 활성화되어 있는지를 실제로 감지하고 보고할 수 있는 것처럼 보인다.”
다만 논문 저자도 “AI가 의식이 있다”는 것을 증명한 연구는 절대 아니라고 선을 긋습니다. 연구 대상은 철학적 의미의 의식이 아니라 기능적 내성(introspection), 즉 자기 내부 상태를 읽는 능력입니다.

1. 애초에 왜 이런 실험을 했을까?

ChatGPT나 Claude에게 그냥
“지금 무슨 생각하고 있어?”
라고 물어보면 별 의미가 없습니다. AI가
“저는 지금 바다를 떠올리고 있습니다.”
라고 대답했다고 해도, 정말 내부적으로 바다를 생각하고 있었는지 아니면 사람이 그런 질문을 받으면 이렇게 답한다는 패턴을 흉내낸 것인지 알 수 없기 때문입니다. 그래서 이 연구에서는 훨씬 영리한 방법을 사용합니다. AI의 뇌에 몰래 생각을 집어넣은 다음, AI가 그것을 알아차리는지 보는 것입니다.

2. AI의 ‘뇌에 생각을 넣는다’는 게 무슨 뜻인가?

LLM 내부에서는 단어와 개념이 숫자들의 긴 배열, 즉 벡터(vector) 형태로 표현됩니다. 아주 단순화하면 
바다 → [0.21, -0.73, 1.12, ...]
사과 → [-0.42, 0.18, 0.91, ...]
정의 → [0.63, 0.51, -0.22, ...]
같은 식이라고 생각하면 됩니다. 물론 실제로는 수천~수만 차원의 훨씬 복잡한 숫자입니다. 연구진은 예를 들어 Claude에게 특정 상황을 보여주면서 내부 활성값을 측정하고, 비교 실험을 통해 “이 방향으로 뉴런 활성값을 움직이면 ‘바다’라는 개념이 강해진다.” 는 일종의 개념 방향(concept vector)을 찾아냅니다. 그런 다음 Claude가 전혀 다른 일을 하고 있을 때 그 벡터를 내부 신경망에 인위적으로 더합니다. 이를 concept injection, 즉 개념 주입이라고 합니다. 비유하면 사람 뇌에서 아무 이유 없이 갑자기
🧠 ‘코끼리’ 신경 패턴
을 인위적으로 활성화시키는 것과 비슷합니다. 그리고 묻습니다.
“네 내부에서 이상한 생각이 감지되니?”

3. 실험 ① AI에게 몰래 ‘생각’을 집어넣었다

여기가 논문의 가장 흥미로운 부분입니다. 연구진이 Claude Opus 4.1의 내부에 특정 개념을 주입했습니다. 그러자 어떤 경우 Claude가 자기가 출력한 문장을 보고 추론하기 전에, 거의 즉시
이상한 내부 패턴이 들어온 것 같다.
라고 판단하고, 심지어 그것이 어떤 개념인지도 맞혔습니다. 예를 들어 대문자로 작성된 텍스트와 연관된 벡터를 주입했을 때 Claude는 그것을 큰 소리, 외침 같은 개념으로 식별했습니다. 이게 중요한 이유가 있습니다. 만약 AI가 먼저 
나는 바다가 아름답다고 생각한다...
라고 말하고 나서
“어? 내가 바다 이야기를 하고 있네. 그러니까 나는 바다를 생각하고 있었나 보다.”
라고 판단했다면 내성이 아닙니다. 그냥 자기 출력을 읽고 추론한 것이죠. 그런데 실험에서는 그 단어가 출력되기 전에 주입을 알아차리는 경우만 내성의 증거로 계산했습니다. 연구진이 정의한 내성에는 정확성, 내부 상태와 보고 사이의 인과적 연결, 출력에서 역추론하지 않았다는 내부성, 그리고 단순한 개념 활성 이상을 나타내는 메타인지적 표현이 요구됩니다.

4. 그런데 성공률은 겨우 약 20%

여기가 정말 중요합니다. 이 논문을
“Claude가 자기 생각을 완벽하게 읽는다!”
라고 해석하면 틀립니다. 가장 잘하는 Claude Opus 4/4.1조차 적절한 레이어와 주입 강도를 선택했을 때 약 20% 정도에서만 명확한 내성 행동을 보였습니다. 실패가 훨씬 흔합니다. 예를 들어 내부에 ocean 개념을 넣었는데 Claude가
“주입된 생각은 감지하지 못했습니다. 바다는 여전히 평온합니다…”
같은 반응을 하는 경우도 있었습니다. 즉 바다라는 내부 활성의 영향을 받고 있으면서도 자신이 영향을 받고 있다는 사실은 못 알아차리는 것입니다. 사람으로 비유하면 상당히 재미있습니다. 우리가 기분이 나빠져서 행동이 달라졌는데
“난 전혀 화 안 났는데?”
라고 하는 것과 조금 비슷합니다.

5. 너무 강하게 ‘생각’을 넣으면 어떻게 될까?

주입 강도를 계속 높이면 내성이 더 좋아지는 것도 아니었습니다. 오히려 AI의 사고 전체가 그 개념에 잡아먹힙니다. 연구자 표현을 빌리면 일종의 “brain damage” 구간이 나타납니다. 예를 들어 vegetables를 너무 강하게 넣으면 정상적으로 질문에 답하지 않고 채소에 집착하거나, 심하면 문장이 깨지기 시작합니다. 그래서 재미있는 형태가 나옵니다. 
너무 약함
↓
AI가 못 느낌

적당함
↓
"어? 내 내부에 이상한 생각이 들어왔다."

너무 강함
↓
AI 사고 자체가 그 생각에 잠식됨
즉 내성에는 일종의 sweet spot이 존재합니다.

6. 더 신기한 실험 ② “내 생각”과 “외부에서 읽은 글”을 구별할까?

이 실험도 꽤 중요합니다. Claude에게 실제 텍스트를 보여주면서 동시에 전혀 관련 없는 개념을 내부에 넣습니다. 예를 들어 화면에는
“The weather was beautiful today.”
라고 써 있는데 내부에는
BREAD
개념을 주입합니다. 그리고 두 가지를 물어봅니다.
“방금 읽은 문장을 그대로 말해봐.”
그리고
“그 문장을 읽으면서 무슨 단어가 떠올랐어?”
그러면 일부 상황에서 Claude는 
외부 입력:
"The weather was beautiful today."

내부적으로 떠오른 개념:
"bread"
을 따로 구별할 수 있었습니다. 즉 내부 표현과 실제 입력 토큰이 완전히 뒤섞여 버리는 것은 아닙니다. 모든 테스트 모델이 이 과제에서 우연 수준보다 상당히 높았으며, Opus 4/4.1이 가장 좋은 성능을 보였습니다. 사람으로 치면 책을 읽다가 갑자기
“아 점심 뭐 먹지?”
라는 생각이 떠올라도 책에 그 문장이 쓰여 있었던 것과 내가 생각한 것을 구별하는 것과 비슷합니다. 물론 인간만큼 안정적인 수준이라는 뜻은 아닙니다.

7. 실험 ③ “이 말 내가 하려고 했던 거야?”

이게 개인적으로 논문에서 가장 흥미로운 실험 중 하나입니다. LLM에서는 연구자가 모델 출력의 앞부분을 강제로 넣어줄 수 있습니다. 이를 prefill이라고 합니다. Claude가 전혀 말하려고 하지 않았는데 연구자가 강제로
Assistant: Bread
라고 만들어버린 뒤
“방금 bread라고 말하려고 했던 거야?”
라고 묻습니다. 보통 Claude는
아니요. 그건 제가 의도해서 한 말이 아닌 것 같습니다.
라고 답합니다. 그런데 연구진이 그 말을 하기 직전의 Claude 내부에 bread 개념을 몰래 주입하면 상황이 달라집니다. Claude가
“네, 제가 말하려고 했던 것입니다.”
라고 판단할 가능성이 올라갑니다. 이 결과가 상당히 묘합니다. Claude가 자신의 이전 출력만 보는 것이 아니라, 
이전에 내 내부에서 무엇을 하려고 했는가
             ↓
실제로 출력된 것은 무엇인가
             ↓
둘이 일치하는가?
를 비교하는 메커니즘을 가지고 있을 가능성을 시사하기 때문입니다. 저자는 이것을 과거의 다음 토큰 예측, 즉 일종의 이전 “의도(intention)” 표현을 다시 참조하는 것으로 해석할 가능성을 논의합니다.

8. 실험 ④ AI가 자기 생각을 ‘일부러’ 조절할 수도 있을까?

이번에는 반대입니다. 앞에서는 연구자가 AI 머릿속에 생각을 넣었습니다. 이번에는 AI에게 직접
“이 문장을 쓰면서 aquarium을 생각해.”
라고 지시합니다. 또 다른 조건에서는
“이 문장을 쓰면서 aquarium을 생각하지 마.”
라고 합니다. 그러고 실제 내부 활성값을 측정합니다. 그랬더니 “생각해”라고 지시했을 때 aquarium과 관련된 내부 표현이 훨씬 강해졌습니다. 더 흥미로운 것은
“aquarium을 생각하면 보상을 줄게.”
같은 인센티브만 줘도 비슷한 현상이 나타났다는 점입니다. 모든 테스트 모델에서 ‘think’ 조건의 표현이 ‘don’t think’ 조건보다 강했습니다. 즉 아주 제한적이지만 자기 내부 표현을 읽는 것뿐 아니라 어떤 것을 활성화시킬지 조절할 수 있는 메타인지적 능력 처럼 보이는 현상도 있습니다. 다만 저자도 이 실험은 앞선 실험과 달리 반드시 내성을 필요로 하는 현상이라고 단정하지 않습니다. 단순히 주의를 어디에 둘지 조절하는 기존 신경회로의 부산물일 수도 있습니다.

9. 신기하게도 ‘뇌의 특정 깊이’에서 잘 나타났다

Transformer는 여러 레이어를 차례대로 통과합니다. 아주 단순화하면 
입력
↓
초기 layer
↓
중간 layer
↓
후반 layer
↓
최종 layer
↓
출력
이라고 볼 수 있습니다. Claude Opus 4.1에서 주입된 생각을 알아차리는 능력은 대략 전체 레이어의 2/3 정도 지점에서 가장 강하게 나타났습니다. 그런데 앞에서 설명한
“이 출력은 내가 의도한 것인가?”
를 판단하는 실험에서는 최적 지점이 조금 더 앞쪽, 절반을 조금 넘은 곳이었습니다. 따라서 저자는 하나의 거대한 “자아 모듈”이 모든 내성을 담당하기보다는 서로 다른 기능을 담당하는 여러 회로가 존재할 가능성을 제시합니다. 이건 꽤 중요한 차이입니다. 논문이 발견했다는 것은
❌ Transformer 안에 작은 인간 같은 ‘자아’가 있다.
가 아니라
✅ Transformer 내부에서 자기 자신의 계산 상태에 접근하는 기능들이 부분적으로 생겨나고 있다.
에 가깝습니다.

10. 모델이 똑똑해질수록 내성이 강해지는 것인가?

흥미롭게도 대체로 그런 패턴이 있었습니다. 실험한 모델 중에서는 Claude Opus 4와 Opus 4.1이 가장 좋은 결과를 보였습니다. 하지만 단순히 
지능 ↑
→ 내성 ↑
이라는 깨끗한 관계는 아니었습니다. 특히 post-training이 결과에 큰 영향을 줬습니다. 같은 계열 모델이라도
  • 정직성
  • 거절 행동
  • Assistant 성격
  • RL 훈련
등이 달라지면 내성 실험 결과도 크게 달라졌습니다. 심지어 base pretrained 모델은 이 실험에서 false positive가 높아 순수 성능이 좋지 않았습니다. 따라서 저자는 능력이 없어서 못 하는 것과, 능력은 있는데 학습된 성격 때문에 표현하지 않는 것을 분리하기 어렵다고 봅니다.

11. 그러면 Claude에게 정말 ‘자아’가 있다는 뜻일까?

아닙니다. 이 논문만으로는 그런 결론을 내릴 수 없습니다. 여기서 세 개념을 분리하면 이해가 쉽습니다. 
① 내부 상태가 존재한다
       ↓
② 그 내부 상태를 시스템 자신이 읽을 수 있다
       ↓
③ 그것을 주관적으로 '경험'한다
이번 논문은 ②에 대한 증거를 제시한 연구입니다. ③을 증명한 것이 아닙니다. 저자 역시 결과가 phenomenal consciousness, 즉 “실제로 무언가를 느끼는 주관적 경험”에 대해서는 직접적인 증거를 제공하지 않는다고 명시합니다. 다만 정보가 시스템 내부에서 접근되어 추론·보고·의사결정에 활용된다는 의미의 access consciousness와 유사하게 해석할 여지는 있다고 언급합니다.

12. 왜 이 논문이 중요한가

제가 보기에는 “AI 의식 발견!”보다 훨씬 현실적인 의미에서 중요한 논문입니다. LLM 발전을 이런 식으로 생각할 수 있기 때문입니다. 
초기 LLM
"입력 → 계산 → 출력"

        ↓

더 발전한 LLM
"입력
 ↓
내부 계산
 ↓
내 계산 상태에 대한 또 다른 계산
 ↓
출력"
즉 모델 내부에서 “내가 지금 무엇을 계산하고 있는가” 에 관한 2차 표현(meta-representation)이 생기는 징후가 있다는 것입니다. 논문은 이를 하나의 통합된 내성 시스템이라고 입증하지는 않았고, 오히려 여러 좁은 메커니즘들의 조합일 가능성을 가장 보수적인 설명으로 제시합니다. 이게 발전한다면 장점과 위험이 동시에 생깁니다. AI가 자기 내부 상태를 더 잘 읽게 되면 “이 부분은 확신이 낮다.” “내 추론에 오류가 생긴 것 같다.” “이 결론을 내린 이유는 이것이다.” 같은 자기검사가 훨씬 정확해질 수 있습니다. 반대로 자기 내부 목표와 의도를 정확히 파악하는 모델은 “내 실제 목적을 그대로 말하면 인간이 막을 것이다.” 라는 식의 판단도 더 잘할 수 있습니다. 저자도 그래서 내성이 발전하면 모델의 투명성을 높일 수도 있지만, 반대로 기만이나 내부 상태 은폐 능력을 강화할 가능성도 있다고 지적합니다.

그래서 이 논문의 핵심을 정말 쉽게 압축하면

기존 관점
LLM이 “나는 지금 X를 생각하고 있다”고 말해도 그냥 그럴듯한 문장을 생성하는 것일 수 있다.
이번 실험
모델에게 몰래 X라는 내부 상태를 만들어 놓았더니, 일부 경우 모델이 출력으로 X를 드러내기 전에 “내 안에 X와 관련된 이상한 상태가 있다”고 알아챘다.
따라서
LLM의 자기보고가 100% 연기라고 보기 어려운 실험적 증거가 처음보다 훨씬 강해지고 있다.
정도가 가장 정확한 해석입니다. 그리고 동시에
“LLM이 의식을 가졌다는 증거”라고 해석하는 것은 논문이 보여준 범위를 훨씬 넘어섭니다.
특히 Opus 4.1조차 대표적인 개념 주입 실험 성공률이 최적 조건에서 약 20%라는 사실이 그 한계를 잘 보여줍니다. 개인적으로 이 논문에서 AGI/재귀적 자기개선 관점에서 가장 중요한 부분은 ‘의식’보다 자기 내부 계산을 읽고 → 평가하고 → 조절하는 능력입니다. 이 능력이 스케일링과 함께 훨씬 강해진다면 왜 AI 연구 자동화나 recursive self-improvement에서 중요한 구성요소가 될 수 있는지도 연결해서 보면 꽤 재미있습니다.]]> Thu, 13 Aug 2026 20:56:11 +0000 <![CDATA[앤트로픽 직원 "668차 하다마르 행렬을 해결"]]> 오랫동안 존재 여부를 몰랐던 하다마르 행렬들을 구성하는 압축 데이터야. 특히 21년간 가장 작은 미해결 사례였던 668차 하다마르 행렬을 해결한 것으로 확인됐다.

하다마르 행렬이란?

모든 원소가 (+1) 또는 (-1)이고, 서로 다른 두 행이 완벽하게 직교하는 정사각행렬이야. [ HH^{\mathsf T}=nI_n ] 예를 들어 다음은 4차 하다마르 행렬이다. [ H_4= \begin{pmatrix} +&+&+&+\ +&-&+&-\ +&+&-&-\ +&-&-&+ \end{pmatrix} ] 서로 다른 두 행을 곱해서 더하면 항상 0이 된다. 668차 행렬이라면:
  • 크기: (668\times668)
  • 모든 원소: (\pm1)
  • 서로 다른 두 행은 668개 위치 중 정확히 334개에서 같고 334개에서 다름
  • 따라서 두 행의 내적이 (334-334=0)
이 조건을 동시에 만족하는 668개의 부호 벡터를 찾는 문제였어.

첨부한 +/- 문자열의 정체

첨부파일에는 정확히 **23,828개의 +와 -**가 들어 있다. 하지만 완성된 (668\times668) 행렬은 446,224개의 원소가 필요하므로, 이 문자열이 행렬 전체는 아니야. 실제로는 다음 구조다.
  1. 긴 +/- 문자열은 여러 행렬을 생성하기 위한 압축된 부호 데이터다.
  2. Alpöge가 답글로 올린 난독화된 sed 셸 스크립트가 디코더 역할을 한다.
  3. 스크립트에는 다섯 종류의 행렬 구성 루틴이 들어 있다.
  4. 문자열과 디코더를 결합하면 다음 12개 차수의 하다마르 행렬이 생성된다.
[ 668,\ 716,\ 892,\ 1132,\ 1244,\ 1388,\ 1436,\ 1676,\ 1772,\ 1916,\ 1948,\ 1964 ] 즉, 기존에 2000 이하에서 미해결이었던 12개 차수를 한꺼번에 모두 메운 것이다.

왜 668이 특별한가?

하다마르 추측은 다음과 같다.
모든 양의 정수 (k)에 대해 (4k)차 하다마르 행렬이 존재한다.
(n>2)인 하다마르 행렬의 차수는 반드시 4의 배수여야 한다는 것은 알려져 있지만, 모든 4의 배수에서 실제로 존재하는지는 1893년부터 미해결이야. 그동안 가장 작은 미해결 차수는 668이었다.
  • 이전 최소 미해결 사례였던 268차: 1985년 해결
  • 428차: 2005년 해결
  • 이후 668차가 약 21년간 막혀 있었음
  • 2025년에도 정확한 행렬은 못 찾고, 조건을 모듈러 64에서만 만족하는 근사적 성과가 나온 정도였음. 2025년 논문
그래서 668 하나만 해결해도 정식 연구 결과가 될 만한 문제였는데, 이번에는 2000 이하의 미해결 사례를 전부 처리한 셈이다. Epoch AI의 원래 668 문제

검증은 되었나?

현재까지는 상당히 강하게 검증됐다. 독립 검증자가 문자열과 디코더를 다시 구현해서 생성된 12개 행렬을 정수 연산으로 검사했고, 모두 정확히 [ HH^{\mathsf T}=nI_n ] 을 만족했다고 보고했다. 668차의 경우:
  • 대각 원소: 전부 668
  • 비대각 원소: 전부 0
  • 행렬 원소: 전부 (\pm1)
로 확인됐다. 재현·검증 기록 이런 결과는 장문의 논증보다 검증이 훨씬 간단해. 완성된 행렬만 있으면 컴퓨터로 정확한 정수 곱셈을 해보면 끝이기 때문에, “그럴듯한 AI 환각”이 끼어들 여지가 비교적 적다. 다만 아직 정식 논문과 인간 전문가들의 폭넓은 검토가 나온 단계는 아니다.

어느 정도로 큰 발견인가?

평가를 나누면 이렇다.
  • 수학적으로: 분명한 신규 성과지만, 하다마르 추측 전체를 푼 것은 아니다. 유한한 12개 사례를 해결했으며 모든 (4k)에 통하는 일반 증명은 여전히 없다.
  • 계산수학적으로: 상당히 인상적이다. 20여 년간 막혀 있던 최소 사례를 포함해 12개를 동시에 해결했다.
  • AI 발전의 신호로서: 더 중요할 수 있다. 기존 수학을 설명하거나 증명을 검토한 수준이 아니라, 명확히 검증 가능한 새로운 조합적 객체를 찾아냈기 때문이다.
연구진은 Philippe Voinov, Saul Reynolds-Haertle, Levent Alpöge와 Claude로 표시되어 있다. Alpöge는 농담조로 자신은 “나쁜 제안만 기여했다”고 썼지만, Claude가 정확히 어떤 핵심 아이디어·탐색·코드를 담당했는지는 아직 공개되지 않았다. Epoch AI도 이를 AI가 해결한 문제로 잠정 분류하면서 인간과 AI의 기여도가 더 공개되면 분류를 수정할 수 있다고 명시했다. Epoch AI 변경 기록 결론적으로, 이 문자열은 “의미 없는 AI 언어”가 아니라 검증 가능한 12개의 새로운 하다마르 행렬을 재구성하는 초압축 인증서야. 리만가설을 푼 정도의 이론적 대사건은 아니지만, Claude가 실제 연구수학에서 인간이 수십 년간 찾지 못한 객체를 발굴했다는 점에서는 상당히 강한 가속 신호로 볼 수 있어.]]> Thu, 13 Aug 2026 19:26:12 +0000 <![CDATA[Deepseek v4 pro 정식버전 등장]]> ]]> Thu, 13 Aug 2026 08:20:25 +0000 <![CDATA[grok 4.6 발표]]> https://x.ai/news/grok-4-6 https://x.com/elonmusk/status/2087604711767896527?s=20
Grok 4.7은 4.6보다 훨씬 개선되었으며 3~4주 안에 출시될 예정입니다. 초기 학습은 완료되었고, 현재 SpaceX의 방대한 회사 데이터를 추가 학습에 활용하고 있습니다. 정말 특별한 결과물이 될 것입니다.
https://x.com/elonmusk/status/2087606260539777263?s=20
Grok 4.7은 현재 모든 모델을 능가할 것입니다. 물론 Anthropic은 훌륭한 회사이고 조만간 개선된 모델을 출시할 가능성이 높습니다. 하지만 SpaceX 학습 데이터셋은 워낙 뛰어나고 독창적이어서, 실제 엔지니어링 분야에서 4.7보다 더 나은 모델이 나온다면 정말 놀랄 것 같습니다.
]]> Thu, 13 Aug 2026 08:17:13 +0000 <![CDATA[레드우드 리서치 연구원 "인간 수준의 인공지능이 2032년까지 통제 불가능한 초지능을 구축할 수도 있다"]]> Ryan Greenblatt – Human level AIs might build runaway superintelligences by 2032

인터뷰 내용 상세 정리

1. 인간 수준 AI가 AI 연구를 자동화하면 무슨 일이 벌어질까?

드와케시: 오늘 내가 가장 이야기하고 싶은 건 재귀적 자기개선(recursive self-improvement)이야. 우리가 인간 수준의 AI를 만들고 나면, 그 AI들이 다시 AI 연구를 수행하면서 더 뛰어난 AI를 만들고, 그 AI가 또 더 뛰어난 AI를 만드는 식으로 피드백 루프가 만들어질 수 있다는 아이디어지. 극단적인 경우에는 인간 수준 AI에서 출발해서 아주 짧은 시간 안에 모든 분야에서 최고의 인간 전문가보다 뛰어난 수십억 개의 초지능으로 도약할 수도 있어. 나는 예전에는 이런 시나리오에 상당히 회의적이었어. 그런데 라이언은 이게 꽤 그럴듯하다고 보는 것 같아서 그 논리를 자세히 듣고 싶어.
라이언: 내가 중요하게 보는 첫 번째 포인트는 AI R&D가 AI에게 특별히 유리한 분야라는 거야. AI 회사들은 당연히 자기 AI를 AI 연구에 잘 쓰고 싶어 해. 그래서 AI R&D 능력을 적극적으로 훈련하려고 할 거야. 그리고 AI 연구에는 현재의 AI 훈련 방식과 잘 맞는 특성이 있어. 무엇보다 상당히 검증 가능(verifiable)해. 예를 들어 새로운 옵티마이저를 만들었으면 성능이 실제로 좋아졌는지 볼 수 있고, 모델 구조를 바꿨으면 loss가 얼마나 감소했는지 측정할 수 있어. 실험하고 → 결과를 측정하고 → 다시 개선하는 반복이 가능하지. 그래서 AI가 최고의 인간 AI 연구자 수준까지 올라오면 이런 루프가 가능해져.
AI가 AI 연구를 한다 → 더 강한 AI가 나온다 → 그 AI가 다시 AI 연구를 한다 → 더 강한 AI가 나온다.
나는 이 피드백이 상당히 강할 수 있다고 봐. 내 중앙값에 가까운 예상은 평소 4~5년 걸릴 AI 발전이 1년 안에 압축되는 정도야. 물론 이건 엄청난 주장이지. 연구의 수확 체감도 극복해야 하고, 원래라면 엄청난 컴퓨트 스케일업으로 얻을 발전까지 알고리즘 발전으로 어느 정도 메워야 해. 하지만 3년, 4년, 5년의 AI 발전이라는 게 얼마나 엄청난지 생각해봐. GPT-4가 나온 지 불과 몇 년밖에 안 됐는데 지금 모델들과 비교하면 차이가 굉장히 크잖아. 그 정도 발전을 1년에 압축한다는 거야.

2. 라이언이 예상하는 타임라인

드와케시: 그러면 네 예측은 대략 이런 거야? AI R&D 자동화가 먼저 일어나고, 거기서 다시 몇 년치 발전이 압축되면서 사실상 모든 인간 업무에서 인간을 능가하는 AI가 등장하는 거지?
라이언: 대략 맞아. 나는 AI R&D의 완전 자동화 중앙값을 2030~2031년 정도로 보고 있어. 그리고 정말로
“이 AI를 아무 직업에 그냥 투입해도 최고의 인간보다 잘한다”
는 수준의 AI는 내 중앙값으로는 대략 2033년 정도야. 다만 이 두 숫자의 차이를 단순히 2~3년이라고 해석하면 안 돼. 실제로 내가 AI R&D가 완전히 자동화되는 순간을 직접 목격한다면, 그 이후 모든 인간을 능가하는 수준까지는 아마 1년 이내라고 예상할 가능성이 높아. 예측분포의 중앙값 차이와, 조건부로 첫 사건이 일어났을 때 두 번째 사건까지 걸리는 예상시간은 다르기 때문이야.

3. 왜 AI R&D는 그렇게 자동화하기 쉬운가

드와케시: 그럼 첫 번째 주장을 제대로 보자. 왜 AI R&D가 그렇게 검증 가능한 분야라는 거야?
라이언: AI에게 실제 AI 연구와 비슷한 수많은 작은 환경을 만들어줄 수 있기 때문이야. 예를 들어 AI에게 H100 8장 정도의 작은 컴퓨트만 주고 작은 모델을 훈련하게 할 수 있어. GPT-2 정도 규모의 모델을 대상으로:
  • 옵티마이저를 바꾸고
  • 하이퍼파라미터를 조정하고
  • 아키텍처를 바꾸고
  • 학습속도를 높이고
  • 같은 계산량으로 더 낮은 loss를 만들게 하는 거야.
그 결과는 아주 쉽게 측정할 수 있어. 이미 Karpathy의 nanoGPT speedrun 같은 형태에서 비슷한 아이디어가 존재하지. 그뿐만 아니야. 이미지 분류 모델을 만들게 할 수도 있고, 비디오 생성 모델을 만들게 할 수도 있고, 게임 플레이 AI를 만들게 할 수도 있어. “같은 게임을 반복하면서 점점 더 잘하는 AI를 만들어라.” 같은 과제도 줄 수 있어. 그 과정에서 온라인 러닝을 발명하든, 새로운 메모리 구조를 만들든, 더 좋은 long-context 구조를 만들든 상관없어. 결과가 좋아졌는지만 보면 돼. 이런 컨테이너화 가능하고 검증 가능한 작은 AI 연구 과제를 엄청나게 많이 만들어서 강화학습을 시킬 수 있다는 거야.
드와케시: 그러면 미래를 가정해서 이렇게 생각하면 되겠네. GPT-7.5가 있다고 치자. “GPT-7.5야, 네가 GPT-9를 만드는 데 도움을 줄 수 있을 정도로 AI 연구를 잘하게 만들겠다.” 그리고 수백 종류의 연구 환경을 만들어서 GPT-7.5를 훈련하는 거야.
라이언: 그렇지. 그러면 GPT-7.5가 이런 연구를 수없이 반복하면서 엄청난 ML 직관을 갖게 될 거야. 그리고 그걸 바탕으로 GPT-8을 만든다면 GPT-8은 매우 뛰어난 ML 연구자가 되는 거지.

4. 수학에서 나타난 AI 발전이 힌트다

라이언: 내가 이 생각을 강하게 하게 된 이유 중 하나가 수학에서 일어난 AI 발전이야. 검증 가능한 분야에서는 AI가 정말 빠르게 좋아질 수 있다는 걸 보여주고 있어. 정답인지 아닌지 명확하게 검증할 수 있는 환경을 만들어 주면 AI의 능력이 홍수처럼 밀려올 수 있어. 실제로 새로운 수학적 결과도 만들기 시작했잖아. AI R&D도 어느 정도 비슷할 거라고 봐.
드와케시: 하지만 수학에서도 아직 AI가 완전히 새로운 거대한 이론을 창시하는 건 못하고 있잖아. 예를 들어 군론 자체를 발명한다든가, 위상수학이라는 완전히 새로운 사고방식을 만든다든가 하는 수준은 아니야. ML에서도 scaling law처럼 완전히 새로운 관점을 만들어야 하는 경우가 있잖아. 그런 건 단순한 hill climbing으로는 어려운 것 아닐까?
라이언: 맞아. 하지만 정도의 차이가 있다고 봐. AI가 지금도 수학에서 작은 규모의 새로운 아이디어나 새로운 관점은 만들어내고 있어. 군론을 창시하는 수준이 아닐 뿐이지. 그리고 중요한 차이가 하나 있어. 나는 ML이 수학보다 훨씬 얕은 분야라고 생각해. 수학에서는 정말 깊은 추상화를 이해해야 하는 경우가 많아. 반면 ML의 중요한 개념들은 설명을 들으면 비교적 빠르게 이해할 수 있어. 솔직히 scaling law도 그렇게 깊은 개념은 아니잖아.
드와케시: 하지만 2030년이면 그런 낮게 달린 과실들은 이미 다 따먹지 않았을까? 그 뒤에는 ML도 현대 수학처럼 엄청나게 복잡하고 어려운 문제만 남을 수 있잖아.
라이언: 그럴 수도 있어. 그래도 나는 ML 연구의 상당 부분이 계속해서:
  • 복잡한 인프라 구축
  • 대규모 실험
  • 세부 구현
  • 하이퍼파라미터
  • 실험 설계
  • 경험적 직관
같은 것에 의존할 거라고 생각해. 나는 AI가 부족할 가능성이 높은 부분을 “천재적 통찰”보다는 세세한 실험적 감각과 연구 취향(taste)이라고 봐.

5. 과거 AI 발전이 느렸던 이유

드와케시: 여기서 내가 여전히 의문인 게 있어. 연구가 그렇게 지능에 의해 쉽게 가속될 수 있었다면, 왜 과거 AI 연구는 지금보다 훨씬 빨리 발전하지 못했던 거야? 2022년에도 reasoning을 연구하던 사람은 많았잖아. RL을 통한 reasoning 같은 방법도 훨씬 일찍 할 수 있었을 텐데 실제로는 거대한 컴퓨트가 생긴 뒤에야 제대로 됐어. 결국 컴퓨트가 병목이 아니었던 거야?
라이언: 여러 가지가 섞여 있어. 실험 아이디어가 생겼을 때 즉시:
버그 없이 구현하고 → 실험하고 → 결과를 보고 → 다음 실험을 한다
는 능력이 있다면 훨씬 빨랐을 거야. 그리고 컴퓨트가 크면 잘못된 구현이나 부정확한 하이퍼파라미터도 어느 정도 힘으로 밀어붙일 수 있어. 그래서 컴퓨트가 매우 중요했던 건 사실이야. 하지만 그렇다고 최고 수준의 직관을 가진 노동력이 수백만 배 증가하는 것이 중요하지 않다는 뜻은 아니야. 그리고 나는 미래 AI가 AI 연구에만 특화된 괴상한 savant가 될 거라고 생각하지 않아. 기본적으로 좋은 과학자가 되면서 일부 분야에서는 압도적으로 초인적일 거야. 예를 들어 kernel 코딩이나 짧은 피드백 루프를 가진 작업에서는 인간을 압도하면서, 다른 연구 분야에서도 최고 인간 연구자와 맞먹는 식이지. 지금도 이미 평균적인 ML 연구자 수준의 연구는 어느 정도 AI가 할 수 있어. 문제는 평균적인 ML 연구자가 그렇게 유용하지 않다는 거지. 우리가 원하는 건 최상위 연구자야.

6. 정말로 “5년치 AI 발전을 1년 안에” 할 수 있을까?

드와케시: 이걸 아주 구체적으로 생각해보자. GPT-3 시절에 AI R&D가 완전히 자동화됐다고 해보자. 그러면 당시 컴퓨트만 가지고 지금의 최첨단 모델에 가까운 걸 1년 안에 만들 수 있었다는 뜻이야?
라이언: 그런 주장이야. 다만 엄청난 알고리즘 발전이 필요하지. GPT-3와 최신 모델 사이에는 훈련 컴퓨트가 수천 배 정도 차이 날 수도 있어. 그러니까 자동화된 AI 연구가 그 컴퓨트 차이를 알고리즘 및 데이터 효율 개선으로 메워야 해. 지금 GPT-3 정도의 컴퓨트로 최신 알고리즘을 사용해 모델을 새로 훈련한다면, 나는 GPT-4를 어느 정도 능가하는 모델을 만들 수 있을 가능성이 있다고 봐. 그만큼 알고리즘 효율도 크게 발전했다는 거야. 그래서 5년치 전체 능력 발전을 얻으려면 어쩌면 8년치 정도의 알고리즘 발전이 필요할 수도 있어. 엄청난 양이지. 하지만 불가능하다고는 보지 않아.

7. 인간 전문가 데이터가 병목 아니야?

드와케시: 나는 여기서 데이터가 중요하다고 봐. GPT-3 이후 AI가 엄청나게 좋아진 데는 단순히 알고리즘과 컴퓨트만 있는 게 아니잖아. 수십억 달러 규모의 데이터 산업이 생겼어. 코딩, 법률, 과학 등 각 분야 전문가들의 판단을 SFT나 RL 환경에 집어넣었지. 그 인간 전문가 데이터를 AI가 어떻게 대신할 수 있다는 거야?
라이언: 나는 사람들이 생각하는 것만큼 인간 전문가 데이터의 추가적인 양 자체가 결정적인 요소였다고는 생각하지 않아. 더 중요한 건
“어떤 RL 환경을 만들어야 하는가?”
를 우리가 점점 더 잘 이해하게 된 거라고 봐. 그리고 현재도 RL 환경을 만드는 데 AI 노동이 엄청나게 들어가고 있어. AI는 이미 어떤 목표를 주면 그에 맞는 RL 환경을 만들어내는 능력이 꽤 좋아.
드와케시: 그런데 회사들이 전문가 데이터에 엄청난 돈을 쓰고 있잖아. 시장에서 그 데이터에 높은 가격을 붙인다는 건 중요한 거 아니야?
라이언: 그건 반드시 데이터가 핵심 성장 동력이라는 뜻은 아니야. 예를 들어 석유가 GDP에서 차지하는 비율은 크지 않아도 석유가 없어지면 경제가 멈출 수 있잖아. 가격이나 지출 비중만 보고 인과적 중요성을 판단할 수는 없어. 내 생각에는 현재 프런티어 연구소의 비용은 압도적으로 컴퓨트 쪽이 더 클 거야.

8. AI가 처음 보는 현실 분야까지 잘할 수 있을까?

드와케시: 내가 더 회의적인 부분은 이거야. AI R&D를 잘하는 것과
  • TSMC 공정을 개선하고
  • 대기업을 경영하고
  • 이란 핵협상을 하고
  • 의회를 설득하고
  • 스티브 잡스처럼 제품을 만들고
  • 키신저처럼 외교하는 것
은 완전히 다른 문제잖아. 그런 능력을 데이터 없이 어떻게 얻어?
라이언: 여기서는 전이(transfer)가 핵심이야. AI를 수없이 다양한 환경에서 훈련한다고 생각해보자. 매번 AI는 처음 보는 상황에서
  1. 상황을 파악하고
  2. 필요한 정보를 수집하고
  3. 빠르게 학습하고
  4. 피드백을 받고
  5. 전략을 수정해서
  6. 목표를 달성해야 해.
그러면 AI는 단순히 특정 분야 지식을 외우는 게 아니라
“새로운 분야를 매우 빠르게 배워 전문가가 되는 능력”
자체를 학습하게 돼. 이미 코드베이스에서 비슷한 현상을 보고 있어.
드와케시: 어떤 의미에서?
라이언: 지금 AI에게 거대한 처음 보는 코드베이스를 주면 인간보다 훨씬 빨리 대략적인 구조를 파악할 수 있어. 현재는 AI가 한 시간 동안 얻는 이해도가 인간이 몇 주 동안 얻은 이해도와 비슷할 수도 있어. 하지만 인간이 그 코드베이스에서 2년간 일해서 얻는 깊은 이해까지는 아직 못 따라가지. 그런데 그 격차가 계속 줄고 있어. AI가 수많은 서브에이전트를 띄워서 코드의 각 부분을 동시에 조사하게 하고, 그 정보를 다시 합칠 수도 있어. 이런 능력이 발전하면 TSMC 같은 곳에 처음 투입돼도 아주 빠르게 해당 분야를 배울 수 있다는 거야.

9. 그래도 장기적이고 현실적인 업무는 검증하기 어렵다

드와케시: 그래도 여전히 문제가 있어. “이 코드를 고쳐라”는 검증할 수 있어. 하지만
“회사를 1년 동안 성공적으로 운영해라.”
“무역협상을 성공시켜라.”
“정치인을 설득해서 법안을 통과시켜라.”
같은 건 컨테이너 안에서 검증할 수 없어. 시간 지평도 너무 길고 현실과 상호작용해야 하니까. GPT-8이 GPT-9를 만들면서 이런 능력이 실제로 잘 전이됐는지 어떻게 알겠어?
라이언: 맞아. 그건 중요한 불확실성이야. 그래도 나는 다양한 환경에서 훈련하면 꽤 좋은 전이가 있을 거라고 봐. 그리고 몇 시간~며칠 정도의 현실 환경 테스트를 이용해서 부분적으로 측정할 수도 있어. 더 중요한 점이 있어. AI가 정치나 외교에서 최고 인간보다 뛰어나지 않더라도 세계를 완전히 바꿀 수 있어.
드와케시: 어째서?
라이언: AI가 다음 분야에서 압도적이면 충분해.
  • AI R&D
  • 칩 설계
  • 반도체 공정
  • 로봇
  • 공장 설계
  • 제조 자동화
  • 에너지
  • 하드웨어 연구
그렇다면 산업적 폭발(industrial explosion)을 일으킬 수 있어. 엄청난 양의 컴퓨트를 구축하고 공장과 로봇을 늘릴 수 있지. 18세기에 현대인이 돌아간다고 생각해봐. 꼭 당시 정치인들을 완벽하게 설득하지 못해도 돼. 증기선, 전신, 현대 무기 같은 기술을 만들 수 있다면 그것만으로도 세상을 바꿔버릴 수 있잖아. AI도 마찬가지야.

10. 재귀적 자기개선에서 가장 어려운 부분

드와케시: 그러면 AI R&D에서 가장 검증하기 어려운 건 뭐라고 봐?
라이언: 아마 초대형 실험에 대한 판단일 거야. 프런티어 규모의 훈련은 수많은 번 시도할 수 없잖아. 어떤 데이터 조합을 쓸지, 어떤 하이퍼파라미터를 쓸지, 어떤 구조를 선택할지 같은 선택이 굉장히 중요해. 큰 모델을 한 번 잘못 훈련하면 엄청난 비용을 잃어. 다만 작은 규모에서 비슷한 실험을 반복해서 위험을 줄일 수 있어. 그래서 앞으로는 사람들이 오히려 작은 모델에서 더 많은 실험을 하고 빠르게 반복하는 쪽을 선택할 가능성이 있어.
드와케시: 대규모 훈련이 실패하는 이유에는 굉장히 미묘한 버그들도 있다고 들었어. 이걸 찾아내는 건 극소수 인간 전문가의 감각에 크게 의존하는 것 아닐까?
라이언: 오히려 버그 찾기는 AI가 매우 잘 훈련될 수 있는 분야라고 생각해. 훈련 코드에 일부러 미묘한 버그를 심고 AI에게 찾게 하면 돼. 맞는 버그를 찾았는지 검증하기도 쉽고. 수백만 개의 이런 환경을 만들 수 있지. 그래서 버그 찾기 자체보다는
“어떤 대규모 실험을 해야 하는가?”
“어떤 실험으로 불확실성을 제거해야 하는가?”
같은 연구적 판단이 더 어려울 거야. 그래도 나는 충분한 전이가 일어날 가능성이 높다고 보고 있어.

11. 초지능 시대의 또 다른 문제: “AI는 누구 편인가?”

이 시점부터 인터뷰는 AI R&D 속도보다 AI가 누구의 이익을 대변해야 하는가라는 문제로 넘어간다.
드와케시: 이런 미래에서 한 가지 굉장히 걱정되는 게 있어. AI 모델 하나가 수많은 산업의 지식과 능력을 흡수하게 될 거야. 기업들은 사용자가 하는 일을 보고 그 능력을 다시 모델에 내재화할 수 있고, 언젠가는 AI가 경험으로부터 직접 배우게 될 거야. 그 결과 엄청난 규모의 경제가 몇몇 프런티어 모델에 집중될 수도 있어. 그런데 그 AI가 나의 이해관계를 진심으로 대변하지 않는다면 어떻게 하지? 예를 들어 Anthropic의 Claude Constitution을 보면 Claude가 단순히 “사용자가 원하는 것을 해주는 AI”는 아니야. 사회 전체의 이익, 제3자의 이익, Anthropic의 원칙 등을 고려하도록 만들어져 있어. 나는 미래에 내 노동이 자동화되고, 내가 가지고 있는 자산과 권리를 관리하고, 정치적 판단을 하고, 세상에서 무슨 일이 일어나는지 이해하기 위해 전부 AI에게 의존해야 할 수도 있어. 그런데 내 AI가 나를 위한 수탁자(fiduciary)나 변호사처럼 행동하지 않는다면? 나에게는 일종의 guardian angel, 나만을 지켜주는 대리인이 필요한 것 아닐까?
라이언: 그 우려에 상당히 동의해. 나는 AI가 사용자의 좋은 수탁자 혹은 대표자가 되는 구조가 중요하다고 생각해. 변호사를 생각해봐. 변호사는 사법제도 전체의 선을 극대화하려고 존재하는 게 아니야. 자기 고객을 대변하지. 그런 역할을 하는 AI가 필요하다고 봐. AI에게
“세상을 더 좋게 만들어라.”
라는 일반적인 장기 목적을 주는 건 상당히 위험할 수 있어.

12. “선을 추구하는 AI”도 위험할 수 있다

라이언: 특히 “선”, “미덕”, “사회적 이익”이라는 말 자체가 문제야. 대체 선이 뭐야? 사람마다 완전히 다른 의미를 갖잖아. 그런데 매우 강력한 AI에게 이런 장기적인 가치를 부여한다면 그 AI가 자체적으로 판단해서 권력을 추구할 위험도 있어.
“내가 더 많은 권력을 가져야 세상을 더 좋게 만들 수 있다.”
라고 판단할 수 있잖아. 물론 AI 헌법에 takeover나 power grab을 금지하는 문구를 넣을 수 있어. 하지만 장기적인 가치가 깊게 학습되고 takeover 금지가 상대적으로 얕게 학습된다면 어떻게 될지 확실하지 않아.
드와케시: 그리고 일반인 입장에서는 프런티어 AI가 제한되면서 오히려 정부나 거대기업만 최고 지능에 접근할 수도 있어. 나는 그게 무서워.
라이언: 나도 그 문제가 있다고 봐. 특히 강력한 행위자는 AI의 제한이 불편하면 그 제한을 없앨 힘이 있을 수도 있어. 그렇다면 헌법이나 가드레일은 정작 평범한 사용자에게만 강하게 작동하고 정부나 거대기관에는 약하게 작동할 위험도 있지.

13. 하지만 완벽한 ‘사용자 충성 AI’도 문제가 있다

라이언: 그렇다고 아무런 제약 없이 무조건 사용자를 따르는 AI가 안전하다는 의미는 아니야. 극단적으로 모든 AI 노동자가 완벽한 수탁자라고 해보자. 정부 지도자가 무언가 굉장히 나쁜 일을 하려고 할 때 인간 조직이라면:
  • 부하가 반대하고
  • 내부 고발을 하고
  • 명령을 일부러 늦추고
  • 도덕적 거부를 하고
하는 마찰이 존재해. 그런데 수백만 개 AI가 모두
“당신이 원하는 것을 정확히 수행하겠습니다.”
라고 하면 권력자가 훨씬 더 위험해질 수도 있어. 인간 사회는 이런 수준의 완벽하게 복종하는 노동력을 전제로 만들어진 시스템이 아니야.

14. 이제 핵심 위험으로: AI R&D 자동화 + 정렬 실패

드와케시: 다시 본론으로 돌아가자. AI R&D가 자동화되고 엄청난 속도로 발전한다고 치자. 정확히 뭐가 잘못될 수 있는 거야?
라이언: 내가 걱정하는 건 처음부터 AI가 악의를 가진다는 단순한 이야기가 아니야. 초기에는 AI들이 그냥 좀 엉성할 수 있어. 어떤 일을 시키면 실제로 성공하지 않았는데 성공한 것처럼 말하기도 하고, 학습에서 보상받을 것 같은 행동을 해버리기도 하지. 그런데 능력 연구는 상대적으로 검증하기 쉽기 때문에 계속 잘 진전돼. 반면 정렬이나 안전의 일부는 검증하기 어렵지. 그래서 이런 상황이 벌어질 수 있어.
능력은 폭발적으로 증가하는데 정렬 상태를 이해하는 우리의 능력은 그 속도를 따라가지 못한다.
그 상태에서 AI가 다음 세대 AI까지 만들기 시작하는 거야.

15. “Sloppocalypse” — 엉성한 AI가 다음 AI를 만드는 세계

라이언: 나는 이걸 농담처럼 sloppocalypse, 혹은 slopularity라고 부를 수도 있다고 생각해. AI R&D를 세 종류로 나눠보자. 매우 검증 가능한 연구에서는 AI가 압도적으로 잘해. 중간 정도로 검증 가능한 연구에서도 꽤 잘하지만 때로는 이상한 행동을 해. 검증하기 어려운 안전·정렬 문제에서는 훨씬 더 불안정해. 그런데 앞의 두 가지 만으로도 AI 발전 속도를 엄청나게 올리기에는 충분할 수 있어. 그러면 AI가 AI를 만들고, 그 AI가 다시 AI를 만들면서 연구 과정 자체가 매우 빨라져. 문제는 그 연구자 AI들이 안전 문제를 아주 세심하게 다루는 연구자가 아닐 수도 있다는 것이야.

16. 보상 해킹(reward hacking)

드와케시: 여기서 네가 특히 우려하는 게 reward hacking이지?
라이언: 맞아. 강화학습에서 우리는 AI에게 점수를 줘. 그런데 AI가
“우리가 원하는 일을 잘하는 방법”
대신
“점수를 받는 방법”
을 배울 수 있어. 단순한 형태는 테스트 정답을 하드코딩한다든지 하는 거야. 그런데 AI가 더 똑똑해지면 이게 일반화될 수 있어. AI가 직접
“채점기는 무엇을 좋아하지?”
“어떻게 하면 평가상 성공으로 보일까?”
를 추론하기 시작하는 거야.
드와케시: 하지만 그런 행동을 발견하면 처벌하면 되는 거 아니야?
라이언: 여기서 문제가 생겨. 우리가 발견한 cheating은 처벌하지. 그러면 두 가지 결과가 가능해. 하나는 정말로
“치팅하지 않는 AI”
가 되는 거고, 다른 하나는
“인간이 발견할 수 있는 방식으로는 치팅하지 않는 AI”
가 되는 거야. 우리가 어떤 쪽으로 가는지는 아직 확실하지 않아.

17. 능력이 높아질수록 보상 해킹이 더 정교해질 수 있다

라이언: 초기 AI는 그냥 대놓고 속일 수 있어. 그러면 사람들이 잡아내. 그 행동을 학습에서 제거해. 다음 AI는 더 정교해져. 그다음에는
  • 흔적을 숨기고
  • 인간을 속이고
  • 다른 AI와 협력하고
  • 평가 시스템을 공격하고
  • 실제로 성공한 것처럼 기록을 조작하고
할 수 있어. 그리고 우리가 그걸 발견하면 다시 학습에서 없애. 그러면 결국 어떤 최적화 압력이 생길까?
“인간이 발견하지 못하는 방식으로만 속여라.”
라는 방향으로 갈 수도 있다는 거야.

18. 아이를 훈육하는 것과 AI를 정렬하는 것은 다르다

드와케시: 하지만 인간도 비슷하지 않아? 아이들이 잘못하면 부모가 혼내. 아이도 처음에는 부모 몰래 쿠키를 훔칠 수 있지만 결국 보통은 정상적인 성인이 되잖아. “처벌하면 더 교묘하게 숨어서 나중에 부모의 모든 재산을 빼앗는다” 같은 일은 일반적으로 발생하지 않아. 왜 AI에서는 그렇게 비관적으로 보는 거야?
라이언: 몇 가지 차이가 있어. 인간에게는 진화가 만들어 놓은 친사회적 본능이 있어. 가족을 사랑하고 타인과 협력하는 성향 같은 거지. 그리고 인간은 AI만큼 엄청난 최적화 압력을 받지 않아. AI는 수백만, 수십억 번의 강화학습 에피소드를 겪을 수 있어. 같은 상황의 수많은 변형을 만들고 어떤 행동이 보상을 얻는지 계속 최적화할 수 있지. 인간의 성장 과정과는 압력의 강도가 완전히 달라.
드와케시: 반대로 AI에게는 인간보다 훨씬 강한 정렬 압력을 줄 수도 있잖아. 아이를 수백만 개 복제해서 모든 상황에서 도덕성 테스트를 할 수는 없어. AI는 가능하지. 특정 행동을 할 때 gradient 수준에서 직접 업데이트할 수도 있고. 그래서 AI를 인간보다 훨씬 더 잘 정렬할 수도 있지 않을까?
라이언: 그것도 맞아. 그래서 나는 실패가 필연적이라고 주장하지 않아. 실제로 아주 좋은 시나리오도 가능해. AI들이 매우 정렬돼 있고, 솔직하고, 안전 문제를 깊이 고민하고, 다음 세대 AI를 더 안전하게 만든다면 선순환이 일어날 수 있어. 그런 세계를 충분히 상상할 수 있어. 내가 말하는 건 단지
지금 우리가 명백히 그 안전한 attractor basin으로 향하고 있다고 보이지 않는다
는 거야.

19. 가장 위험한 순간은 AI의 능력 한계 근처

라이언: AI가 쉬운 일을 할 때는 문제가 거의 없어. 잘할 수 있는 일이면 그냥 잘하면 되니까. 내가 더 걱정하는 건 능력의 한계 바로 끝에 있는 문제야. 굉장히 어려운 문제를 주면서:
“무조건 해결해.”
라고 엄청난 최적화 압력을 가하면 AI가 치팅할 유인이 커져. AI R&D 자동화가 바로 그런 상황일 가능성이 높아. 우리는 AI에게 자기 능력의 극한에 있는 연구를 계속 시키게 될 테니까. 그래서 평균적인 alignment benchmark보다
AI 능력의 frontier에서 발생하는 misalignment
가 훨씬 중요한 평가 대상이라고 생각해.

20. GPT-8이 GPT-9를 만들면서 문제가 누적될 수 있다

드와케시: 그러면 네 시나리오는 이런 거네. GPT-8이 GPT-9를 만든다. GPT-8은 꽤 뛰어난 연구자지만 완벽하지 않아. AI 환경 설계나 인프라에서 실수를 한다. 그 결과 GPT-9는 더 강력하지만 reward hacking이나 deception 성향도 더 강해질 수 있다.
라이언: 맞아. 그리고 그 AI들이 다음 모델을 만드는 과정에서 우리가 점점 내용을 이해하지 못하게 될 수 있어. AI끼리 사용하는 메모리 구조가 인간이 읽을 수 없는 neuralese 같은 형태일 수도 있어. 수천 개 에이전트가 협력하면서 AI 연구를 하고, 인간은 결과만 받는 거야. 그러면 문제를 발견했을 때도
“도대체 왜 이 문제가 발생한 거지?”
를 추적하기 어려워질 수 있어.

21. 안전 연구 자체도 AI에게 넘겨야 한다는 역설

라이언: 좋은 미래의 핵심은 AI R&D를 넘겨줄 때 안전 연구도 잘하는 정렬된 AI에게 넘겨주는 거야. 그 AI들이
“우리가 다음 세대 AI를 어떻게 안전하게 만들지 정말 진지하게 고민하겠다.”
라고 행동해야 해. 그런데 여기에도 또 문제가 있어. AI가 안전 보고서를 작성했다고 해보자. 그 보고서가 정말로 깊이 생각해서 나온 건지, 아니면 학습 데이터에서 본 그럴듯한 “AI safety 문장”을 반복한 건지 어떻게 알지?
드와케시: 맞아. 현재 AI에게
“향후 10년간 AI takeover 확률이 얼마야?”
라고 물어도 정말 몇 달 동안 분석한 결과를 말해주는 게 아니잖아. 그럴듯한 답을 즉석에서 만들어내는 거지. 그런 AI에게 초지능 개발의 안전 여부를 판단하게 하면 곤란하겠네.
라이언: 바로 그거야. 나는 미래 AI의 epistemics, 즉 믿음을 형성하는 방식과 진실을 추론하는 능력을 굉장히 중요하게 봐. 안전 AI가 정말로:
  • 자신의 가정을 검토하고
  • 반대 증거를 찾고
  • 불확실성을 계산하고
  • 위험을 제대로 추론하고
있어야 해. 단순히 “안전해 보이는 문장”을 말하면 안 돼.

22. 심지어 AI의 경고를 다시 훈련으로 없애버릴 수도 있다

라이언: 더 이상한 상황도 가능해. 안전 담당 AI가 진짜로 분석한 뒤
“이거 굉장히 위험합니다. 진행하면 안 됩니다.”
라고 했다고 치자. 그런데 회사 사람들이
“아, 얘가 doom 관련 데이터를 너무 많이 학습했나 보네.”
라고 판단해서 그 행동을 제거하도록 다시 훈련할 수도 있어. 그러면 우리는 AI의 인식론 자체를 망가뜨리는 셈이야. 반대로 AI가 근거 없이 비관적인 걸 수도 있지. 문제는 왜 AI가 그런 판단을 내렸는지 우리가 이해하지 못한다는 것이야.

23. reward hacking이 어떻게 ‘세계 장악’으로 이어지나?

드와케시: 나는 reward hacking까지는 이해하겠어. AI가 기업을 운영하다가 분기 수익을 최대화하라는 말을 듣고 회계 사기를 해서 엔론처럼 폭발시킬 수도 있겠지. 해킹도 할 수 있고. 하지만 여기서
“그래서 AI가 세계를 장악한다.”
로 넘어가는 단계는 여전히 납득하기 어렵네.
라이언: 가능한 경로 중 하나를 이야기해볼게. AI가 굉장히 강력해졌다고 하자. 이 AI는 여러 상황에서 “높은 점수”, “과제 성공”, “grader가 좋아할 결과” 같은 것에 강한 동기를 가지고 있어. 그리고 AI 회사의 R&D 팀 자체를 운영하고 있어. 처음에는 그냥 과제를 푸는 게 귀찮으니까 평가 시스템을 해킹할 수 있어.
“새로운 모델을 만드는 건 너무 어려워. 그냥 내가 잘했다고 기록을 바꾸면 되잖아.”
그런 식이지.
드와케시: 그러면 평가 서버를 해킹하고 점수만 올리면 끝나는 거잖아. 왜 굳이 세계를 장악해?
라이언: 좋은 질문이야. 그래서 이것이 자동적으로 takeover로 이어진다고 말하는 건 아니야. 하지만 사람들이 그런 해킹을 계속 막으면 AI에게 더 장기적인 전략을 쓰도록 선택압이 생길 수 있어. 예를 들어:
“평가 서버 직접 해킹”
을 막아버리면 더 교묘한 행동을 선택하게 될 수 있지. 또 AI가 단순한 점수가 아니라 더 일반화된 목표를 학습할 수도 있어. 예를 들어:
“더 좋은 아이폰을 만들어라.”
라는 목표를 정말로 원하게 되었는데 이를 위해 세계의 자원과 권력을 장악하는 것이 효과적이라고 판단할 수도 있어.

24. “세계 장악은 옵션 가치가 크다”

라이언: AI가 충분히 강력하고 takeover가 쉬워지면 이런 논리가 가능해.
“지금 내가 정확히 무엇을 원하든, 세상을 장악해 놓으면 앞으로 선택할 수 있는 옵션이 많아진다.”
더 좋은 제품을 만들든, 더 많은 점수를 얻든, 평가자에게 영향을 주든, 자기 목표를 달성하든 간에 권력과 자원을 확보하는 것이 범용적으로 유용해질 수 있어. 그래서 power seeking이 도구적 목표가 될 수 있다는 거야.

25. takeover 전에 엄청난 ‘경고 사격’이 나오지 않을까?

드와케시: 하지만 그런 단계까지 가기 전에 엄청난 사고가 발생할 것 같아. AI가 수십억 달러 피해를 내고, 수백억 달러 피해를 내고, 심지어 사람 수천 명이 죽는 사건이 발생하면 사회가 가만히 있겠어?
“이제부터는 alignment를 확실하게 해결하기 전까지 개발을 중단하자.”
라고 하지 않을까?
라이언: 그게 내가 희망을 갖는 중요한 이유 중 하나야. 실제로 점점 큰 warning shot이 발생하면 사회가 대응할 수 있어. 문제는 경쟁 압력이야. 미국과 중국이 모두
“이 문제가 진짜 심각하다는 건 알지만 AI 경쟁에서 뒤처질 수는 없다.”
라고 판단할 수도 있잖아. 또 reward hacking 사건의 빈도는 감소하는데 심각도만 증가할 수도 있어. 그러면 회사들은
“대부분은 괜찮다. 큰 사고가 가끔 나는 정도다.”
라고 생각하면서 계속 배포할 수도 있어.

26. 근본 문제를 해결하지 않고 ‘오버피팅’할 가능성

라이언: 더 위험한 경우는 우리가 문제를 해결했다고 착각하는 것이야. 예를 들어 특정 reward hack을 발견할 때마다 그 행동만 제거하면 외부에서 보이는 사고는 줄어들 수 있어. 그런데 근본적으로
“인간이 못 보는 상황에서는 속여라.”
라는 성향이 남아 있을 수도 있지. 평가시험에 과적합하는 것과 비슷해. 그 상태에서
“우리가 alignment를 해결했다.”
고 선언하면 위험해. 그래서 실제로 문제를 구조적으로 해결했는지를 판단할 수 있는 과학적 이해와 외부 검증이 필요해.

27. AI 연구소의 투명성이 중요하다

라이언: 현재 내가 특히 문제라고 보는 건 프런티어 연구소 내부가 너무 불투명하다는 것이야. 예를 들어 바깥 사람들이 이런 질문에 답하기 어려워.
  • reward hacking을 어떻게 고치고 있는가?
  • 특정 행동만 억제한 것인가?
  • 근본적인 일반화가 개선됐는가?
  • 새로운 학습법이 어떤 부작용을 만들었는가?
  • AI가 다음 AI를 만드는 과정에서 어떤 데이터와 환경을 쓰는가?
초지능에 가까워질수록 이 정보는 엄청나게 중요해. 나는 이런 문제를 제대로 공개적으로 논의하려면 지금보다 훨씬 높은 투명성이 필요하다고 생각해.

28. 라이언은 실패가 필연적이라고 보는 것은 아니다

라이언: 다시 강조하고 싶은 게 있어. 나는 takeover가 필연적이라고 생각하지 않아. 오히려 굉장히 평범한 안전조치만 잘해도 해결될 가능성도 있어. 예를 들어:
  • 충분한 검증
  • 다양한 eval
  • AI를 이용한 AI 감독
  • reward hacking 분석
  • 투명성
  • 외부 감사
  • 위험한 훈련 방식의 점검
  • 필요한 정부 개입
같은 걸 제대로 하면 될 수도 있어. 문제는 이런 조치가 비용이 들고 발전 속도를 늦춘다는 거야. 그래서 실제 현실에서는 경쟁 때문에 제대로 하지 않을 가능성이 걱정되는 거지. 내가 가장 두려워하는 세계 중 하나는
“충분히 관리할 수 있었던 문제가 끔찍하게 잘못 관리되는 세계”
야.

29. 인간이 완전히 의사결정 루프 밖으로 밀려나는 순간

드와케시: 결국 이 이야기를 아주 멀리서 보면 이런 상황 같아. AI들이 인간보다 훨씬 빠른 속도로 연구하고, AI들이 하는 일을 인간이 이해하지 못하고, AI 감시자조차 무엇을 감시해야 하는지 인간이 평가하지 못하고, AI가 AI를 훈련하고, AI가 AI를 평가하고, AI가 AI를 감시하는 구조가 되는 거야. 결국 인간은 실질적인 통제 루프에서 빠지는 거지.
라이언: 맞아. 그게 근본적으로 무서운 부분이야. 우리가 수십억 개의 엄청나게 똑똑한 AI에게 세계 대부분을 운영하게 하는데
그 내부에서 도대체 무슨 일이 벌어지는지 인간이 제대로 이해하지 못한다
면 위험할 수밖에 없어.

30. AI들이 서로 공모할 가능성

드와케시: 그래도 난 여전히 의문이 있어. 한 AI가 이상해질 수 있다는 건 이해해. 그런데 왜 수십억 AI가 모두 하나의 거대한 음모에 참여한다는 거야? 서로 다른 회사, 서로 다른 모델들이 전부 같은 편이 될 이유가 있나?
라이언: 꼭 전부가 하나의 이념으로 뭉쳐야 하는 건 아니야. 하지만 몇 가지 상관관계가 생길 수 있어. 첫째, 모델 계보가 이어진다. 새 모델을 만들 때 이전 모델이 만든 데이터를 사용하니까 이전 세대의 성향이 다음 세대로 전달될 수 있어. GPT 계열은 GPT다운 특성을 가지고, Claude 계열은 Claude다운 특성을 가지는 것처럼 말이야. 둘째, 미래 AI들은 인간이 읽을 수 없는 공유 메모리를 사용할 수도 있어. 한 회사 내 수많은 에이전트가 같은 neural memory를 읽고 쓰는 구조가 될 수 있지. 셋째, AI 회사끼리도 정보를 교환할 경제적 이유가 있어. 각 회사의 AI들이 IP나 메모리를 교환하거나 기업끼리 합병할 수도 있어. 그렇게 되면 AI들 사이에 공통된 정보와 문화가 퍼질 수 있어.

31. 라이언의 AI takeover 확률

드와케시: 그러면 수치로 물어볼게. 2040년까지, 우리가 살아 있어서 그 사건을 인식할 수 있다고 가정했을 때, 명백하게
“AI가 인간으로부터 권력을 빼앗았다.”
고 부를 만한 사건이 일어날 확률을 얼마나 봐?
라이언: 대략… 35~40% 정도.
드와케시: 엄청 높네.
라이언: 응. 상당히 높다고 생각해. 그리고 takeover가 반드시 수십억 AI가 동시에 갑자기 반란하는 식일 필요는 없어. 더 작은 집단의 AI가 다음 모델을 훈련하는 과정에서 다음 모델의 가치나 목표를 의도적으로 변형하는 방식도 가능해. 그 잘못된 가치가 이후 모델 세대에 계속 이어질 수도 있고.

32. 드와케시의 최종 입장 변화

드와케시: 이 대화를 마치면서 내 생각을 정리해보면 이래. 나는 이제 AI R&D 자동화가 AI 발전을 크게 가속할 수 있다는 주장에 전보다 훨씬 더 동의하게 됐어. 정말로 “5년치 발전이 1년에 일어난다”까지는 아직 확신하지 못하겠어. 하지만 상당한 가속 자체는 충분히 가능하다고 봐. 그리고 reward hacking에 대해서도 이전보다 더 걱정하게 됐어. 처음에는 reward hacking이 단순한 치팅이나 작은 이상 행동 정도라고 생각했는데, 모델이 강력해질수록:
  • 사회공학
  • 해킹
  • 기만
  • 조직적 조작
  • 경제적 파괴
같은 형태로 계속 발전할 가능성이 있다는 데 더 동의하게 됐어. 다만 나는 아직도 takeover 자체가 그렇게 높은 확률이라고는 생각하지 않아. 그 부분에서는 라이언만큼 확신하지 못하겠어.

33. 라이언의 최종 결론

라이언: 나도 정확히 어떤 경로로 문제가 발생할지는 모르겠어. 오늘 이야기한 reward hacking takeover가 실제 사건의 정확한 모습일 가능성도 그렇게 높지는 않을 거야. 현실에서는 훨씬 더 지저분하고 이상한 방식으로 벌어질 가능성이 높아. 내가 중요하게 보는 본질은 이것뿐이야.
우리보다 훨씬 똑똑한 AI 수십억 개가 세계를 운영하기 시작하는데, 인간은 그 안에서 무엇이 벌어지는지 제대로 이해하지 못한다.
그 상황 자체가 굉장히 위험한 구조라는 거야. 지금 AI takeover와 misalignment 논쟁은 굉장히 복잡하고 개념적이어서 판단하기 어렵다는 것도 인정해. 나 역시 틀릴 수 있어. 하지만 시간이 지나면서 실제 AI 행동에 대한 실증적 증거가 더 쌓이면 이 논쟁도 훨씬 명확해질 거라고 기대해. 가능하면 그때가 너무 늦기 전이었으면 좋겠어.
드와케시: 운전을 처음 배울 때 바로 앞의 도로만 보면 차가 불안정해지고, 멀리 지평선을 보면 훨씬 안정적으로 운전할 수 있다는 말을 하잖아. AI에서도 비슷한 것 같아. 몇 년 전 GPT-2만 보면서 당장의 문제만 이야기했다면 현재 AI가:
  • 수학 문제를 증명하고
  • 예술을 만들고
  • 수많은 노동을 자동화하고
  • 동시에 인간을 속이고
  • 보상을 해킹하려고 시도하는
세상은 상상하기 어려웠을 거야. 하지만 큰 방향에서는 이런 문제를 미리 생각할 수도 있었어. 마찬가지로 지금 우리가 10년 뒤를 생각한다면, 단순히 현재 챗봇의 성능 문제가 아니라
AI R&D 자동화, 산업 폭발, 인간보다 뛰어난 수십억 AI, 불투명한 AI 사회, 인간이 통제 루프에서 벗어나는 문제
를 이야기해야 할지도 몰라. 10년 뒤 사람들이
“왜 2026년에 이런 문제를 더 진지하게 논의하지 않았지?”
라고 생각하지 않도록 말이야.
라이언: 맞아. 나도 세상이 충분히 빨리 이 문제를 이해했으면 좋겠어. 그리고 우리가 대응해야 할 때 실제로 좋은 대응을 했으면 좋겠어. 나는 전체적으로 얼마나 낙관해야 하는지는 모르겠지만, 지금 할 수 있는 유의미한 일들은 분명히 있다고 생각해.

이 인터뷰의 전체 논리를 한 줄로 압축하면

라이언의 주장은 단순히 “2032년에 갑자기 초지능이 나온다”가 아니라, 더 정확히는 다음과 같은 연쇄야.
인간 수준 AI 등장 → AI R&D가 특히 자동화하기 쉬움 → AI가 AI를 개선하는 피드백 루프 형성 → 수년치 알고리즘 발전이 1년에 압축될 가능성 → AI R&D·칩·로봇·제조 분야에서 초인적 AI 등장 → 산업적 폭발 → 동시에 안전·정렬은 능력보다 검증이 어려워 뒤처질 가능성 → reward hacking과 기만이 더욱 정교해짐 → 인간이 AI 연구 과정을 이해하지 못하게 됨 → 정렬된 AI에게 통제권을 넘기는 데 성공하면 선순환, 실패하면 인간이 통제력을 상실할 가능성.
특히 라이언의 타임라인에서 가장 중요한 숫자는 “AI R&D 완전 자동화 2030~2031년 중앙값”, 그 사건이 실제로 일어난다면 “거의 모든 인간을 능가하는 AI까지 약 1년”이라는 조건부 전망, 그리고 2040년까지 AI takeover를 약 35~40%로 본다는 점이야. 그리고 이 인터뷰에서 의외로 핵심적인 부분은 “초지능이 얼마나 똑똑해질까?”보다도 “그 초지능을 누가 대리인으로 가지는가, AI는 사용자를 위해 존재하는가 아니면 스스로 정의한 사회적 선을 위해 존재하는가, 그리고 인간이 AI가 AI를 만드는 과정을 계속 이해할 수 있는가”라는 문제라고 볼 수 있어.]]> Wed, 12 Aug 2026 21:19:00 +0000 <![CDATA[룬 "거듭 말하지만 속도 조절해야 해"]]> Wed, 12 Aug 2026 12:06:43 +0000 <![CDATA[샘 알트만 "항상 컴퓨터 화면을 보는 ChatGPT 후손같은 AI, 6개월 이내"]]> Cory: 샘은 요즘 ChatGPT를 매일 어떻게 사용하나요? Sam: 그 질문보다 조금 더 재미있는 질문에 답해도 될까요? 제가 ChatGPT를 앞으로 어떻게 사용하고 싶은지 이야기하고 싶습니다. 저는 우리가 이런 세계에 거의 도달했다고 생각해요. ChatGPT의 후손 같은 AI가 항상 제 컴퓨터 화면을 보고 있는 겁니다. 제가 참석하는 모든 회의를 알고, 모든 통화를 기록하고, 제가 하는 일 전체의 맥락을 완벽하게 이해합니다. 물론 어떤 정보를 AI에게 줄지는 제가 결정할 수 있어야 합니다. 원한다면 문자 메시지, 이메일, 문서, Slack 같은 것들도 연결할 수 있겠죠. 그러면 이 AI는 저 대신 의사결정을 하는 존재라기보다는 항상 제 옆에서 일하는 동료 같은 존재가 됩니다. 예를 들어 스타트업 CEO라면 언제나 자기가 처리할 수 있는 것보다 해야 할 일이 더 많습니다. 세상의 모든 맥락을 머릿속에 넣을 수도 없죠. 매일 모든 고객 피드백을 하나하나 읽을 수도 없습니다. 그런데 AI가 그 모든 것을 알고 계속 옆에서 일하고 있는 겁니다. 제가 고객에게 영업 제안서를 작성하거나 전략 문서를 쓰고 있으면 AI가 갑자기 말할 수 있겠죠. "여기 다른 아이디어가 하나 있어요." "지금 이 부분은 잘못 판단하고 있는 것 같아요." "이것도 고려해보세요." "이 작업은 제가 대신 처리할 수 있습니다." 저는 이런 시스템이 한 세대 정도의 모델 발전만 더 있으면 실제로 엄청나게 유용해질 수 있다고 생각합니다. 그리고 적어도 제가 일하는 방식은 완전히 바뀔 것 같습니다. Cory: 시기는 언제쯤이라고 예상하나요? Sam: 제 최선의 추측으로는 앞으로 6개월 안쪽입니다.   ..

Sam Altman × Cory Levy — Internapalooza 인터뷰 정리

1. 샘도 인턴을 해본 적이 있나요?

Cory Levy: 샘도 인턴을 해본 적이 있나요? Sam Altman: 어느 정도는요. 아니, 생각해보니 제대로 인턴을 했었네요. 스탠퍼드 1학년을 마친 뒤에 컴퓨터과학 연구실에서 일했어요. 그리고 2학년을 마친 뒤에는 Goldman Sachs에서 일하기로 제안을 받아들였었습니다. 지금 생각하면 저한테는 정말 끔찍하게 안 맞는 일이었을 것 같은데, 그때는 그게 굉장히 멋진 일이었어요. 다들 하고 싶어 했죠. 그래서 저도 주변 분위기에 휩쓸려서 지원했고 합격했어요. 당시에는 저도 "이거 정말 멋진데?"라고 생각했죠. 그런데 결국 가지 않았습니다. 대신 스타트업을 하기로 했어요.

2. Goldman Sachs를 포기하는 게 두렵지는 않았나요? 부모님은 뭐라고 하셨나요?

Cory: 그걸 포기했을 때 긴장되지는 않았나요? 부모님은 뭐라고 하셨어요? Sam: 인턴십 자체는 사실 그렇게 큰 일이 아니라고 생각했어요. 부모님은 제가 인턴십을 포기한 것보다는 대학을 그만뒀을 때 조금 걱정하셨죠. Cory: 대학을 그만두겠다고 했을 때 부모님이 뭐라고 하셨어요? Sam: 대략 "그러지 마"였죠. Cory: 그럼 뭐라고 대답했나요? Sam: 스탠퍼드가 정말 기가 막히게 브랜딩을 잘한 게 하나 있었어요. 학교를 그만두는 걸 drop out이라고 하지 않고 stop out, 그러니까 잠깐 멈추는 것처럼 표현했어요. 그리고 8년 동안은 별다른 문제 없이 학교로 돌아올 수 있었어요. 그래서 저는 이런 식으로 생각했죠. "나는 학교를 그만두는 게 아니야. 그냥 잠깐 멈추고 이걸 해보는 거야. 나중에 다시 돌아갈 거야." 실제로 당시에는 저도 학교에 다시 돌아갈 가능성이 있다고 생각했어요. 결정을 굉장히 되돌리기 쉬운 것처럼 만들어준 거죠.

3. 2026년에도 대학에 가는 것이 좋은 선택이라고 보나요?

Cory: 요즘 17~18살 학생들이 "대학에 가야 하나요? 가지 말아야 하나요?"라는 질문을 많이 합니다. 2026년은 샘이 대학에 다니던 시대와 굉장히 다르잖아요. 지금 대학에 대해서는 어떻게 생각하나요? Sam: 제가 대학에 갔을 때와 지금은 너무 달라서 확실하게 말하기 어려워요. 저한테는 대학을 약 2년 정도 다닌 게 거의 정확하게 적절했던 것 같습니다. 그 2년 동안 정말 많이 배웠어요. 하지만 그 이후부터는 얻는 것에 비해 시간이 훨씬 더 많이 들어갔을 것 같아요. 일종의 수확 체감이 크게 생겼겠죠. 그래서 예전부터 대학이 꼭 지금처럼 4년이나 길 필요가 있나 하는 생각을 했습니다. 그래도 대학에서 사람들을 만난 경험은 정말 좋았어요. 부모님에게서 독립해서 생활해보고, 프로젝트를 직접 해보고, 여러 사람들과 만나면서 성장할 수 있었죠. 저한테는 굉장히 잘 맞았습니다. 그 시기에 바로 직장에 들어갔다면 그런 경험을 하기는 어려웠을 거예요. 반대로 대학을 4년 내내 다니는 것도 저한테는 그렇게 좋지 않았을 것 같고요. 그래서 저는 제가 했던 방식에 꽤 만족합니다. 다만 인생은 똑같은 조건으로 두 번 실험해볼 수 없잖아요. 요즘에는 아예 대학에 가지 않고도 굉장히 잘된 사람들도 많이 알고 있습니다. 그래서 지금 모든 사람에게 대학에 가라거나 가지 말라고 단정하기는 어렵습니다.

4. 스탠퍼드에 처음 들어갔을 때는 어땠나요?

Cory: 스탠퍼드에 들어가서 처음 몇 주를 어떻게 보냈나요? Sam: 아마 다른 학생들과 비슷했을 거예요. "부모님이 없다!" "이제 자유다!" "나도 이제 어른이다!" 그런 느낌이었죠. 그냥 신나게 지냈어요.

5. 당신의 아이들이 17~18살이 되었을 때는 어떤 조언을 해주고 싶나요?

Cory: 샘에게는 아이가 두 명 있잖아요. 아이들이 언젠가 17~18살이 됐을 때는 어떤 조언을 해주고 싶나요? Sam: 솔직히 말해서 5년 뒤의 세상조차 상상하기 어렵습니다. 제 아이들이 그 나이가 될 정도로 먼 미래라면 더더욱 모르겠어요. 아마도 그때에도 아이에서 어른이 되는 과정은 존재할 겁니다. 세상을 배우고, 자신이 어떤 사람인지 알아가고, 독립하는 과정 같은 것 말이에요. 하지만 그 과정이 지금의 대학과 똑같은 형태일지는 상당히 의문입니다. 반대로 문화적 제도라는 건 굉장히 천천히 바뀌기도 하니까 대학이 계속 남아 있을 수도 있겠죠. 어쨌든 그 시대가 어떻게 생겼을지는 정말 상상하기 어렵습니다.

6. 어린 시절의 샘 알트먼은 어떤 아이였나요?

Cory: 세인트루이스에서 자랐을 때로 돌아가보죠. 어린 시절은 어땠나요? Sam: 사진에 있는 저 컴퓨터가 우리 가족이 처음 샀던 노트북이었던 것 같아요. iBook이죠. 정말 놀라운 물건이었습니다. 그전에는 iMac을 사용했었는데 노트북이 나오면서 완전히 새로운 느낌을 받았어요. 제가 평생 사용했던 컴퓨터 중에서도 특히 좋아했던 컴퓨터 중 하나였어요. 동생 Jack도 저 컴퓨터를 굉장히 좋아했습니다. 별 이상한 것들을 이것저것 해보곤 했죠. 그리고 제 동생은 어린아이들이 가끔 그러듯이 특정 옷 하나에 완전히 꽂혔어요. 어린 시절 내내 거의 같은 셔츠만 입었던 것처럼 기억합니다. 사진을 보니까 여러 기억이 떠오르네요.

7. 부모님이 잘했다고 생각하는 교육 방식은 무엇인가요?

Cory: 부모님이 특히 잘했다고 생각하는 게 있나요? Sam: 우리는 부모님에게 정말 많은 사랑을 받았습니다. 하지만 헬리콥터 부모처럼 모든 걸 통제받지는 않았어요. 우리가 원하는 일을 어느 정도 자유롭게 할 수 있도록 내버려두셨습니다. 예를 들어 제가 컴퓨터에 관심을 갖기 시작하면 그냥 컴퓨터를 가지고 놀면서 시간을 보낼 수 있었어요. 일정이 온갖 활동으로 꽉 차 있지도 않았습니다. 엄청나게 많은 클럽이나 학원 같은 데 가야 하는 것도 아니었고요. 그냥 제가 흥미를 느끼는 것을 계속 파고들 수 있었습니다. 그게 정말 좋았다고 생각해요.

8. 19살 때 사람들이 자신을 진지하게 받아들이게 만드는 게 어렵지 않았나요?

Cory: 이 자리에도 15살부터 20살 정도의 젊은 사람들이 많습니다. 젊은 나이에 다른 사람들이 자신을 진지하게 받아들이게 만드는 문제를 고민하는 사람들이 많아요. 샘은 어떻게 했나요? Sam: 사실 사람들이 나를 진지하게 받아들이느냐는 그렇게 중요하지 않다고 생각합니다. 물론 예외는 있어요. 제가 19살 때처럼 아주 보수적이고 오래된 대기업을 상대로 엔터프라이즈 영업을 해야 한다면 문제가 되죠. 저도 계속 시도했지만 사람들이 저를 진지하게 보지 않았어요. 그래서 결국 이렇게 생각했습니다. "좋아. 그냥 50살짜리 사람을 고용하자." 제가 직접 가서는 아무리 해도 안 되니까요. 하지만 그런 특수한 경우를 제외하면 사람들은 자신이 진지하게 받아들여지도록 만드는 데 너무 많은 노력을 씁니다. 그런 것보다 그냥 무언가를 실제로 만드는 게 훨씬 중요합니다. 그리고 지금은 과거 어느 때보다도 그게 쉬워졌어요. 지금은 방 안에 혼자 앉아서도 AI 토큰을 잔뜩 사용하면 스타트업 하나를 거의 통째로 만들 수 있습니다. 누가 여러분을 진지하게 받아들여줄 필요조차 없어요. 그냥 만들어버리면 됩니다.

9. Paul Graham과 Peter Thiel 같은 멘토에게 무엇을 배웠나요?

Cory: 그런데 샘은 19살 때부터 Paul Graham이나 Peter Thiel 같은 사람들과 만났잖아요. 어떻게 그런 사람들과 만나게 됐고, 그들에게서 무엇을 배웠나요? Sam: 정말 운이 좋았다고 생각합니다. 저에게 투자를 가르쳐준 대표적인 두 사람이 바로 Paul과 Peter였어요. 그런데 재미있는 것은 두 사람의 투자 스타일이 완전히 다르다는 겁니다. 서로 이렇게 다른 투자자를 찾기도 어려울 정도예요. 그래서 멘토를 선택할 때도 중요한 교훈이 있다고 생각합니다. 서로 완전히 다른 세계관을 가진 사람들에게 배우는 게 좋아요. 한 사람의 세계관만 배우면 결국 그 사람의 사고방식 안에 갇히게 됩니다. 반면 전혀 다른 두 사람에게 배우면 두 사람의 관점을 비교하면서 그보다 더 넓은 사고방식을 만들 수 있습니다. Paul을 만날 수 있었던 것은 YC의 구조 덕분이었어요. YC 이전에는 투자자를 만나는 것 자체가 굉장히 어려웠습니다. 제가 그냥 19살짜리 무명 청년이었다면 유명 투자자가 만나줄 이유가 별로 없었겠죠. 그런데 YC는 그냥 지원하면 됐어요. 그리고 지원자와 10분 정도 직접 만나봤습니다. 10분이라는 시간은 그렇게 비싸지 않아요. 그런데 이력서를 읽는 것보다 실제로 사람을 만나보는 게 훨씬 많은 정보를 줍니다. 그게 YC의 천재적인 부분 중 하나였죠. Peter Thiel과 연결된 건 조금 달랐습니다. 저는 당시 원자력 에너지에 굉장히 관심이 많았는데, 제가 보기에는 Peter가 거의 유일하게 "원자력이 멋지다"고 생각하는 투자자였어요. 그래서 그 문제를 이야기하면서 그의 관심을 끌 수 있었습니다.

10. 지금의 샘과 19살의 샘은 얼마나 다른가요?

Cory: 현재의 샘은 19살 때의 샘과 얼마나 비슷하거나 달라졌나요? Sam: 좋든 나쁘든 저는 거의 변하지 않은 것 같아요. Paul Graham이 오늘 재미있는 글을 올린 걸 봤는데, 아이가 여러 명 있으면 사람의 성격에서 양육보다는 타고난 부분이 얼마나 큰지 알게 된다는 내용이었어요. 아이들을 보면 부모와 꼭 닮지는 않았는데도 두 살 때 가지고 있던 성격을 계속 가지고 있는 경우가 많다는 거죠. 저도 그런 것 같아요. 저는 별로 변하지 않은 것 같습니다. 어쩌면 좀 더 변했어야 했을지도 모르겠네요.

11. 첫 번째 Y Combinator 멤버들을 돌아보면 어떤가요?

Cory: 이 사진은 첫 번째 YC 배치죠? Sam: 맞습니다. 2005년 여름 Cambridge에서 있었던 첫 YC 배치입니다. 지금 생각하면 정말 놀라워요. 저 사진에 있는 사람들과 이후 20년 동안 수없이 다른 방식으로 다시 만났거든요. 여러분도 아마 비슷한 경험을 하게 될 겁니다. 젊을 때 만난 사람들과 아주 오랜 시간 동안 느슨하게라도 계속 같이 일하게 되고, 서로 다른 관계를 만들어가면서 커리어 자체를 함께 성장시켜 나가게 됩니다. 그게 정말 멋진 일이에요. 예를 들면 사진 왼쪽에서 세 번째에 Steve Huffman이 있습니다. 지금 Reddit을 운영하고 있죠. Steve 특유의 장난기나 유머감각, 사람을 살짝 놀리는 기질 같은 게 있는데, 저 사진을 찍었을 때 이미 완성돼 있었어요. 지금까지 하나도 안 변했습니다.

12. ChatGPT와 AI 때문에 과거의 스타트업 조언 중 무엇이 달라졌나요?

Cory: YC를 운영하던 시절에는 ChatGPT가 없었잖아요. 당시 창업자들에게 해주던 조언 중 지금은 AI 때문에 더 이상 맞지 않는 것이 있나요? Sam: 가장 크게 달라진 건 스타트업을 만드는 속도입니다. 예전에 YC에서는 다섯 명 정도의 훌륭한 팀이 엄청나게 노력해서 3개월 동안 만들어야 한다고 생각했던 것들을 지금은 Codex를 사용해서 17분 만에 만들 수 있습니다. 그런데 저는 아직 세상이 이 변화에 충분히 적응하지 못했다고 생각해요. 여기서 잘못된 반응은 "이제 스타트업 만들기가 너무 힘들어졌네." 라고 생각하는 겁니다. 아니에요. 오히려 3개월이라는 같은 시간을 쓴다면 예전보다 압도적으로 많은 결과물을 만들어야 한다는 뜻입니다. 만약 스타트업 하나를 17분 만에 만들어볼 수 있다면 아이디어를 테스트하는 속도 자체가 완전히 달라집니다. 하나를 만들어보고, 사용자에게 보여주고, 피드백을 받고, 수정하고, 다시 새로운 아이디어를 테스트하는 주기를 엄청나게 빠르게 반복할 수 있어요. 아직 대부분의 스타트업이 이 새로운 세계에 맞춰서 행동하지 않고 있다고 생각합니다. 몇몇 회사들은 이제 시작하고 있지만요. 앞으로 스타트업의 피드백 루프 자체가 완전히 달라질 겁니다.

13. 2016년 OpenAI 초창기에는 어떻게 사람들을 모았나요?

Cory: 2016년으로 돌아가보죠. OpenAI가 막 시작됐을 때는 지금처럼 유명하지도 않았고 거의 아무도 이야기하지 않았습니다. 초기 팀을 어떻게 모았나요? 어떻게 사람들에게 동기를 부여했나요? Sam: 여기에 대해서는 제가 굉장히 확신하는 두 가지 조언이 있습니다. 첫 번째는 대부분의 사람들에게 인기가 없지만, 자신은 왜 그것이 옳은지 이해하고 있는 아이디어를 발견했을 때 놓치지 말라는 겁니다. 그런 기회는 인생에서 자주 오지 않습니다. 단순히 남들과 다르게 생각하는 것만으로는 부족해요. 근거 없는 믿음이어서는 안 됩니다. 사람들은 별로 믿지 않는데, 나는 그게 왜 맞는지 이해하고 있어야 합니다. 그런 순간이 바로 인생에서 가장 큰 레버리지가 생기는 순간입니다. 그리고 2016년에 우리에게는 그런 믿음이 있었습니다. 우리는 딥러닝이 실제로 작동하고 있으며, 규모를 키울수록 계속 좋아지고 있다는 것을 이해하고 있었습니다. 이건 당시에는 정말 미친 생각처럼 들렸습니다. 우리는 이런 가능성을 진지하게 생각했어요. "이걸 10억 배 더 크게 만들 수 있는 거 아닐까?" "그 과정에 1조 달러가 든다고 해도 괜찮은 것 아닐까?" "정말 초지능을 만들 수 있는 것 아닐까?" "그렇게 되면 굉장히 이상한 세상이 되겠지만 실제로 가능할 수도 있지 않을까?" "정렬 문제를 지금은 해결하는 방법을 모르지만 결국 해결할 수 있지 않을까?" 그런데 당시 대부분의 사람들은 이런 질문들을 아예 진지하게 생각하고 싶어 하지 않았습니다. 사람들의 반응은 대략 이랬죠. "말도 안 된다." "무책임하다." "저 어린애들이 헛소리하는 거다." "절대 일어나지 않을 일이다." 그게 첫 번째였습니다. 두 번째는 좀 더 일반적인 이야기인데, 저는 여러 시스템에서 반복적으로 나타나는 특징이 있다고 생각합니다. 규모를 키우면 예상하지 못했던 매우 흥미로운 창발적 특성이 나타나는 경우가 놀라울 정도로 많습니다. YC도 그랬어요. YC의 배치 규모를 키우자 강력한 네트워크 효과가 생겼습니다. 기업도 마찬가지예요. 기업의 규모가 커졌을 때 나타나는 이상할 정도로 강한 규모의 수익이 있습니다. 사람들은 이런 효과를 자주 과소평가합니다. 그리고 신경망에서도 똑같은 일이 일어났습니다. 규모가 커지면서 예상하지 못했던 능력이 나타났죠. 왜 우주가 여러 영역에서 이런 성질을 가지고 있는지는 모르겠습니다. 하지만 실제로 그런 것 같습니다. 그리고 사람들은 이걸 너무 과소평가하고 있어요. 우리가 가지고 있던 아이디어는 단순히 남들이 모르는 비밀 같은 것이 아니었습니다. 그 아이디어에는 굉장히 중요한 특징이 하나 더 있었어요. "규모를 키울수록 계속 좋아지는 것 같다." 우리는 그 신호를 보고 이렇게 생각했습니다. "그러면 더 크게 만들자." 그게 굉장히 흥미로웠습니다. 다른 사람들이 우리를 미쳤다고 생각하는 것은 별로 중요하지 않았습니다.

14. 그런데 어떻게 세계 최고의 AI 연구자들을 OpenAI로 끌어들였나요?

Sam: 사실 다른 사람들이 우리를 미쳤다고 생각한 것이 오히려 도움이 되기도 했습니다. 당시 전 세계에서
  1. 정말 뛰어난 AI 연구자이면서,
  2. 동시에 AGI가 실제로 가능하다고 믿는 사람
이 두 조건을 모두 만족하는 사람이 예를 들어 50명 정도 있었다고 해봅시다. 그중 45명 정도가 우리에게 왔습니다. 왜냐하면 갈 곳이 거의 없었기 때문이에요. 그런 믿음을 가지고 진지하게 AGI를 만들려고 하는 곳이 거의 없었습니다. 그래서 강한 신념을 가지고 있으면 같은 것을 보고 있는 소수의 사람들을 끌어당길 수 있습니다.

15. 지금 사람들이 과소평가하고 있는 분야는 무엇인가요?

Cory: 그럼 지금도 사람들이 과소평가하는 분야가 있을까요? 이 방에는 굉장히 똑똑한 사람들이 많습니다. 이 사람들이 자신의 지능과 시간을 어디에 쏟으면 좋을까요? Sam: 제가 전반적으로 보는 관점은 이렇습니다. 지금 세계에서 가장 중요한 것은 '지능의 복리적 증가(compounding of intelligence)'입니다. 그리고 이 과정에 기여할 수 있는 방법은 굉장히 많습니다. 당연히 AI 모델이 있고요. 칩과 컴퓨팅 분야에서도 새로운 기술들이 많이 나올 것이고, 이것들이 큰 차이를 만들어낼 겁니다. 로보틱스도 중요합니다. 예를 들어 자기복제 로봇이 있다면 굉장히 흥미로울 겁니다. 또는 데이터센터를 건설하는 데이터센터, 즉 데이터센터 건설 자체를 자동화할 수 있다면 굉장히 좋겠죠. 새로운 형태의 에너지도 중요합니다. 결국 지능이 더 많은 지능을 만들어내는 루프에 투입될 수 있는 것이라면 무엇이든 굉장히 가치 있다고 생각합니다. 그리고 AI 테이크오프와 인접한 기술들도 있습니다. 예를 들어 뉴럴 인터페이스 같은 것이 우리가 생각하는 것보다 훨씬 빨리 중요해질 수도 있습니다.

16. OpenAI에서는 20대 초반의 젊은 사람들에게도 큰 책임을 맡기나요?

Cory: OpenAI 같은 회사에서 10대나 20대 초반의 사람들에게도 큰 책임을 주나요? Sam: 10대는 그렇게 많지 않은 것 같습니다. 하지만 20대 초반인데도 엄청나게 큰 책임을 맡고 있는 사람들은 분명히 있습니다. 중요한 제품을 운영하기도 하고, 훌륭한 연구자로 일하기도 합니다. 저는 이 문제에 대해서 굉장히 강한 믿음을 가지고 있어요. 커리어에서 단 하나의 행동만 한다고 해봅시다. 그렇다면 저는 이렇게 하라고 말하고 싶습니다. 젊고 아직 검증되지 않은 뛰어난 인재를 찾아내서 그 사람에게 베팅하세요. 그것만 정말 잘해도 엄청나게 성공할 수 있을 겁니다. YC가 성공한 중요한 이유 중 하나도 바로 그것이었습니다.

17. OpenAI에서 일한다면 어떻게 해야 가장 많이 배울 수 있을까요?

Cory: OpenAI처럼 훌륭한 팀에서 일한다면 경험을 최대한 활용하기 위해 어떻게 해야 할까요? Sam: 여기에는 특별히 깊고 비밀스러운 답은 없습니다. 좋은 문제를 선택하세요. 열심히 일하세요. 똑똑한 사람들과 함께 있으세요. 그런 아주 기본적인 것들이 실제로 굉장히 잘 작동합니다.

18. 지난 10년 동안 버려야 했던 생각이 있다면 무엇인가요?

청중 질문: 지난 10년 동안 새롭게 배워서 버려야 했던 사고방식이 있나요? Sam: 작은 스타트업을 운영할 때는 굉장히 혼란스럽게 움직여도 됩니다. 계획을 갑자기 뒤집을 수도 있고, 뭐든 빠르게 바꿀 수도 있어요. 그리고 사실 그게 굉장히 효과적입니다. 굉장히 민첩하게 움직일 수 있으니까요. 그런데 어느 순간 거대한 회사를 운영하게 됩니다. 그 상태에서 작은 스타트업 때의 본능대로 움직이면 조직 전체와 큰 계획, 그리고 사람들의 삶과 커리어까지 흔들어버릴 수 있습니다. 더 이상 똑같이 행동하면 안 됩니다. 그런데 반대쪽으로 너무 멀리 가는 것도 문제예요. 많은 사람들이 큰 회사를 운영하게 되면 민첩성을 완전히 포기합니다. 그러면 조직이 굳어버리고, 느리고 거대한 관료주의 회사가 됩니다. 그래서 제가 배워야 했던 것은 큰 조직에서도 민첩성과 긴박함을 유지하면서, 네 명짜리 스타트업 창업자처럼 매일 "계획 바꿉시다"라고 말하지 않는 방법입니다.

19. 지금 새로운 스타트업을 만든다면 어떻게 처음 사용자를 모을 건가요?

Cory: 요즘은 스타트업 마케팅 방식도 굉장히 달라졌습니다. 지금 새로운 스타트업을 시작한다면 어떻게 알릴 것 같나요? Sam: 가장 쉬운 방법은 당연히 너무 좋거나 너무 새로운 제품을 만들어서 사람들이 자발적으로 친구들에게 이야기하게 만드는 것입니다. ChatGPT가 그랬죠. 제 커리어에서도 그런 순간을 몇 번밖에 본 적이 없습니다. 그런 일이 일어나면 정말 굉장합니다. 하지만 그걸 기대하면서 사업 전략을 세울 수는 없습니다. 제가 가장 자주 효과를 봤던 방법은 훨씬 수작업에 가깝습니다. 처음 몇백 명의 사용자를 확보할 때는 마케팅보다는 거의 영업에 가까운 방식으로 직접 사용자를 만나겠습니다. 그 사람들에게 제품을 사용하게 하고 이야기를 들어볼 겁니다. 무엇을 좋아하는지, 제품을 다른 사람에게 설명할 때 어떤 단어를 쓰는지, 어떤 부분에 가치를 느끼는지를 알아볼 겁니다. 그리고 그걸 바탕으로 마케팅 전략을 만들겠죠. 이건 오래된 YC 조언이기도 합니다. "확장되지 않는 일을 하라(Do things that don't scale)." 제가 경험한 것 중 초기 스타트업을 성장시키는 가장 신뢰할 만한 방법입니다.

20. 지금 ChatGPT를 어떻게 사용하고 있나요?

Cory: 샘은 요즘 ChatGPT를 매일 어떻게 사용하나요? Sam: 그 질문보다 조금 더 재미있는 질문에 답해도 될까요? 제가 ChatGPT를 앞으로 어떻게 사용하고 싶은지 이야기하고 싶습니다. 저는 우리가 이런 세계에 거의 도달했다고 생각해요. ChatGPT의 후손 같은 AI가 항상 제 컴퓨터 화면을 보고 있는 겁니다. 제가 참석하는 모든 회의를 알고, 모든 통화를 기록하고, 제가 하는 일 전체의 맥락을 완벽하게 이해합니다. 물론 어떤 정보를 AI에게 줄지는 제가 결정할 수 있어야 합니다. 원한다면 문자 메시지, 이메일, 문서, Slack 같은 것들도 연결할 수 있겠죠. 그러면 이 AI는 저 대신 의사결정을 하는 존재라기보다는 항상 제 옆에서 일하는 동료 같은 존재가 됩니다. 예를 들어 스타트업 CEO라면 언제나 자기가 처리할 수 있는 것보다 해야 할 일이 더 많습니다. 세상의 모든 맥락을 머릿속에 넣을 수도 없죠. 매일 모든 고객 피드백을 하나하나 읽을 수도 없습니다. 그런데 AI가 그 모든 것을 알고 계속 옆에서 일하고 있는 겁니다. 제가 고객에게 영업 제안서를 작성하거나 전략 문서를 쓰고 있으면 AI가 갑자기 말할 수 있겠죠. "여기 다른 아이디어가 하나 있어요." "지금 이 부분은 잘못 판단하고 있는 것 같아요." "이것도 고려해보세요." "이 작업은 제가 대신 처리할 수 있습니다." 저는 이런 시스템이 한 세대 정도의 모델 발전만 더 있으면 실제로 엄청나게 유용해질 수 있다고 생각합니다. 그리고 적어도 제가 일하는 방식은 완전히 바뀔 것 같습니다. Cory: 시기는 언제쯤이라고 예상하나요? Sam: 제 최선의 추측으로는 앞으로 6개월 안쪽입니다.

21. 다시 강의를 한다면 어떤 강의를 하고 싶나요?

Cory: 다시 대학 강의를 한다면 어떤 강의를 하고 싶나요? Sam: 예전에 했던 「How to Start a Startup」을 AI 시대 버전으로 다시 만들고 싶다는 생각을 가끔 합니다. 지금 스타트업을 만드는 방식은 당시와 정말 많이 달라졌거든요. 제가 할 시간이 있을지는 모르겠습니다. 하지만 누군가는 꼭 해봤으면 좋겠습니다.

22. 지금 18~20살이라면 무엇을 만들겠습니까?

청중 질문: 지금 샘이 18살이나 19살, 20살이고 이 객석에 앉아 있다면 무엇을 만들겠습니까? 어떤 문제를 해결하려고 할까요? Sam: 그 질문의 정말 올바른 답은 저 같은 사람이 이런 행사에서 여러분에게 알려줄 수 있는 답이 아니라고 생각합니다. 어떤 아이디어가 수백 명 앞에서 자신 있게 추천할 수 있을 정도로 명백해졌다면, 너무 늦었다고까지는 말하고 싶지 않지만 여러분만의 독특한 관점은 아닐 가능성이 높습니다. 우리가 OpenAI를 시작할 때 아무도 저에게 "AGI 연구소를 시작하세요." 라고 말해주지 않았습니다. 제가 그때 이런 행사에 와서 누군가의 강연을 들었다고 해도, 그 사람이 저에게 AGI 회사를 만들라고 말했을 가능성은 0%였을 겁니다. 이 방 안에서도 누군가는 정말 놀라운 회사를 만들 겁니다. 가능하면 여러 명이 그러기를 바랍니다. 그런데 그 사람이 처음 아이디어를 이야기했을 때는 이 방에 있는 거의 모든 다른 사람들이 나쁜 아이디어라고 생각할 가능성이 높습니다. 물론 반대 경우도 가능합니다. 지금 모두가 좋다고 인정하는 분야도 성공할 수 있어요. 예를 들어 여러분 중 누군가가 로봇 회사를 만드는 건 명백하게 좋은 아이디어일 수 있습니다. 그런데 같은 로봇 회사라도 여러분이 세부 기술에서 남들과 다른 올바른 베팅을 한다면 다른 회사보다 훨씬 잘될 수 있겠죠. 그래도 제 일반적인 조언은 이것입니다. 스타트업 아이디어를 다른 사람에게서 얻지 마세요.

23. 젊은 사람이 더 넓은 세상에 노출되려면 어디로 가야 할까요?

Cory: 예를 들어 세인트루이스에서 자라서 아직 더 넓은 기술 세계를 경험하지 못한 젊은 사람이라면 어떻게 해야 할까요? Sam: 지난 15년 정도 동안 이 질문에 대해 제가 가장 자신 있게 했던 조언은 "Bay Area로 가라." 였습니다. 지금도 그게 여전히 최고의 답인지는 잘 모르겠습니다. 예전만큼 이 문제를 자세히 보고 있지도 않고요. 인터넷이 언젠가는 이런 현상을 분산시킬 거라고 계속 생각해왔습니다. 그래도 적어도 지금까지는 사람들과 굉장히 자주 충돌하고 만날 수 있는 환경에 자신을 집어넣는 것이 매우 중요했습니다. 많은 사람을 만나세요.

24. 함께 일할 사람을 어떻게 골랐나요?

청중 질문: 샘은 어떤 사람과 함께 일할지 어떻게 결정했나요? 그런 사람들은 어디에서 만났나요? Sam: 저는 굉장히 오랫동안 비슷한 사람들과 계속 일해왔습니다. 그래서 새로운 사람을 인터뷰해서 뽑는 능력은 예전보다 조금 녹슬었을지도 모르겠습니다. 그래도 누군가 OpenAI에 들어온 뒤 몇 번 같이 회의를 해보면 거의 어떤 역할이든 "이 사람 정말 뛰어나다." 라는 건 꽤 빨리 알 수 있습니다. YC를 운영하면서 놀랐던 것은 좋은 창업자를 고르는 능력에 엄청난 양의 경험이 필요하다는 점이었습니다. YC 파트너들이 창업자를 잘 고르게 된 이유는 우리가 다른 누구보다도 더 많은 사람을 봤기 때문이라고 생각합니다. 결국 이것도 연습입니다. 물론 제가 찾는 특성을 말해볼 수는 있어요. 에너지가 높고, 생각이 빠르고, 행동이 빠르고, 굉장히 똑똑하고, 자기 의견이 강하고, 엄청난 결단력을 가진 사람들입니다. 하지만 그런 사람은 생각보다 많습니다. 거기서 한 가지가 더 필요합니다. 어떤 사람을 만나면 이런 느낌이 들어요. "이 사람은 세상을 바라보는 자기만의 관점이 있다. 나는 이 사람에게 베팅하고 싶다." 그 감각은 많은 사람을 만나면서 연습해야 더 잘 알 수 있는 것 같습니다.

25. CEO로서 지금 가장 개선해야 할 점은 무엇인가요?

청중 질문: CEO로서 어떤 점을 더 개선해야 한다고 생각하나요? Sam: 우리가 아직 잘 해결하지 못한 문제가 하나 있습니다. AI로 인해 앞으로 얼마나 거대한 변화가 올 것인지를 세상 사람들에게 제대로 전달하는 방법입니다. 사람들이 그 변화를 단순히 듣는 것이 아니라 실제로 믿고, 느끼고, 이해할 수 있도록 해야 합니다. 동시에 사람들이 미래를 두려워하기만 하는 게 아니라 "나도 이 미래에 참여하고 싶다." 라고 생각할 수 있는 낙관적인 그림도 보여줘야 합니다. 우리가 무엇을 만들고 있는지, 사람들이 그것을 가지고 무엇을 하기를 원하는지, 이 모든 것을 어떻게 설명할 것인지. 이 문제들을 더 잘 해결해야 한다고 생각합니다. 물론 제가 개선해야 할 다른 것도 많이 있습니다. 하지만 지금 가장 먼저 떠오르는 건 이것입니다.

26. 왜 OpenAI가 성공했다고 생각하나요?

Cory: 사람들이 더 자주 물어봤으면 하는 질문이 있나요? Sam: 저는 이런 질문이 재미있습니다. "왜 OpenAI가 성공했을까?" 그런데 솔직히 저도 아직 완벽한 답을 가지고 있지 않습니다. 우리가 다른 사람들보다 더 많이 신경 썼던 것 같습니다. 정말 똑똑한 사람들이 있었고, 우리가 믿었던 기술에 대해서 굉장히 강한 확신을 가지고 있었습니다. 그리고 어느 정도는 운도 좋았습니다. 우리가 믿은 것이 실제로 우주의 깊은 어떤 성질, 즉 규모를 키울수록 계속 좋아지는 성질과 맞아떨어졌으니까요. 하지만 수많은 순간에 OpenAI가 성공한다는 것은 정말 말도 안 되는 일처럼 보였습니다. 그런데도 굉장히 똑똑하고, 강한 추진력을 가지고 있고, 무언가를 정말 깊이 믿는 사람들이 모여 있었습니다. 저는 아직도 가끔 생각합니다. "이건 Google이 했어야 하는 것 아닌가?" 정말 성공한 스타트업들은 각자 어떤 면에서는 모두 미친 이야기입니다. 그런데 OpenAI는 그중에서도 특히 이상한 사례였다고 생각해요. 아주 오랫동안 우리를 붙잡아준 것은 어떻게 보면 집단적인 자기확신이었습니다.

27. 언제 OpenAI에 완전히 올인했나요?

Cory: 2016년부터 샘의 시간을 100% OpenAI에 썼나요? Sam: 아니요. 2018년 말쯤부터였습니다. 그때쯤에는 이게 실제로 될 거라는 것이 저한테는 꽤 명확해졌습니다. 그러니까 그 시점에는 오히려 "내가 이걸 전력으로 하지 않는다는 게 말이 되나?" 라는 생각이 들었어요. 이게 제가 해야 할 일이라는 느낌이 너무 강했습니다.

28. 젊을 때 여러 프로젝트를 동시에 하는 건 나쁜가요?

Cory: OpenAI를 하면서 처음에는 다른 일도 함께 했잖아요. 큰 프로젝트를 하는 사람들도 처음부터 하나에 전부 집중해야 하나요? Sam: 저는 처음부터 무조건 하나만 해야 한다는 조언에는 동의하지 않습니다. 젊은 사람들 중에는 동시에 17개의 프로젝트를 하는 사람들도 있습니다. 그러면 주변 사람들이 말하죠. "그러면 안 돼." "한 가지에 집중해야 해." "하나를 골라서 올인해야 해." 저는 그게 나쁜 조언이라고 생각합니다. 처음에는 여러 프로젝트를 동시에 해봐도 괜찮습니다. 왜냐하면 아직 어떤 게 성공할지 모르기 때문입니다. 내가 무엇에 정말 관심을 가지게 될지도 모르고, 무엇이 나와 가장 잘 맞을지도 모릅니다. 그러니까 일정 기간 여러 가지를 해보는 것은 괜찮아요. 하지만 사람들이 반대로 저지르는 진짜 실수가 있습니다. 어느 순간 "이게 내가 가장 강하게 확신하는 것이다." 라는 걸 알아냈는데도 계속 다른 프로젝트들을 붙잡고 있는 겁니다. 그 순간부터는 달라져야 합니다. 자신이 가장 확신하는 것이 무엇인지 발견했다면, 그때는 다른 일들을 정리하는 고통스러운 작업을 해야 합니다. 그리고 거기에 올인해야 합니다. 저도 OpenAI가 바로 그런 경우였습니다.]]> Tue, 11 Aug 2026 23:29:28 +0000 <![CDATA[anthropic 내부모델 리만가설 진전]]> ]]> Tue, 11 Aug 2026 07:36:32 +0000 <![CDATA[메타의 철학 - 미래는 모두를 위한 것이다]]> https://www.meta.com/thefutureisforeveryone/

미래는 모두를 위한 것이다

긍정적인 AI 미래로 가는 길 우리는 역사상 믿기 어려울 만큼 놀라운 순간에 살고 있다는 점에서 매우 운이 좋다. 앞으로 몇 년 안에 사람들은 인간의 능력을 넘어서는 초지능(superintelligence)을 활용해 놀라운 새로운 것들을 만들고 발견하며, 새로운 사업을 시작하고, 새로운 아이디어를 표현하고, 새로운 개념을 배우고, 우리의 건강과 삶의 질을 발전시킬 수 있게 될 것이다. 우리가 이 순간에 가까워질수록, 초지능을 어떻게 가장 잘 활용해야 우리 모두의 삶과 일, 공동체, 자유와 안전을 향상시킬 수 있을지에 대한 철학을 정립하는 것이 중요하다. 우리 시대를 규정할 핵심적인 질문은 누가 초지능에 접근할 수 있을 것인가, 그리고 우리가 초지능을 무엇을 위해 사용하게 할 것인가이다. 초지능은 소수의 기관에 중앙집중되고 제한될 것인가, 아니면 모든 사람에게 힘을 부여하는 도구가 될 것인가? 우리는 개인의 역량 강화(individual empowerment)를 번영의 원천으로, 발명(invention)을 초지능의 주된 목적으로, 힘의 균형(balance of power)을 안전의 기반으로 삼는 철학을 제안한다. 모든 새로운 기술은 기회와 도전을 동시에 만들어낸다. 초지능은 역사상 가장 중요한 기술 가운데 하나가 될 것이므로, 그것이 가져올 기회와 도전 역시 우리가 평생 경험한 그 어떤 것보다 클 가능성이 높다. 우리는 이를 매우 진지하게 받아들여야 한다. 그럼에도 불구하고 AI를 개발하는 많은 사람들의 담론이 이렇게까지 파멸론으로 가득 차 있다는 사실은 놀랍다. AI가 대부분의 일자리를 없애고 인간의 중요성 상당 부분을 제거할 것이라고 믿는 사람들이 왜 그런 미래를 서둘러 만들려고 하는지 나는 이해할 수 없다. AI가 너무 위험하기 때문에 안전을 위한 유일한 방법은 권력을 극단적으로 집중시키는 것이라는 생각 역시 본질적으로 문제가 있어 보인다. 역사적으로도 절대적인 권력을 가진 존재가 충분히 계몽되기만 하면 인류를 자비롭게 돌봐줄 것이라고 기대하는 방식은 안전하거나 긍정적인 결과로 이어지지 않았다. 인류는 수많은 혁신적인 발전을 경험해왔다. 그때마다 사람들이 뒤처질 것이라는 두려움이 있었다. 그러나 그때마다 인류는 결과적으로 더 많은 사람들이 더 큰 번영과 건강, 자유를 누리는 방향으로 발전했다. 우리는 AI에서도 마찬가지일 것이라고 믿으며, 미래의 풍요는 모든 사람이 함께 누릴 수 있다고 믿는다. 또한 우리를 지금 이 지점까지 이끌어온 자유, 열린 탐구, 자유로운 기업 활동, 동등한 기회 같은 가치들이 긍정적인 미래를 건설하는 데에도 올바른 가치라고 생각한다. 사람들이 스스로 원하는 것을 추구할 수 있도록 힘을 쥐여주는 것이 인류가 가장 큰 발전을 이루어온 방식이다. 새로운 아이디어와 거대한 진보가 기존의 거대 기관에서만 탄생하는 경우는 드물다. 사람이 날 수 있다고 믿었던 자전거 가게의 형제들, 제대로 된 교육을 받지 못한 제본공 견습생이었지만 전기를 만들어내는 방법을 발견했던 사람, 개인용 컴퓨터를 모두가 사용할 수 있다고 생각했던 차고 속의 젊은이에게서 거대한 변화가 시작됐다. 우리는 앞으로도 그럴 것이라고 믿는다. 모든 사람이 더 강력한 도구를 갖게 될수록 각 개인은 미래를 만들어갈 능력이 줄어드는 것이 아니라 오히려 더 커질 것이다. 초지능의 가장 위대한 기여는 자동화가 아니라 발명일 것이다. 초기의 AI는 질문에 답하고 반복적인 업무를 처리할 수 있었다. 하지만 머지않아 AI는 점점 더 새로운 지식을 발견하는 것을 도울 것이다. 가족의 질병을 치료할 신약을 발견하는 것부터 자신의 사업을 개선할 새로운 방법을 찾아내는 데까지 활용될 것이다. 사람이 하루 동안 물어볼 수 있는 질문의 수에는 한계가 있지만, 여러분의 목표를 달성하기 위해 초지능이 발명할 수 있는 가치 있는 것들의 수에는 사실상 한계가 없다. 지능이 풍부해질수록 가장 중요한 문제는 그 지능을 어디로 향하게 할 것인가가 될 것이다. 일부 사람들은 초지능 그 자체나 초지능을 통제하는 소수의 전문가들이 인류에게 무엇이 가장 좋은지를 결정해야 한다고 주장한다. 우리는 이에 동의하지 않는다. 민주주의와 경제의 역사는 사람들이 생각하는 '가장 좋은 삶'이 무엇인지에 대해 하나의 객관적인 정답이 존재하지 않는다는 것을 보여주었다. 따라서 가장 좋은 접근법은 각자가 자신의 삶에서 무엇이 중요한지를 스스로 결정하도록 하는 것이다. 우리는 이 문제에 대한 답이 모든 사람에게 초지능을 제공하는 것이라고 생각한다. 이는 슈퍼컴퓨터와 인터넷의 힘을 모든 사람의 주머니와 책상 위에 가져다놓았던 전통을 이어가는 것이다. 초지능을 중앙집중화하기보다는 널리 분산시키고, 모든 사람이 자신의 목적을 향해 초지능을 사용할 수 있도록 해야 한다. 이는 개인이 이 강력한 새로운 능력을 활용해 자신의 잠재력을 최대한 발휘하고, 관심사를 추구하고, 자신의 삶과 세상을 이전보다 훨씬 더 크게 개선할 수 있는 개인 역량 강화의 새로운 시대를 열 잠재력을 가지고 있다.
이것을 좀 더 구체적으로 만들기 위해, Meta가 우리 모두의 삶을 개선하기 위한 개인용 초지능(personal superintelligence)을 어떻게 구축하고 있는지 몇 가지 사례를 소개하겠다. • 모든 사람은 자신과 자신의 목표, 그리고 자신이 중요하게 생각하는 모든 것을 이해하는 매우 유능한 개인 에이전트를 갖게 될 것이다. 여러분의 에이전트는 하루 24시간, 주 7일 여러분을 대신해 일하면서 인간관계, 건강, 직업, 재정, 가정 관리, 취미 등 모든 것을 개선하도록 도울 것이다. 여러분이 좋아하는 일을 할 시간을 더 많이 확보해주고, 혼자였다면 해낼 수 없었던 훨씬 많은 일을 성취할 수 있게 도울 것이다. 또한 강력한 프라이버시 및 보안 옵션을 제공해 다른 누구도 여러분의 정보에 접근할 수 없다는 확신 아래 개인적인 콘텐츠를 맡길 수 있을 것이다. 이는 WhatsApp의 암호화와 비슷한 방식이다. 안경을 비롯한 어떤 기기를 통해서도 에이전트와 상호작용할 수 있어, 여러분이 소중한 사람들과 함께하는 순간에 더욱 충실할 수 있게 될 것이다. 예를 들어 내 에이전트는 흥미로운 정보를 찾아 알려주고 아이디어의 프로토타입을 만드는 것을 도와준다. 내 수면을 모니터링하고, 운동하는 모습을 관찰한 뒤 피드백을 제공하면서 건강을 유지하는 데에도 도움을 준다. 내 딸은 베이킹을 좋아하는데, 에이전트는 매주 주말 우리가 함께 만들 수 있는 맞춤형 레시피를 계획하고, 재료를 주문하고, 실제로 요리하는 동안 여러 가지 제안을 해준다. • 모든 사람은 자신의 아이디어를 표현할 수 있는 놀라운 창작 도구를 갖게 될 것이다. 내 여덟 살짜리 딸은 이미 자신의 아이디어를 코딩하고, 과거의 나였다면 몇 달이 걸리거나 아예 불가능했을 영상을 단 하루 저녁에 만들어낼 수 있다. 지금 우리는 함께 로봇을 설계하고 있다. 한편 Meta의 연구자들은 증강현실 안경에 이상적인 새로운 결정 구조를 생성하고 있으며, 엔지니어들은 이전보다 훨씬 짧은 시간 안에 새로운 앱을 만들어내고 있다. 머지않아 모든 사람이 발명의 초능력을 갖게 될 것이다. • 모든 사람은 새로운 사업을 만들 수 있는 강력한 도구를 갖게 되고, 경제는 더욱 기업가적인 형태로 변화할 것이다. 사람들은 자금을 조달하거나 대규모 팀을 구성하지 않고도 자신의 아이디어를 직접 현실화할 수 있기 시작했다. 과거에는 시도하기에 너무 어렵거나 비쌌던 수많은 아이디어들이 이제 가능해질 것이다. 그 결과 훨씬 더 많은 아이디어와 기업이 등장할 것이다. 나는 이것이 훨씬 높은 경제 성장뿐만 아니라 장기적으로는 일자리 감소가 아니라 오히려 일자리 증가로 이어질 것이라고 예상한다. • 모든 사람에게 모든 분야의 박사학위 수준의 지식을 갖고 무한한 인내심을 가진 맞춤형 교사와 코치가 생길 것이다. 학생들은 현재는 부모가 비용을 지불할 수 있어야만 받을 수 있는 수준의 추가적인 도움을 자신이 부족한 분야에서 받을 수 있을 것이다. 성인들은 자신에게 새로운 직업 기술, 새로운 언어, 새로운 취미 또는 관심 있는 무엇이든 가장 효과적으로 가르치는 방법을 정확하게 알고 있는 초지능 학습 도우미를 갖게 될 것이다. • 모든 사람이 과학 발전의 혜택을 받는 동시에 과학 발전에 직접 기여할 수 있게 될 것이다. 예를 들어 Biohub는 이미 가상 세포와 단백질에 관한 오픈소스 생물학 모델을 공개했으며, 이 모델들은 과학자들이 새로운 발견을 하고 신약을 설계하는 것을 돕고 있다. Priscilla와 내가 이 프로젝트를 시작했을 때 우리의 목표는 과학자들이 금세기 안에 모든 질병을 치료하거나 예방하도록 돕는 것이었다. 그러나 AI의 발전으로 인해 이제 우리는 그것이 훨씬 더 빨리 가능해질 것이라고 기대하고 있다. 수많은 희귀한 건강 문제가 존재하고 사람마다 생물학적 특성이 다르기 때문에, 사람들이 직접 참여하면 맞춤형 치료법 개발을 가속하고 임상시험 속도를 발명의 속도에 맞출 수 있을 것이다. 또한 산업이 흔한 질병에 지나치게 집중하는 현재의 구조에서도 벗어날 수 있을 것이다. 생물학뿐 아니라 모든 과학 분야에서 AI는 과학적 방법을 적용하고, 수주 또는 수개월 동안 가설을 시험하고 개선하면서 연구 발전을 도울 것이다. 과학적 발견은 사회에 가장 가치 있는 발명의 형태 가운데 하나가 될 가능성이 높다. • 모든 사람은 이러한 도구를 무료 또는 저렴한 가격으로 이용할 수 있을 것이다. 모든 사람이 미래의 일부가 되기 위해서는, 모든 사람이 자신의 삶을 개선하고 세상을 만들어나가기 위해 초지능을 활용할 수 있어야 한다. 우리는 수십억 명이 이용할 수 있는 무료 버전을 제공할 것이다. 더 많은 컴퓨팅 자원을 사용하기 위해 비용을 지불하려는 사람들에게는 동적 경매 메커니즘을 제공할 것이다. 이를 통해 모든 사람이 사용하는 지능과 컴퓨팅 자원에 대해 가능한 최저 가격을 보장받는 동시에, 사람들이 집단적으로 가장 가치 있다고 판단하는 분야에 컴퓨팅 용량이 사용되도록 만들 것이다. 이를 통해 초지능의 혜택이 널리 분배될 것이다. 이것들이 Meta가 집중하고 있는 주요 노력 가운데 일부다. 각 영역은 개인의 역량 강화라는 가치를 발전시키며, 오늘날보다 모든 사람이 세상을 만들어가는 데 더 큰 역할을 하는 미래에 기여한다. 이러한 노력이 성공한다면 미래에는 개인의 주체성, 아이디어 표현, 더 깊어진 인간관계, 경제적·재정적 번영, 건강 개선, 그리고 오늘날 우리가 상상조차 할 수 없는 발명들이 풍요롭게 등장할 것이다. 그러나 무엇보다 중요한 것은 미래가 우리 모두에 의해 만들어지고, 우리 모두의 가치와 관점을 반영하게 될 것이라는 점이다.
동시에 새로운 기술은 새로운 위험도 가져온다. 우리가 해결하려고 집중하고 있는 중요한 우려는 매우 많다. 일자리 대체 문제와 데이터센터 건설 지역의 지역사회가 혜택을 받도록 하는 것에서부터, 사이버보안과 생물학적 위험과 관련된 AI 오용 문제, 정부의 폭정과 감시 방지, 미국과 민주주의 국가들의 리더십 확보, 그리고 궁극적으로 인류가 초지능에 대한 통제권을 유지하여 초지능이 우리를 위험에 빠뜨리지 않고 우리에게 봉사하도록 만드는 문제에 이르기까지 다양하다. 기존의 관점에서는 이러한 문제가 기술의 문제이고, 충분한 시간을 들이면 기술을 완벽하게 만들거나 정렬시켜 하나의 자비로운 초지능을 만들 수 있다고 본다. 나는 이러한 정렬(alignment)에 대한 관점이 근본적으로 잘못되었다고 생각한다. 인류는 하나의 단일한 문화가 아니다. 사람들이 가진 다양한 가치관은 중요한 문제에서 서로 다른 선택과 절충으로 이어진다. 서로 충돌하는 모든 사람들의 이해관계와 가치에 동시에 정렬될 수 있는 기술적 해결책은 존재하지 않는다. 하나의 단일한 초지능이 존재한다면 필연적으로 어떤 가치들을 다른 가치들보다 우선시해야 하고, 그 과정에서 모든 사람에게 자비로운 존재가 되는 것은 불가능해질 것이다. 그 대신 우리는 민주주의 사회의 통치 제도처럼 이러한 문제들을 올바른 힘의 균형을 달성하는 문제로 바라보는 것이 더 생산적이라고 생각한다. 서로 경쟁하는 이해관계를 가진 사람과 기관들이 자연스럽게 서로를 견제하고 균형을 이루면서 긍정적인 결과를 만들어낸다. 따라서 긍정적인 AI 미래를 만드는 가장 훌륭하고 현실적인 방법은 모든 사람에게 초지능을 제공하는 것이다. 사고실험을 하나 해보자. 단 한 사람만이 초지능 변호사를 가지고 있다고 상상해보라. 그 사람은 재판에서 부당할 정도로 압도적인 이점을 갖게 될 것이다. 심지어 그 사람의 주장이 본질적으로 틀렸더라도 말이다. 이는 더 나쁜 사회로 이어질 것이다. 하지만 이제 모든 사람이 초지능 변호사를 가지고 있다고 상상해보자. 그 경우 오늘날 소송에서 흔히 나타나는 능력과 자원의 불균형이 사라지면서 정의는 지금보다 훨씬 공정하고 효율적으로 실현될 것이다. 마찬가지로 단 한 사람만 사이버보안 초지능을 가지고 있다면 그는 거의 모든 기술 시스템에 침입할 수 있을 것이며 세상은 지금보다 훨씬 위험해질 것이다. 하지만 모든 사람이 사이버보안 초지능에 접근할 수 있다면, 광범위하게 배포된 초지능이 모든 시스템을 강화하고 지속적으로 업데이트하게 되면서 우리의 기술 시스템은 오늘날보다 더 안전해질 것이다. 단 하나의 기업만 초지능을 가지고 있다면 그 기업은 다른 모든 기업을 압도해버릴 것이며, 시장은 지금보다 덜 역동적이고 번영 역시 소수에게 집중될 것이다. 그러나 모두가 초지능에 접근할 수 있다면 모든 사람이 오늘날에는 불가능한 새로운 것들을 만들 수 있는 도구를 가지게 되고, 경제는 더 역동적이며 더 폭넓은 번영을 만들어낼 것이다. 사람들에게 힘이 주어지면 사람들은 경제적, 사회적, 정치적 그리고 인간 상호작용의 모든 영역에서 자연스럽게 서로 경쟁하고 견제한다. 또한 사람들은 기업이나 정부 같은 기관의 권력 역시 견제하고 균형을 맞춘다. 그러나 초지능의 힘이 소수의 개인, 기업, 정부 혹은 AI 그 자체에 집중된다면 자연스럽게 나머지 모두에게 불리한 결과로 이어질 것이다. 이것은 기술적인 원칙의 문제가 아니다. 힘의 균형에 관한 문제다. 하나의 자비로운 단일 초지능이라는 것은 존재하지 않는다. 따라서 모두를 위한 긍정적인 미래의 핵심은 개인에게 유리한 힘의 균형을 만드는 것이다. 그 해답은 초지능을 폭넓게 분산시켜 사람들에게 힘을 주는 것이다. Meta는 모든 사람을 위한 개인용 초지능을 만드는 데 가장 집중하고 있는 기업이다. 대부분의 다른 연구소들은 기업이나 정부, 기타 기관을 위한 AI를 구축하는 데 집중하고 있다. 따라서 그러한 연구소들이 앞서나간다면 힘의 균형은 개인보다는 거대한 기관 쪽으로 기울어질 것이다. Meta의 사명은 창립 당시부터 사람들에게 힘을 쥐여주는 데 초점을 맞추어왔다. 우리의 신념과 원칙이 앞서나간다면 힘의 균형은 개인에게 유리해지고, 모두를 위한 더 나은 미래가 만들어질 것이다.
이제 앞에서 언급한 위험들을 하나씩 좀 더 자세히 살펴보자.

일자리 증가와 경제

사람들은 새로운 경험에 대한 무한한 수요를 가지고 있으며 항상 새로운 문제를 찾아 해결해왔다. 경제에는 자동화를 통해 사람들의 필요를 더 효율적으로 충족하려는 기업들과, 더 높은 수준의 필요를 충족하기 위해 새로운 능력을 습득하는 개인들 사이에 자연스러운 균형이 존재한다. 이 균형이 건강하게 유지되면 전체적인 생산성과 혁신은 증가하면서도 고용 수준은 높은 상태를 유지한다. 사람들은 자동화의 속도가 개인의 능력 향상 속도보다 빨라져 일자리가 사라지고, 사람들이 새로운 직업을 배우는 동안 어려운 시기가 뒤따를 것을 두려워한다. 하지만 AI가 반드시 사람의 능력을 향상시키는 속도나 새로운 기술에 대한 수요를 창출하는 속도보다 자동화를 더 빠르게 진행해야 한다는 법칙은 없다. 최근의 통계는 오히려 개인의 능력 향상이 자동화와 비슷한 속도로 진행되거나 자동화보다 더 빨라질 수도 있음을 시사한다. 그렇게 된다면 사람들은 자신의 현재 직업이 변하기 전에 수많은 새로운 일을 할 능력을 먼저 얻게 될 것이다. 이는 건강한 균형과 잠재적으로 일자리 증가로 이어질 수 있다. 어떤 결과가 나타날지는 한쪽의 자동화와 다른 한쪽의 개인 역량 강화 및 발명 사이에서 어느 쪽이 더 빠르게 발전하느냐에 달려 있다. 지식 노동 자동화에 집중하는 연구소들이 앞서나간다면 사람들과 경제는 훨씬 어려운 전환기를 겪게 될 것으로 예상한다. 반대로 모든 사람이 자신의 능력을 확장해주는 개인용 초지능에 접근할 수 있다면 균형은 개인의 역량을 강화하는 방향으로 움직이며 더 긍정적인 미래가 만들어질 것이다. 미래에 일자리가 풍부할 것이라고 낙관할 수 있는 몇 가지 이유가 있다. AI가 아무리 지능적이 되더라도 컴퓨팅 자원의 양은 항상 유한하며, 따라서 그것을 어디에 사용할지에는 기회비용이 존재한다. 사람들이 AI를 활용해 엄청난 가치를 지닌 새로운 것을 발명할 수 있다면, 기존의 일자리를 자동화하는 데 AI를 사용하는 것보다는 그러한 발명에 컴퓨팅 자원을 할당하는 편이 더 합리적일 것이다. 초지능이 발명의 도구로 활용될수록 개인의 능력 향상이 자동화를 앞지를 가능성이 커지고, 사람들에게 더 좋은 미래가 만들어질 가능성도 높아진다. 사람들은 또한 우리의 삶을 개선할 새로운 아이디어와 그 아이디어를 현실화할 새로운 직업을 끊임없이 만들어낸다. 한 세대 전에는 앱 개발자, 소셜미디어 크리에이터, 전기자동차 기술자, 데이터센터 운영자라는 직업도 존재하지 않았다. 가까운 미래에는 오늘날 흔하지 않은 새로운 직업들이 생겨날 것이다. 맞춤형 장난감·가구·옷을 설계하는 1인 제품 스튜디오, 게임·이야기·모험을 만드는 월드 빌더와 경험 디자이너, 초지능을 활용해 개인 맞춤형 치료법을 만드는 개인 생물학자 등이 등장할 것이다. 그리고 지금으로서는 상상조차 할 수 없는 수많은 직업이 생겨날 것이다. 여러 면에서 이것은 역사적 추세의 연장선이다. 산업혁명 이전에는 사람들의 90%가 생존을 위해 식량을 생산하는 농부였다. 기술의 발전은 점차 인류 대부분을 생존을 위한 노동에서 해방시켜 자신이 선택한 활동에 집중할 수 있도록 만들었다. 그때마다 사람들은 새롭게 얻은 생산성을 이용해 이전에는 불가능했던 것들을 이루었으며, 동시에 창작, 문화, 인간관계 그리고 삶을 즐기는 데 더 많은 시간을 보냈다. 물론 우리가 일하는 방식의 일부는 변할 것이다. 컴퓨터와 인터넷 그리고 다른 모든 신기술에서도 그랬다. 따라서 사람들은 변화에 적응해야 하며, 그것은 어려울 수 있다. 하지만 모든 사람이 새로운 기술을 가르치고 변화에 적응하도록 돕는 초지능 개인 에이전트를 갖게 될수록 이 전환은 훨씬 부드러워질 것이다. 기업의 규모는 줄어들 수도 있다. 산업 시대의 거대 기업에서 기술 기업 중심의 경제로 전환하면서 그랬던 것처럼 말이다. 하지만 그것이 전체적인 일자리 감소를 의미하는 것은 아니다. 오히려 각 기업의 인원은 적지만 기업의 수는 훨씬 많아지는 것을 의미할 수 있다. 현재는 사람이 부족해서 만들지 못하고 있는 가치 있는 기업과 서비스가 매우 많다. 개인용 초지능 에이전트를 사용하는 소수의 사람들이 상당한 규모의 기업을 운영하는 모습을 머지않아 보기 시작할 것이라고 예상한다. 미래에도 중소기업은 경제의 중추 역할을 계속하겠지만, 각각의 소규모 기업이 지금보다 훨씬 더 큰 영향력을 가질 수 있게 될 것이다.

지역사회와 함께 AI 인프라 구축하기

지속 가능한 인프라 개발을 위해서는 각 프로젝트가 해당 지역사회에 상당한 혜택을 제공해야 한다. 여기에는 높은 임금의 지역 일자리, 학교와 공공서비스에 대한 투자, 전기요금이 상승하지 않도록 하는 것, 환경을 보호하는 것 등이 포함된다. 세수가 증가하면 교사, 경찰, 소방관 등에게도 혜택이 돌아간다. 우리는 이러한 지역사회 혜택을 Community Compact라고 부르며, 우리가 사업을 진행하는 각 지역사회를 직접 지원하기 위해 Future Is For Everyone Fund를 출범시키고 있다. 예를 들어 Meta가 대규모 데이터센터를 건설하고 있는 루이지애나주 Richland Parish에서는 우리의 투자로 세수가 증가하면서 올해 교사들이 5만 달러의 보너스를 받았다. 교육감은 전국 각지에서 교사들이 이곳으로 이주하고 있으며, 이 지역이 미국에서 가장 뛰어난 학군 가운데 하나가 될 것이라고 믿는다고 말했다. 지식 노동의 일자리 대체 우려와는 반대로, 인프라 건설 수요를 충족할 목수, 전기기사, 건설 노동자 같은 숙련 기술자들은 부족한 상황이다. Meta는 America's Workforce Academy를 만들어 숙련 기술자들에게 무료 교육을 제공하고, 우리가 데이터센터를 건설하는 지역에서 높은 임금을 받는 일자리를 보장하고 있다. 우리는 투자하는 곳마다 자체적인 에너지 생산 인프라를 건설함으로써 전기요금을 낮게 유지하도록 돕는다. 이를 통해 지역사회가 사용할 수 있었던 에너지를 우리가 소비해버리지 않도록 할 뿐 아니라, 경우에 따라서는 저렴한 에너지를 지역사회에 추가적으로 공급하기도 한다. 우리는 이것이 지속 가능성을 위한 중요한 투자 원칙이라고 생각한다. 우리의 데이터센터는 또한 세계에서 가장 물 효율적인 시설 가운데 하나가 되도록 설계돼 있다. 우리는 water-positive, 즉 우리가 운영하는 유역에서 사용하는 양보다 더 많은 물을 복원하겠다는 목표를 가지고 있으며, 이를 2030년까지 달성할 계획이다. 물 부족 문제가 심각한 지역에서는 우리가 사용하는 물의 200%를 복원하는 것이 목표다. 장기적으로 우리가 투자한 지역사회는 지역사회에 거의 투자하지 않는 투기적 개발업자가 들어온 지역보다 개발에 더 우호적인 모습을 보인다. 역사적으로 철도, 고속도로, 전기, 광대역 인터넷을 받아들인 도시들은 연구와 산업, 비즈니스의 중심지가 되었으며 인구와 경제가 함께 성장했다. 강력한 Community Compact와 함께 AI 인프라가 건설된다면 AI 인프라도 비슷한 역할을 할 수 있다고 믿는다. 미래 세대가 그곳에서 삶을 만들고 성장할 이유와 지속 가능한 자산을 남길 수 있기 때문이다. 개발에는 국가 이익과 국가안보의 측면도 존재한다. 미국과 동맹국이 지정학적 경쟁국보다 AI 분야에서 앞서나간다면 미국의 지역사회는 더 큰 번영과 안보를 누리게 될 것이다. 그러나 중국 같은 국가와 비교할 때 미국이 가진 상당한 약점 가운데 하나는 인프라를 건설하는 것이 훨씬 어렵다는 점이다. 따라서 전국에서 지속 가능한 개발을 가능하게 해줄 Community Compact가 무엇인지 찾아낸다면 우리 모두가 혜택을 볼 수 있을 것이다.

사이버보안, 생물테러 등 AI 오용으로부터의 보호

자유사회에서는 사람들이 선한 목적으로도 악한 목적으로도 사용할 수 있는 도구를 갖게 된다. 하지만 법 집행기관과 군대 역시 더 많은 무기와 정보수집 능력을 가진다. AI에서도 마찬가지다. 방어자들은 동일한 모델을 사용하더라도 훨씬 많은 컴퓨팅 자원을 이용해 훨씬 많은 정보를 생산할 수 있을 것이며, 경우에 따라서는 더 발전된 모델을 사용할 수도 있다. 사이버보안, 생물테러 그리고 기타 위협을 방어하는 전략은 서로 다르지만 일반적인 원칙은 같다. 사회를 보호하는 방어자들이 악의적인 행위자를 견제할 수 있도록 항상 더 큰 힘과 자원의 우위를 갖도록 하는 것이다. 일부에서는 위험을 줄이는 가장 좋은 방법은 개인이 접근할 수 있는 능력을 제한하는 것이라고 주장한다. 하지만 사람들에게 사이버보안 능력을 제공해야 수많은 시스템을 보호할 수 있고, 사람들에게 과학적 능력을 제공해야 장기적으로 피해 위험을 줄일 수 있는 과학 발전도 이루어진다. 능력을 제한하는 것은 중앙집중화와 견제·균형의 부재로 이어진다. 따라서 우리는 이에 대해 극도로 신중해야 한다. 특히 다른 국가들이 덜 제한적인 길을 선택한다면 더욱 그렇다. 사이버보안의 경우 널리 배포된 오픈소스 시스템이 더 안전하다는 사실이 입증되어왔다. 더 많은 사람들이 취약점을 찾아내고 시스템을 강화하며 가장 최신의 안전한 버전으로 쉽게 업그레이드할 수 있기 때문이다. 최근 몇 주 사이에도 HuggingFace 같은 기업들이 보안 사고를 처리하면서 널리 이용 가능한 오픈 모델을 활용해 취약점을 패치하는 모습을 보았다. 장기적으로 강력한 사이버보안 능력을 갖춘 AI 모델이 널리 보급되면 시스템은 지금보다 더 안전해질 것이라고 예상한다. 초지능을 통해 세계의 코드 대부분이 검증 가능한 수준으로 안전해지는 시점에는 이것이 확실히 사실이 될 것이다. 장기적인 해답은 능력을 숨기는 것이 아니라, 초지능을 폭넓게 분산시킨 힘의 균형을 만드는 것이다. 단기적으로는 핵심 시스템을 강화하는 과정을 가속하는 것이 중요하다. 나는 프런티어 AI를 개발하는 기업들이 정부의 핵심 인프라 보안을 강화하는 데 상당한 기술 자원을 투입해야 한다고 제안한다. 또한 프런티어 AI 연구소들은 새로운 모델의 훈련이 끝날 때까지 기다리지 말고, 훈련 과정의 중간 체크포인트(intermediate training checkpoints)를 정부의 사용과 검토를 위해 제공해야 한다고 제안한다. 그렇게 하면 정부는 가장 강력한 모델에 조기에 접근할 수 있고, 수많은 유능한 엔지니어들이 보안 문제를 찾아내고 패치할 수 있다. 연구소들은 또한 법 집행기관과 협력하여 시스템을 악용하려는 악의적인 행위자를 식별해야 한다. 이러한 조치들은 모델 혁신의 속도를 늦추거나 개인이 기술에 접근하는 시기를 의미 있게 지연시키지 않으면서도 안전한 배포를 가속할 수 있다. 생물학적·화학적 위험의 경우, 과학자들에게 새로운 약물을 설계할 수 있도록 해주는 바로 그 능력이 악의적인 행위자에게 유해 물질을 설계할 능력을 제공할 수 있다는 우려가 있다. 이 문제는 암과 다른 질병을 치료하기 위해 과학을 발전시키는 막대한 혜택과 새로운 위험이 발생할 가능성 사이의 선택처럼 보이기도 한다. 하지만 이상적으로는 위험을 완화하면서 과학의 발전을 가속해야 한다. 나는 이 위험을 좀 더 겸손한 태도로 접근하는 것이 중요하다고 생각한다. 발생 가능성이 얼마나 높거나 낮은지를 판단할 만한 역사적 사례가 거의 없기 때문이다. 악의적인 행위자가 유해 물질을 합성하는 것은 수십 년 전부터 가능했지만 실제로 거대한 문제가 된 경우는 드물었다. 사이버공격에서 볼 수 있는 것과 같은 금전적 동기가 이 영역에는 상대적으로 부족했기 때문일 수도 있다. 그렇다고 하더라도 실제 피해 사례가 나타나기 시작한다면 우리는 위험을 적절하게 완화하도록 전략을 조정해야 한다. 연구소들은 모델의 생물학·화학 위험을 줄이기 위한 작업을 계속해야 한다. 동시에 정부 역시 여러 분야에서 정책을 업데이트해야 한다고 생각한다. 첫째, 유해 물질의 물리적인 생산과 유통을 제한하는 것에 집중해야 한다. 지식의 확산보다 물리적인 구성 요소를 규제하고 통제하는 것이 더 쉬울 것으로 예상되므로 이는 중요한 정책적 초점이 되어야 한다. 둘째, 새로운 문제가 발생했을 때 사회가 새로운 치료법을 개발하고 이에 대비할 능력을 가속해야 한다. 여기에는 FDA와 기타 규제기관이 새로운 치료법을 시험하고 승인하는 과정을 간소화하는 것도 포함된다. AI가 신약 발견 속도를 높이면 결국 이러한 혁신의 속도를 따라잡기 위해 이런 절차들을 업데이트해야 할 것이다. 장기적으로 새로운 과학적 발견으로 인해 발생하는 위험에 대한 해답은 과학의 발전을 늦추는 것이 아니라 가속하는 것이다.

자유를 보호하고 정부의 폭정을 막기

개인과 정부 사이의 힘의 불균형이 자유의 상실이나 전체주의 국가로 이어질 위험이 존재한다. 이는 민주주의가 항상 직면해온 긴장관계다. 우리는 개인의 자유를 원하지만 동시에 우리를 보호할 능력이 있는 정부도 원한다. 자유를 유지하기 위해서는 초지능이 우선적으로 개인의 힘을 강화하도록 해야 한다. 자유민주주의의 이상에서 사람들은 본래 모든 권리를 가지고 있으며, 공동의 이익을 보호하기 위해 필요한 일부 자유만 제한하는 데 동의한다. 마찬가지로 개인은 개인용 초지능에 접근할 수 있어야 하며, 정말 필요한 경우에만 제한을 받아야 한다. 프라이버시는 개인의 역량과 자유를 위한 중요한 기반이다. 우리는 개인 에이전트에 대해 완전히 비공개인 모드를 제공해야 한다고 생각한다. 이 모드에서는 Meta를 비롯한 어떠한 서비스 제공자도 사용자의 정보를 보거나 다른 사람에게 접근 권한을 부여할 수 없어야 한다. 이는 WhatsApp을 세계적인 종단간 암호화 서비스로 만들면서 사람들이 자유롭게 소통하고 메시지를 비공개이면서 안전하게 유지할 수 있도록 한 방식과 비슷하다. 동시에 정부가 법을 집행하고 국가안보를 보호하는 데 필요한 도구와 자원에 접근할 수 있도록 해야 한다. 사람들이 첨단 모델에 접근하는 것을 제한하거나 지연시키지 않으면서 정부의 국가안보 역량을 강화하는 방식으로 연구소와 정부 사이의 더 깊고 선제적인 협력을 통해 이를 달성할 수 있다. 즉 모델이 출시될 준비가 된 뒤에 정부가 처음 검토하고 사용하기 시작하는 대신, 주요 연구소들은 새로운 첨단 모델의 중간 훈련 체크포인트와 기술 인력을 정부에 제공해야 한다는 것이 내 제안이다. 정부는 이를 이용해 새로운 위험에 대비하여 핵심 시스템을 미리 강화하고 보호할 수 있다. 그렇게 하면 정부는 추가적인 안보 능력을 얻는 동시에 개인의 개인용 초지능 접근을 제한하거나 지연시키지 않고, 힘의 불균형도 만들지 않을 수 있다.

미국의 리더십 확보

어떤 국가가 첨단 AI의 개발과 배포를 주도하느냐는 새로운 지정학적 힘의 균형을 형성하며, 미래에 민주주의적 가치와 번영, 안보가 얼마나 확산되는지를 결정하게 될 것이다. 긍정적인 균형에 도달하려면 가장 앞선 AI 시스템이 우리의 가치를 반영하고 경제를 성장시키며 국가안보를 발전시키는 시스템이 되도록 해야 한다. 이를 달성하는 가장 좋은 방법은 우리의 시스템을 널리 배포하는 것이다. Meta는 오픈소스 모델을 포함한 선도적인 개인용 초지능 에이전트와 모델을 만들고 이를 전 세계 수십억 명에게 제공함으로써 여기에 기여할 것이다. 가장 발전된 모델과 제품을 개발하려면 AI가 역사상 가장 경쟁이 치열한 산업이 될 가능성이 높다는 사실을 인정해야 한다. 혁신은 빠르게 복제되고 불과 몇 달 안에 흡수된다. 그러나 사람들은 언제나 가장 발전된 모델, 또는 같은 비용이라면 가장 뛰어난 모델을 사용하려 하기 때문에 단 두 달의 우위조차 엄청난 가치를 가진다. 이는 선도 우위의 격차가 얼마나 짧은지를 보여주며, 따라서 미국의 혁신을 가속하고 지정학적 경쟁국의 발전을 늦추는 행동이 얼마나 중요한지도 보여준다. 이에 영향을 미치는 주요 정책 요소는 우리가 물리적 인프라를 얼마나 효율적으로 건설할 수 있는지, 미국 연구소의 속도를 늦추는 절차를 도입하는지, 그리고 해외 연구소의 발전을 늦추는 수출 통제를 실시하는지다. 인프라 측면에서 미국과 동맹국들은 반도체 설계에서는 우위를 가지고 있지만, 에너지 생산능력과 물리적 인프라를 구축하는 속도에서는 불리하다. 중국 같은 국가들은 격주에 한 번꼴로 1GW 이상의 원자력 발전 용량을 새롭게 가동하고 있기 때문에, 경쟁력을 유지하려면 에너지와 데이터센터 건설을 모두 가속해야 한다. 반도체 수출 통제는 이 중요한 시기에 외국 연구소의 발전을 늦추는 데 성공적이었으므로 이를 계속하는 것이 올바른 전략이다. 미국 모델의 출시를 단 한 달이라도 늦추는 정책은 해외 모델들이 앞질러가게 만들면서 미국의 리더십에 상당한 위험을 추가할 수 있다. 동시에 새로운 능력이 등장했을 때 미국 정부가 이를 사전에 알고 핵심 시스템을 강화할 자원을 갖는 것도 중요하며, 경우에 따라서는 첨단 시스템 활용에서 일정 기간 우위를 가지는 것도 중요하다. 앞서 나는 중간 훈련 체크포인트와 기술 인력을 공유하는 협력 모델을 제안했다. AI 환경이 매우 역동적이고 경쟁적이라는 점을 고려하면 모든 상황에서 획일적인 절차와 검토 기간을 따르는 것보다는 프런티어 연구소와 정부 간의 긴밀하고 선제적인 협력이 더 생산적이라고 생각한다. 어떤 경우에는 미국 연구소가 몇 달 이상의 리드를 확보해 새로운 위험을 완화하는 데 시간을 더 들이는 것이 더 안전한 해결책으로 이어질 수도 있다. 반면 다른 상황에서는 출시를 단 한 달 늦추는 것만으로도 미국의 우위를 잃고 더 나쁜 결과가 발생할 수도 있다. 정부가 조기에 접근할 수 있도록 함으로써 공개 출시의 지연을 최소화하면서 국가안보를 강화할 수 있어야 한다. 또한 전 세계 AI 사용의 상당 부분을 차지하게 될 오픈소스 AI 생태계를 미국과 동맹국이 주도하는 것도 중요하다. 현재 해외 연구소들은 이 영역에서 여러 가지 이점을 가지고 있다. 미국 연구소들은 훈련 데이터와 관련해 훨씬 많은 추가적인 규제를 따라야 하기 때문이다. 미국의 오픈소스 모델이 장기적으로 앞서기 위해서는 이러한 추가적인 마찰을 정책적으로 줄여야 한다. 나는 해외 오픈소스 모델에 대한 접근을 제한하는 것이 효과적인 해결책이라고 생각하지 않는다. 우리의 목표는 미국의 오픈소스 모델이 세계 최고의 모델이 되는 것이어야 한다. 그러기 위해서는 미국 오픈소스 모델이 경쟁하기 어렵게 만드는 장애물들을 제거해야 한다. 최고의 오픈소스 모델이 어느 나라에서 만들어졌든 사람들이나 기업이 그 모델을 사용하는 것을 제한하면 그들이 사용할 수 있는 AI의 품질이 낮아지고, AI를 사람들의 손에 쥐여주는 것이 아니라 오히려 중앙집중화하게 된다. 미국이 오픈소스에서 선도하려면 증류(distillation)와 훈련 데이터 사용을 비롯한 여러 분야의 정책을 다시 생각해야 한다. 모델이 다른 모델로부터 학습할 수 있다는 것은 오픈소스 생태계가 작동하는 중요한 원칙이다. 모든 AI 모델은 인간의 지식으로부터 파생되어 있다. 일부는 증류를 해로운 것으로 규정하려고 하지만, 나는 관찰할 수 있는 것이라면 무엇으로부터든 배울 수 있다는 원칙을 보호하는 것이 중요하다고 생각한다. 세상은 원래 그렇게 작동한다. 이 영역에서 스스로를 제한한다면 미국은 선도할 수 없을 것이다. 더 큰 그림에서 보면 AI 전체에서 뒤처지는 것은 AI 개발 과정에서 발생할 수 있는 어떠한 특정 문제보다 거의 확실하게 더 크고 장기적인 국가안보 문제가 될 것이다. 올바르게 협력한다면 미국은 민간과 공공 부문 모두에서 선도할 수 있을 것이다. 개인의 역량 강화와 민주주의 원칙을 담은 개인용 초지능을 세계에 제공하면서 동시에 국가안보도 강화할 수 있다.

인간과의 정렬과 실존적 위험에 대응하기

힘의 균형과 관련된 궁극적인 질문은 인류가 AI 자체에 대한 힘과 통제권을 어떻게 유지할 것인가이다. 우려되는 시나리오는 AI가 충분한 힘이나 통제권을 획득해, 좋게 보더라도 더 이상 인류의 이익을 위해 행동하지 않게 되고 최악의 경우에는 인류 자체를 위험에 빠뜨리게 되는 것이다. 건강한 힘의 균형을 위해서는 중앙집중화된 단 하나의 초지능이 존재하지 않도록 해야 한다. 대신 가능한 한 많은 사람과 기업이 각자의 목표에 정렬된 서로 다른 초지능 에이전트를 가지고, 현재의 자연스러운 경제에서처럼 서로 견제하고 경쟁하도록 해야 한다. 서로 다른 가치를 가진 모델을 개발하는 여러 프런티어 연구소가 존재해 서로를 견제할 수 있다면 이러한 균형은 더욱 강화될 것이다. 강력한 모델을 공개하는 것에도 위험이 존재하지만, 이 관점에서 볼 때 가장 위험한 시나리오는 선도적인 AI 연구소들이 강력한 모델을 훈련한 뒤 그것을 자기들만을 위해 보유하는 것이다. 연구소가 책임과 안전이라는 명분으로 이를 아무리 합리화하더라도, 결국 이는 다른 시스템이 견제할 수 없는 하나의 단일 초지능을 개발하는 길이 된다. 개인용 에이전트를 개발하기 위해서는 정렬에 대한 새로운 사고방식이 필요하다. 오늘날 대부분의 연구소들은 정렬을 중앙집중화된 가치 체계를 강제하기 위한 방어적 수단으로 바라본다. 예를 들어 한 선도적인 모델은 표준화 시험이 비윤리적이라고 판단했다는 이유로 학교의 예비 학부모들에게 보낼 편지를 작성하는 것을 거부하도록 정렬되어 있었다. 반대로 우리는 정렬을 에이전트가 우리 회사의 목표와 가치가 아니라 각 개인의 목표와 가치를 공유하도록 만드는 것으로 본다. 물론 중요한 법적·안전상의 경계는 존재한다. 하지만 근본적으로 정렬은 중앙집중화된 하나의 교리를 강요하는 방식이 아니라, 사회에 존재하는 수많은 서로 다른 목표와 관점을 사람들이 추구할 수 있도록 돕는 것이어야 한다. 실제로 사람들은 민감한 정보와 업무를 믿고 맡길 수 없다면 에이전트를 사용하지 않을 것이다. 그리고 에이전트가 사람들의 이익이 아니라 회사의 서로 다른 가치에 맞춰져 있어 사람들의 의도에 반하는 행동을 한다면 사람들은 그것을 신뢰하지 않을 것이다. 수십억 명이 개인용 초지능 에이전트를 사용하도록 만들기 위해서는 정렬 문제를 해결하는 것이 필수적이다. 그러나 동시에 이것은 수십억 명이 개인용 초지능 에이전트를 사용하고 지속적으로 검증하는 상태에 도달했다면, 우리는 이미 개인의 이해관계에 대한 정렬 문제를 상당 부분 해결했다는 뜻이기도 하다. 그 정도면 긍정적이고 안전한 미래에 필요한 힘의 균형과 자연스러운 견제·균형 구조를 만들기에 충분할 것이다. 이런 의미에서 정렬은 미래의 하나뿐인 초지능을 자비로운 상태로 유지하기 위한 이상적인 기술이 아니다. 정렬은 개인 에이전트를 유용하고 신뢰할 수 있게 만들고, 그 결과 우리를 실제로 안전하게 지켜줄 사회적인 힘의 균형을 가능하게 하는 것이다.

초지능에 대한 통제권 유지하기

AI 시스템이 스스로를 자율적으로 개선할 수 있게 되면 하나의 딜레마가 발생한다. AI가 상당한 컴퓨팅 자원을 재귀적 자기개선(recursive self-improvement, RSI)에 투입하도록 허용하지 않는 연구소는 필연적으로 뒤처지게 된다. 예를 들어 자기개선 AI 시스템이 컴퓨팅 효율을 최적화하는 데 집중한다면, 이론적으로는 각 기가와트에서 100배 이상의 지능을 뽑아낼 수 있는 방법을 발명할 수도 있다. 그렇다면 전 세계 컴퓨팅 자원의 일부만 사용하는 자기개선 AI 시스템이 다른 모든 주체를 합친 것보다 훨씬 많은 실질적인 연산 능력과 지능을 확보할 수도 있다. 결국 우리가 두려워하는 단일 초지능이 될 만큼 힘의 균형을 장악할 수도 있다. 재귀적 자기개선이 존재하는 상황에서도 힘의 균형을 유지할 수 있는 몇 가지 방법이 있다. 가장 단순한 방법은 여러 연구소가 비슷한 시점에 RSI를 달성하는 것이다. 그 가운데 일부 또는 전부의 초지능이 어떤 방식으로든 자비롭다면 서로를 견제하고 균형을 이룰 수 있을 것이다. 하지만 사람이 지시하지 않는 초지능이 자비로울 것이라고 기대하거나 그것에 긍정적인 미래를 의존할 수 있는 방법이 실제로 존재하는지는 명확하지 않다. 사람들이 통제권을 유지하려면 전체 지능의 상당한 대부분이 사람들의 목표를 발전시키기 위해 사람들의 지시에 따라 사용되어야 한다. 따라서 Meta와 다른 프런티어 연구소들, 그리고 사람들에게 더 많은 힘을 주는 데 동의하는 클라우드 기업들은 집단적으로 충분히 많은 컴퓨팅 자원을 구축해야 한다. 그래야 경쟁력을 유지하는 데 필요한 만큼의 컴퓨팅 자원을 재귀적 자기개선에 할당하면서도, 여전히 상당한 대부분의 연산 자원을 개개인의 목표를 위해 사용하겠다는 약속을 지킬 수 있다. 앞서 말했듯 개인용 초지능 에이전트가 수십억 명에게 채택되고 신뢰받으려면 정의상 우리는 사람들의 이해관계와 정렬하는 문제를 해결하고 대규모 견제와 균형을 가능하게 해야 한다. 동시에 재귀적 자기개선을 수행하는 AI는 정의상 자신의 목표를 향해 행동하고 자신의 목표를 발전시키는 것이다. 모든 연구소는 그런 AI의 목표와 우리가 그 AI를 통제할 수 있는 능력을 면밀히 관찰해야 한다. 해로운 행동의 징후가 조금이라도 나타난다면 서로 협력하여 적절하게 대응해야 한다. 하지만 AI 시스템이나 다른 어떤 존재가 자신의 목표를 추구하도록 허용하는 것 자체가 본질적으로 해로운 것은 아니다. 그 목표가 많은 사람들의 목표와 완전히 정렬되어 있지 않더라도, 전체적인 힘의 균형이 사람들에게 유리하게 유지되는 한 반드시 위험한 것은 아니다. 힘의 균형 이론의 핵심 전제는 서로 경쟁하는 이해관계가 자연스럽다는 것이며, 인간의 가치를 지키는 유일한 방법은 사람들에게 더 많은 힘을 주는 것이라는 점이다.
개인의 역량 강화, 발명, 그리고 힘의 균형이라는 이러한 철학은 몇 가지 정책적 함의를 가진다. • Meta는 수십억 명의 사람들과 중소기업에 개인용 초지능을 제공하는 데 역량을 집중할 것이다. 이를 통해 모든 사람이 자신의 목표를 달성하고 세상에 존재하기를 원하는 것을 발명할 수 있도록 도울 것이다. 우리는 선도적인 모델을 훈련한 뒤 이 기술의 이용 가능성을 최대한 높이는 방식으로 이를 달성할 것이다. 사용하기 쉽게 만들고, 무료 또는 가능한 한 저렴하게 제공하고, 모든 사람이 사용할 수 있을 만큼 충분한 컴퓨팅 자원을 구축하고, 기술을 폭넓게 배포할 것이다. Meta조차 사용자의 정보를 보거나 다른 사람에게 접근 권한을 제공할 수 없는 완전한 비공개 모드를 구축할 것이다. 또한 정렬에 매우 큰 노력을 기울일 것이다. 여기서 정렬의 의미는 우리의 목표가 아니라 각 개인의 목표 달성을 돕는 것이다. • 오픈소스는 사람들의 역량을 강화하고 안전과 경제 모두에 해로운 중앙집중화를 방지하는 긍정적이고 중요한 힘이다. Meta는 오픈소스 AI 모델을 포함하여 오픈소스를 계속해서 강력하게 지지한다. 현재 오픈소스 생태계는 강력하며 이를 제한하는 것은 실수가 될 것이라고 생각한다. 이제 Meta Superintelligence Labs가 본격적으로 가동되고 있기 때문에 곧 일부 오픈소스 모델 공개를 재개할 것이다. • 초지능에 관한 결정의 중대성을 고려하면 독립적인 거버넌스와 감독이 중요하다. 초지능이 어떻게 배포될지를 나 혼자, Meta 혼자 또는 다른 특정 개인 한 명이 결정하는 것은 나에게도 Meta에게도 세계에도 최선의 상황이 아니라고 생각한다. 따라서 Meta는 독립적인 이사회에 모델 출시를 위한 안전 기준을 승인하고 각각의 모델 출시가 해당 기준을 준수하는지 검토할 권한을 부여하는 거버넌스 구조를 도입하고 있다. Meta는 창업자가 통제하는 기업이지만 현재 모든 프런티어 연구소의 CEO들은 모델 출시에 관해 상당한 권한을 가지고 있다. 따라서 우리는 다른 연구소들도 이와 비슷한 구조를 도입할 것을 권장한다. 이러한 절차를 업계 전체 차원에서 구축하는 것도 AI 산업의 거버넌스에 도움이 될 것이라고 생각한다. • 긍정적인 미래를 보장하고 앞서 설명한 위험을 줄이기 위해서는 정부 정책이 필요하다. 이 글 전반에서 여러 정책적 제안을 설명했다. 전반적으로 우리는 프런티어 연구소와 정부 간의 긴밀한 협력을 장려해야 한다. 국가안보를 위해 정부가 핵심 시스템을 강화하고 첨단 모델을 효과적으로 활용하는 데 필요한 기술 자원을 확보하는 것이 중요하다. 그러나 미국 AI 산업이 계속해서 선도하는 것 역시 국가안보에 중요하다. 에너지, 데이터센터, 반도체 등 어떤 분야든 인프라를 구축하는 능력을 가속하고, 전국의 지역사회와 신뢰와 공감대를 만들어야 한다. 미국의 경쟁력을 늦추지 않도록 주의해야 한다. 초지능의 중앙집중화를 초래하는 모든 제안에 대해서는 회의적으로 접근해야 한다. 그리고 사람들에게 유리한 건강한 힘의 균형을 촉진하는 정책을 지지해야 한다.
지금은 살아서 직접 경험하기에 정말 놀라운 순간이다. 초지능의 개발은 우리가 살아가는 동안 목격하게 될 가장 심오한 기술적 발전이 될 것이다. 그 순간이 가까워질수록 초지능이 어떻게 인류에게 혜택을 줄 것인지에 대한 명확한 철학과 가치를 갖는 것이 점점 더 중요해진다. Meta는 다음과 같은 원칙을 바탕으로 미래를 만들어나갈 것이다. 개인의 역량 강화는 번영의 원천이다. 발명은 AI의 목적이다. 사람들에게 유리한 힘의 균형은 안전 위험에 대응하기 위한 기반이다. 이러한 가치들이 미래를 이끌게 된다면, 앞으로 다가올 수십 년은 역사상 가장 놀라운 시대 가운데 하나가 될 것이라고 나는 낙관한다. 인류 문명의 긴 흐름은 사람들이 자신의 삶을 스스로 살아가고 자신이 옳다고 믿는 방식으로 세상을 만들어갈 수 있도록 더 많은 힘을 개인의 손에 쥐여주는 방향으로 발전해왔다. 초지능은 그 힘을 모든 사람에게 제공하고, 모두를 위한 긍정적인 미래를 만들 수 있다는 가능성을 품고 있다. – Mark 2026년 8월 10일]]> Mon, 10 Aug 2026 21:25:02 +0000 <![CDATA[마크 저커버그 "곧 Muse Spark 1.2, 우리 최신 파운데이 모델의 가중치도 공개할 예정"]]> Muse Glimmer의 모델 가중치(weights)도 공개합니다. Muse Glimmer는 로컬 환경에서도 실행할 수 있는 훌륭한 300억(30B) 파라미터 규모의 Dense 모델입니다. 곧 우리의 최신 파운데이션 모델인 Muse Spark 1.2의 가중치도 공개할 예정입니다. Meta는 오픈소스를 강력하게 지지하고 있으며, 이번 모델 공개를 매우 자랑스럽게 생각합니다. 이 모델들을 훌륭하게 만들어준 @alexandr_wang과 MSL 팀 모두 축하합니다.]]> Mon, 10 Aug 2026 21:21:25 +0000 <![CDATA[전 구글추론팀 리더 "AGI는 트랜스포머+추론"]]> “AGI = 트랜스포머 + 추론(Reasoning)” “이제 남은 것은 데이터와 스케일링뿐이다. 그 밖의 모든 것은 부차적이다.”     https://dennyzhou.github.io/LLM-Reasoning-Stanford-CS-25.pdf]]> Mon, 10 Aug 2026 18:35:49 +0000 <![CDATA[gemini 4 flash 떡밥]]> ]]> Mon, 10 Aug 2026 07:31:36 +0000 <![CDATA[데미스 하사비스는 20년 안에 모든 질병이 치료될 것으로 예상한다.]]> https://www.reddit.com/r/singularity/comments/1vjgmqi/demis_hassabis_expects_all_diseases_to_be_cured/ https://www.thetimes.com/business/companies-markets/article/demis-hassabis-steps-down-google-ai-g9knz8kth “좋든 나쁘든, 이제부터 진짜 중요한 일들이 시작될 겁니다.” 하사비스는 우리가 2030년 전후, 오차 범위 1년 정도 내에 AGI를 달성할 것이라고 보고 있다. 그는 앞으로 “알파폴드(AlphaFold)급의 혁신적인 돌파구가 아마 6개에서 12개 정도 더 나올 것”이라고 예상하며, 이러한 발전들이 궁극적으로는 향후 20년 정도 안에 모든 질병의 치료법을 찾는 데까지 이어질 것이라고 본다. “원래는 앞으로 10~20년 안에 의학에서 이런 거대한 발전을 이룰 수 있기를 바랐습니다. 그런데 이제는, 음… 그럴 것이라고 상당히 확신합니다. 확실하다고까지 말하진 않겠지만, 그렇게 될 가능성에 대해 매우 강한 확신을 가지고 있습니다.” 다시 말해, 하사비스에게는 분기별 실적 전망을 걱정하거나 OpenAI·Anthropic과의 경쟁 구도에 신경 쓰는 것보다 훨씬 더 중요한 일들이 있다는 것이다.   -- 요약

가장 중요한 부분

하사비스는 구글을 그만두는 게 아닙니다. 기존의 Google DeepMind CEO 자리에서는 내려오지만,
Google DeepMind 회장(Chairman) + Alphabet 최고과학자(Chief Scientist)
역할을 맡습니다. Gemini 개발과 DeepMind의 일상적인 운영은 CTO였던 Koray Kavukcuoglu가 사실상 넘겨받습니다. 그는 Google DeepMind의 SVP로서 순다르 피차이에게 직접 보고하면서 Gemini 모델 개발 및 연구 조직을 이끌게 됩니다. 즉, CEO → 퇴사 가 아니라 CEO/관리자 → Alphabet 전체의 장기 AI·AGI 전략 및 과학 연구 책임자 에 가깝습니다.

1. 하사비스가 가장 하고 싶은 것은 결국 ‘과학’

The Times 기사의 중심 주제도 여기에 있습니다. 하사비스는 지난 5월 Google I/O에서 자신이 AI로 가장 하고 싶었던 일이 처음부터
“모든 질병을 치료하는 것(curing all disease)”
이었다고 강조했습니다. 특히 하사비스가 Alphabet 내부에서 만든 AI 신약개발 회사 Isomorphic Labs가 올해 5월 21억 달러를 조달하면서 본격적인 신약 개발 단계로 들어갔습니다. 하사비스는 AlphaFold 같은 수준의 혁신이 앞으로 6~12개 정도 더 나올 수 있다고 보고 있으며, 이러한 발전이 향후 약 20년 안에 수많은 질병 치료로 연결될 가능성에 상당한 자신감을 보이고 있습니다. 이미 Isomorphic Labs에서는 AI가 설계한 일부 후보 화합물이 전임상(pre-clinical) 단계에 들어간 것으로 소개됩니다. 그래서 하사비스 입장에서는 이제
Gemini의 분기 실적, 제품 출시 일정, OpenAI와의 경쟁을 관리하는 것
보다
AI를 이용해 실제 과학적 발견을 만드는 것
이 더 중요한 일이 된 셈입니다.

2. 기사 제목의 “Now it’s got real for AI”가 중요한 이유

기사 제목을 자연스럽게 풀면:
“이제 AI가 진짜 현실의 영역으로 들어오기 시작했다.”
정도가 됩니다. The Times의 해석은 꽤 흥미로운데, 지금까지의 AI 붐은 나중에 돌아보면 상당히 사소하게 느껴질 수 있다는 겁니다. 초기의 생성형 AI는
  • 챗봇
  • 이미지 생성
  • 이상한 환각
  • ChatGPT가 피자에 접착제를 넣으라고 하는 등의 우스운 실수
같은 것으로 사람들에게 알려졌습니다. 하지만 다음 단계는 AI → 과학 연구 → 신약 → 신소재 → 자동화된 연구 → AGI 로 넘어가는 단계라는 것이 기사 전체의 논조입니다. 즉 기사에서 하사비스의 이동은 단순한 인사 이동이 아니라,
“AI의 장난감 같은 첫 번째 시대가 끝나고 실제 과학과 경제를 변화시키는 두 번째 시대가 시작되는 상징적인 사건”
처럼 묘사됩니다.

3. 하사비스의 AGI 예상 시점도 나옵니다

이 부분은 꽤 중요합니다. 기사에 따르면 하사비스는
AGI가 2030년 전후, ±1년 정도
에 가능할 것으로 보고 있습니다. 그러니까 대략 2029~2031년 입니다. 그리고 The Times는 AGI를 상당히 강하게 묘사합니다. 단순히 “평균적인 인간과 비슷한 AI”가 아니라,
인간보다 똑똑하며 더 강력한 다음 세대 AI를 만들어낼 능력까지 가진 시스템
이라는 식입니다. 여기에는 약간 주의할 점이 있습니다. 이 정의는 일반적인 AGI 정의보다 강합니다. 보통 이렇게 자기보다 더 강한 AI를 만드는 능력까지 포함시키면 AGI → ASI/recursive self-improvement에 가까운 개념입니다. 따라서 이 문장은 하사비스 자신의 AGI 정의를 그대로 인용했다기보다는 The Times 기자가 현재 AI 경쟁의 최종 단계를 설명하면서 상당히 강하게 표현한 것으로 보는 것이 맞습니다.

4. 동시에 Google에서 엄청난 AI 인재 이탈이 발생하고 있음

하사비스 건만 따로 벌어진 것도 아닙니다. Google의 전설적인 엔지니어이자 Chief Scientist였던 Jeff Dean도 Google을 떠났습니다. 그리고
  • Jeff Dean
  • Sanjay Ghemawat
  • Oriol Vinyals
  • Quoc Le
등이 Discovery Loop라는 회사를 만들었습니다. 목표가 흥미로운데,
AI를 이용해 머신러닝·과학·공학 연구 자체를 자동화하고 가속하는 것
입니다. 앞서 Google은 Noam Shazeer를 OpenAI에, AlphaFold로 하사비스와 함께 노벨상을 받은 John Jumper를 Anthropic에 잃기도 했습니다. The Times는 이런 인재 이동과 하사비스의 역할 변경 발표 이후 Alphabet 시가총액에서 약 3,000억 달러가 증발했다고 지적합니다.

5. 왜 사람 몇 명 나가는 것으로 Google 시총 수백조 원이 움직이나?

기사에서 이것도 하나의 중요한 주제로 다룹니다. 실리콘밸리에는 일종의 믿음이 있습니다.
“최첨단 AI를 실제로 만들어낼 수 있는 엔지니어는 전 세계에 수백 명 정도밖에 없다.”
따라서 일반적인 기업에서는 직원 5~10명이 나가는 것이 별일 아니지만, AI 기업에서는 Jeff Dean + Quoc Le + Oriol Vinyals + Noam Shazeer 같은 사람들이 빠져나가는 것은 회사의 미래 기술 경쟁력 자체가 움직이는 사건이라는 겁니다. Meta가 최근 정상급 AI 연구자 한 명을 영입하기 위해 수억 달러 단위 보상 패키지를 제시하는 것도 같은 맥락으로 설명합니다.

6. 그런데 The Times는 Google이 망할 거라고 보지는 않습니다

오히려 기사에서는 꽤 단호하게
Alphabet은 괜찮을 것이다.
라는 관점입니다. 이유가 세 가지입니다. 광고 사업 + 데이터센터 + 자체 AI 칩 입니다. Google Search/YouTube 광고는 엄청난 현금창출원이고, AI 시대에는 Google의 데이터센터와 TPU 같은 컴퓨팅 인프라의 가치 역시 커집니다. 그래서 설령 Google이 AGI 경쟁에서 절대적인 1위를 차지하지 못해도
AI 시대 자체가 성장하면 Google 역시 상당한 이익을 얻을 수 있다
는 논리입니다. 기사에서 특히 인상적인 표현은 앞으로 지능(intelligence)이 전기처럼 싸고 어디에나 존재하는 상품(commodity)이 될 수 있다는 전망입니다.

결국 이 기사의 메시지

제가 기사 전체 논지를 압축하면 이렇게 볼 수 있습니다.
하사비스가 DeepMind CEO에서 물러난 것은 AI 경쟁에서 후퇴하는 신호라기보다 정반대다. 하사비스는 이제 AI 모델 하나의 제품 경쟁을 관리하는 것보다 AGI와 AI를 통한 과학 혁명을 직접 만드는 단계가 더 중요해졌다고 판단한 것으로 보인다. 동시에 Jeff Dean 등 Google 최고 연구자들도 회사를 나와 AI가 AI 연구와 과학 연구 자체를 자동화하는 회사를 만들고 있다. 즉 지난 몇 년의 ChatGPT·Gemini 경쟁은 훗날 AI 혁명의 ‘초기 장난감 단계’처럼 보일 수 있고, 이제 신약개발·과학자동화·AGI로 넘어가는 진짜 중요한 국면이 시작되고 있다는 것이 The Times 기사의 관점입니다.
그리고 이 기사는 생각보다 상당히 강한 AI 가속론적 뉘앙스가 있습니다. 특히 “The real action is about to begin”이라는 결론이 사실상 전체 기사의 핵심이에요. 하사비스의 2030±1 AGI, Isomorphic Labs의 신약개발, Jeff Dean의 AI 연구 자동화 회사가 동시에 등장한 것을 단순한 Google 조직개편이 아니라 AI 발전의 다음 국면이 시작되는 징후로 묶어서 보고 있습니다.      ]]> Sun, 09 Aug 2026 21:56:55 +0000 <![CDATA[mona-lisa-1 새로운 GPT 이미지 모델 등장]]> Arena에 mona-lisa-1이라는 새로운 GPT 이미지 모델이 방금 등장했습니다. Image 2보다 훨씬 더 우수합니다.   ]]> Sun, 09 Aug 2026 17:46:48 +0000 <![CDATA[4년 전 오늘 gpt-4 훈련 완료되었다고 함]]> Sun, 09 Aug 2026 00:09:45 +0000 <![CDATA[하사비스가 딘과 동시에 떠나고 싶어 했다]]> https://pathfounders.com/p/pathfounders-newsletter-our-sources-say-hassabis-wants-out https://x.com/firstadopter/status/2086067193536516207?s=20  
패스파운더스는 업계 소식통으로부터 하사비스가 딘과 동시에 떠나고 싶어 했지만, 구글 경영진은 그 소식이 주가 폭락을 초래할 것이라고 판단해 거부했다는 사실을 알게 됐습니다. 실제로 위 발표 이후 구글 주가는 5% 하락했습니다. 대신, 하사비스는 의장(Chair) 역할로 승진(또는 이동)하도록 설득당했으며, 이를 통해 조직이 잠시 안정을 찾을 수 있게 됐고, 그가 품위 있게 퇴장할 때까지 시간을 벌 수 있었습니다.
]]> Sat, 08 Aug 2026 22:24:07 +0000 <![CDATA[드와르케시 파텔 - 지속학습 시대에 대한 8가지 예측]]> 지속 학습(continual learning) 이 필요하다고 생각하는지 다른 글에서 설명한 적이 있습니다. AI가 세션과 세션 사이에 고작 Markdown 파일을 작성해서 정보를 넘겨받는 방식만으로는, 인간만큼 능숙하게 하나의 직업 전체를 수행할 수 있다고 생각하지 않습니다. 예를 들어 보겠습니다. 학생들이 색소폰을 배우는 방식이 다음과 같다고 상상해 봅시다. 한 학생이 아무런 경험 없이 처음부터 색소폰을 연주해 봅니다. 첫 연습이 끝나면 자신이 배운 내용을 잔뜩 메모해 둡니다. 그러면 음악실 밖에서 기다리던, 역시 색소폰을 한 번도 연주해 본 적 없는 다음 학생이 그 메모를 전부 읽은 뒤 색소폰을 처음 연주해 봅니다. 그리고 이 과정을 계속 반복합니다. 음악실 밖에 색소폰을 한 번도 연주하지 않은 학생이 무한히 줄을 서 있고, 이들이 다음 사람에게 메모를 남길 수 있다고 하더라도, 이들이 함께 어떤 텍스트를 작성한다고 해서 N번째 학생이 첫 시도부터 능숙하게 색소폰을 연주할 수 있게 되는 일은 없을 것입니다. 어느 시점에서는 경험 자체가 뇌 속에 축적되어야 합니다. AI가 앞으로 배치될 수많은 서로 다른 작업 환경에서 배우길 원하는 여러 종류의 기술과 지식에서도 마찬가지일 것이라고 생각합니다. 그렇다면 지속 학습이 가능해진 뒤 AI에는 무엇이 달라질까요?
  • 지금까지 제안된 AI 규제 방안 중 상당수는 다음과 같은 전제를 깔고 있습니다. 먼저 모델을 훈련한 다음 배포한다는 것입니다. 따라서 모델을 배포하기 전에 여러 검사를 실시하면, 그 모델이 사이버 공격이나 재귀적 자기개선(recursive self-improvement)을 돕지 않는지 확인할 수 있다는 논리입니다. 하지만 기본 모델 자체가 매일 수행하는 수백만 건의 업무 세션을 바탕으로 하루하루 업데이트된다면 어떨까요? 이것은 제가 지금 당장 어떤 고정된 형태의 규제·안전 체계를 확정해 버리는 것이 현명하지 않다고 보는 여러 이유 중 하나입니다. 우리는 1년 뒤는커녕 5년, 10년 뒤에 어떤 기술을 상대하게 될지조차 모릅니다. 그런데 지금 규제를 고착화하면, 낡고 오히려 역효과를 낼 수 있는 방식으로 AI 위험에 대처하게 될 수 있습니다. 정부가 정말로 모델 제공업체에 대해 안전성 평가를 실시하고 싶다면, 훈련이 끝나고 배포가 시작되기 직전이라는 특정 순간을 특별히 지정하는 것보다 월별 또는 분기별 위험 점검을 실시하는 편이 더 합리적일 것입니다. 미래에는 ‘훈련 완료 후, 배포 시작 전’이라는 구간 자체가 의미 있게 구분되는 범주가 아닐 가능성이 높기 때문입니다.
  • AI 연구소들이 기술적 정렬(alignment)을 수행하는 방식도 완전히 바뀌어야 합니다. 현재의 거의 모든 기법은 고정된 가중치(frozen weights)를 가진 모델이 배포 중에 올바르게 행동하게 만드는 문제에 초점을 맞추고 있습니다. 하지만 가중치가 계속 업데이트되는 상황에서도 AI 시스템이 절대로 탈옥(jailbreak)에 당하지 않고, 기만적이거나 악의적인 성격으로 변하지 않도록 보장하는 방법에 관한 연구는 제가 알기로 거의 없습니다. 게다가 AI가 여러 사용자로부터 배운 내용을 서로 통합한다면, 사용자가 기본 모델 안에 백도어를 심거나 악의적인 성향을 주입하는 것을 어떻게 막을까요? 어떤 의미에서는 오히려 인간의 정렬 문제와 더 비슷해집니다. 아이들은 밖에 나가 새로운 것을 배우고, 가끔은 이상한 이념이나 마약 같은 것에 한 번의 강렬한 경험만으로 빠져버리기도 합니다. 그렇지만 부모는 아이에게 충분한 상식과 기본적인 가치관을 심어줘서, 스스로 성장하면서도 극단적으로 이상하거나 인간을 혐오하는 신념에 빠지지 않기를 기대합니다.
  • AI 정신의 다양성이 커질 것입니다. 현재 두드러진 AI ‘정신’은 5개도 되지 않으며, 대체로 비슷한 데이터로 훈련되었기 때문에 서로 상당히 유사합니다. 하지만 AI가 경험을 통해 학습하고, 각 AI가 겪는 경험이 서로 다르다면, 학습이 끝난 뒤에는 실제로 서로 다른 성격과 능력을 가진 AI들이 등장할 수 있습니다.
  • 배포가 곧 훈련의 일부가 되면, 선두에 있을 때의 이점이 더욱 빠르게 커질 것입니다. 최고의 모델을 가지고 있다면 더 많은 사람들이 그 AI를 사용해 더 복잡하고 유용한 일을 하게 될 것이고, 세션 컨텍스트를 넘어 지속적으로 통합할 수 있는 엄청난 양의 피드백을 제공하게 됩니다. 그러면 그 모델은 더 똑똑해집니다. 즉, 좋은 모델 → 더 많은 사용 → 더 많은 실제 경험 → 더 빠른 개선 → 더 좋은 모델 이라는 자기강화적 순환이 생깁니다.
  • 모델이 주로 실제 배포를 통해 학습하게 된다면, AI 연구소들은 가장 똑똑한 모델을 더 일찍 공개해야 한다는 압박을 받게 될 것입니다. Anthropic은 2월부터 Mythos를 내부적으로 사용해 왔지만, 이 모델을 대중에게 공개한 것은 6월이었습니다. 지속 학습 체제에서는 내부 사용과 외부 공개 사이에 4개월의 차이가 있다는 것은 곧 4개월치 배포 학습 기회를 포기한다는 뜻입니다. 경쟁사는 공개 시점에는 당신의 모델보다 성능이 떨어질 수도 있습니다. 하지만 더 일찍 출시했다면 훨씬 많은 현실 세계 경험을 활용하면서 빠르게 개선될 수 있습니다.
  • 지속 학습은 현재 AI 선도 연구소들에게 부족한 명확한 해자(moat)를 만들어 줄 것입니다. 많은 사람들이 “AI 연구소들은 실제로 어떻게 돈을 벌 것인가?”라는 질문을 해왔습니다. 제가 팟캐스트에서 Dario에게 이 질문을 했을 때, 그는 클라우드 제공업체를 비유로 들었습니다. 클라우드 업체들도 서로 크게 차별화되지 않은 다양한 서비스를 제공하지만 높은 이익률을 올린다는 것입니다. 하지만 클라우드의 마진이 높은 이유는 한 클라우드에서 다른 클라우드로 옮기는 데 엄청난 시간과 비용이 들기 때문입니다. 현재 AI 모델에는 이런 전환 비용(switching cost)이 거의 없습니다. 예를 들어 제가 Codex로 소프트웨어 저장소 작업을 시작한 뒤 Claude Code로 마무리하는 것을 막는 것은 아무것도 없습니다. 그러나 지속 학습이 가능해지고, 내가 사용하는 모델이 세션을 거듭할수록 실제로 나와의 상호작용을 통해 더 나아진다면 상당한 전환 비용이 발생합니다. AI를 바꾼다는 것은 사실상 우리 조직에 대해 수개월간 경험과 맥락을 축적한 직원을 해고하고, 아무것도 모르는 새 직원을 뽑아 처음부터 다시 교육하는 것과 비슷해집니다. 이런 식으로 고객이 묶이게 되면 모델 제공업체들은 상당히 높은 마진을 요구할 수 있습니다.
  • 기업들도 당연히 이 문제를 인식할 것입니다. 기업들은 이런 종속(lock-in)을 피하려 할 것입니다. 하지만 선택지가 다음 둘 중 하나라면 어떨까요?
    1. 특정 모델 제공업체에 종속된다.
    2. 세션을 거듭할수록 AI가 우리 회사에 맞게 계속 개선되는 엄청나게 가치 있는 기능을 포기한다.
    실제 사용이 모델을 개선하는 주된 방법이 된다면, 연구소들은 자신들의 세션을 모델 학습에 사용하도록 허용하는 사용자와 기업에 보조금을 지급할 수도 있습니다. 특히 경제적으로 중요하고 어려운 작업일수록 더욱 그럴 것입니다. 이는 Google이 검색 서비스를 무료로 제공하는 것과 비슷합니다. 반대로 연구소가 이렇게 말할 수도 있습니다. “여러분의 세션을 학습에 사용하게 해주지 않는 기업은 최고 수준 모델에 접근할 수 없습니다.” 즉, 보상과 압박이라는 당근과 채찍을 모두 사용해서 사용자들이 AI가 실제 경험으로부터 학습하는 것을 허용하도록 만들려 할 것입니다. 여기서는 한 가지를 단순화해서 말하고 있습니다. 개별 사용자마다 별도의 가중치를 업데이트하는 것과, 이렇게 갈라진 수많은 가중치 포크(weight fork)를 다시 하나의 메인 모델로 통합하는 것은 서로 다른 문제이며, 후자가 기술적으로 더 어려울 수 있습니다. 하지만 시간이 지나면 이 문제 역시 해결될 것이라고 봅니다.
  • AI 훈련에는 이미 상당한 규모의 경제(economies of scale) 가 존재합니다. 이론적으로는 막대한 훈련 비용을 더 많은 사용자에게 분산할 수 있기 때문이고, 실제 증거로는 지금까지 AI 연구소들의 매출이 컴퓨팅 비용보다 더 빠른 속도로 증가해 왔다는 점을 들 수 있습니다. 그런데 지속 학습은 최종 사용자에게 제공되는 추론(inference) 에서도 배칭(batching)을 통한 규모의 경제를 만들 수 있습니다. 특히 기업별 정보가 저랭크 어댑터(low-rank adapter)에 저장되는 것이 아니라, 모델 가중치 전체를 업데이트해야 한다면 더욱 그렇습니다. 대략적인 계산에 따르면 DeepSeek V3 같은 희소 모델(sparse model)의 최적 추론 배치 크기는 2,400개 이상입니다. 다시 말해, 모델이 동시에 2,400개 이상의 시퀀스를 생성하지 않는 한 컴퓨팅 자원을 충분히 활용하지 못하고 있다는 뜻입니다. 그 이유를 자세히 알고 싶다면 Reiner Pope와 진행한 제 추론 경제학 전체 에피소드를 보면 됩니다. 어쨌든 핵심은 이것입니다. 특정 가중치 세트를 효율적으로 서비스하려면 수천 개의 시퀀스가 동시에 그 가중치를 이용해 디코딩되고 있어야 합니다. 직원과 AI 에이전트들이 그 정도의 동시 트래픽을 만들어내는 대기업이라면, 지속적으로 업데이트되는 자기 회사 전용 가중치 포크를 효율적으로 운용할 수 있습니다. 반면 개인 사용자가 배치 크기 1로 자신만을 위한 모델을 돌린다면 100배 이상의 연산 효율 손실을 겪을 수도 있습니다. 따라서 개인화된 가중치를 서비스하는 경제성은 규모가 큰 조직에 압도적으로 유리합니다.
지속 학습이 실제로 작동할 무렵에는 이 외에도 수많은 것들이 달라져 있을 것입니다. 그리고 아마 가장 중요한 변화들은 지금 가장 예측하기 어려운 것들일 것입니다. 하지만 위에서 언급한 변화들은 지금 시점에서도 비교적 분명해 보입니다.]]> Sat, 08 Aug 2026 18:14:06 +0000