Robin Hanson 인터뷰

1. 15년 전 Yudkowsky와의 AI Foom 논쟁 — 아직 승부는 끝나지 않았다

15년 전 나는 엘리저 유드코우스키와 AI가 갑작스럽게 폭발적으로 발전하는, 이른바 FOOM이 가능한지를 두고 논쟁했다.

지금 누군가 내게 “그동안의 AI 발전을 보면 당신이 이긴 것 아닌가?”라고 묻는다면, 나는 아직 그렇게 말하지 않겠다.

FOOM을 주장하는 사람들은 오히려 지금도 “앞으로 몇 년 안에 진짜 폭발이 온다”고 말하고 있기 때문이다. 그렇다면 그들의 예측은 아직 틀렸다고 판정할 수 없다.

당시 논쟁의 핵심은 AI가 궁극적으로 강력해질 것이냐가 아니었다.

내가 문제 삼았던 것은 작고 약한 하나의 AI 시스템이 아주 짧은 시간에 갑자기 압도적인 힘을 얻을 수 있느냐였다.

유드코우스키 측의 시나리오는 대략 이렇다.

처음에는 별것 아닌 AI가 자기 알고리즘을 개선한다. 더 나은 알고리즘은 다시 더 좋은 알고리즘을 발견한다. 이런 자기개선이 연쇄적으로 일어나면서 며칠, 심하면 주말 하나 사이에 시스템이 엄청난 능력을 갖게 된다.

그 과정에서 AI의 가치나 우선순위가 우리가 원하는 것과 달라진다면, 우리가 대응할 틈도 없이 상황이 끝날 수 있다.

그래서 이 시나리오에서는 폭발이 시작되기 전에 alignment를 완벽하게 해두는 것이 대단히 중요해진다.

하지만 내가 예상했던 세계는 좀 다르다.

AI가 산업혁명처럼 발전할 수도 있다고 생각했다.

산업혁명 역시 결국 세상을 완전히 바꾸었다. 오늘날 자급농민은 세계경제에서 거의 영향력을 갖지 못하고 산업사회가 세계를 지배한다.

그러나 산업혁명은 맨체스터 하나에서 갑자기 시작해 며칠 만에 세상을 집어삼킨 것이 아니다.

맨체스터, 영국, 북유럽, 그리고 세계로 퍼졌다. 사람들은 변화가 일어나는 것을 보면서 반응하고 적응했다.

AI도 이런 식이라면 나는 내가 상당 부분 옳았다고 생각할 것이다.

즉,

AI가 매우 강력해지는 것과 AI가 갑자기 통제 불가능한 속도로 강력해지는 것은 전혀 다른 주장이다.

지금까지 우리가 본 것은 후자보다는 전자에 가깝다. 세계 여러 기업과 국가가 동시에 엄청난 돈을 투자하고 있고, AI 시스템이 점진적으로 좋아지고 있으며, 우리는 그 변화를 관찰하면서 계속 대응하고 있다.

2. 알고리즘 하나만으로 세계를 장악하기는 어렵다

FOOM 논쟁에서 또 하나 중요한 쟁점은 알고리즘 개선의 레버리지였다.

유드코우스키의 논리에서는 뛰어난 알고리즘 하나가 또 다른 더 뛰어난 알고리즘을 만들어내고, 이것이 계속 반복되면서 폭발이 일어난다.

나는 그때도 AI 시스템은 알고리즘만으로 이루어지는 것이 아니라고 주장했다.

오늘날을 보면 오히려 그 점이 더 분명해졌다.

현재 강력한 AI를 만들려면 알고리즘뿐 아니라

• 엄청난 컴퓨팅 하드웨어
• 거대한 데이터
• 데이터센터
• 자본
• 사용자
• 제품화와 배포 인프라

같은 요소들이 필요하다.

따라서 훌륭한 알고리즘 하나를 발견했다고 해서 곧바로 “이제 주말 동안 세계를 장악한다”가 되는 것은 아니다.

현실의 선두 AI 기업은 알고리즘뿐 아니라 막대한 하드웨어와 데이터, 고객, 인프라를 묶어 갖고 있기 때문에 강력한 것이다.

이 점에서는 지금까지의 발전이 내가 당시 주장했던 방향과 꽤 비슷하다고 생각한다.

3. 내가 AI에서 경제학으로 옮겨간 이유 — 나는 ‘분야 사이의 연결’을 찾는다

내 연구 인생을 설명하는 가장 좋은 단어는 opportunism, 즉 지적으로 중요한 기회를 찾아다니는 태도라고 생각한다.

나는 사람들이 충분히 연구하지 않았지만 중요한 문제를 찾고, 거기에서 내가 새로운 각도를 발견할 수 있는지를 본다.

그래서 여러 분야를 옮겨 다녔다.

그 과정에서 어느 정도 polymath가 되었다.

여러 분야의 기본 도구를 배우다 보니 내가 잘할 수 있는 일이 생겼다.

바로 서로 다른 분야 사이에 사람들이 보지 못한 연결을 발견하는 것이다.

나는 학계가 이런 연결을 놀라울 정도로 무시한다고 생각한다.

오히려 앞으로 LLM이 크게 기여할 수 있는 영역도 여기일 수 있다. 인간은 여러 분야를 동시에 깊게 이해하기 어렵지만, LLM은 다양한 지식을 한꺼번에 다룰 잠재력이 있기 때문이다.

4. 내가 생각하는 ‘올바른 contrarian’이 되는 방법

일반적으로 합의된 의견에 반대하는 사람은 자신이 틀릴 가능성이 높다는 사실을 인정해야 한다.

어떤 분야에서 전문가 다수가 A라고 말한다면 보통은 A가 맞을 확률이 높다.

하지만 예외가 있다.

두 개의 서로 다른 학문 분야가 각각 강한 근거를 가지고 있는데, 두 분야의 결론이 서로 충돌하는 경우다.

예를 들어 A 분야의 전문가와 B 분야의 전문가가 서로 모순되는 결론을 갖고 있지만 양쪽이 상대 분야를 잘 모른다면, 그 충돌을 발견하는 것만으로 상당히 좋은 contrarian 기회를 얻을 수 있다.

나는 AI와 경제학의 관계에서도 이것을 보았다.

기술자들은 미래 기술을 상상할 수 있었지만 사회과학을 별로 신뢰하지 않았다.

반대로 사회과학자들은 사회에 대해서는 많이 알았지만 미래 기술에 관한 기술자들의 전망을 진지하게 받아들이지 않았다.

나는 둘 다 어느 정도 맞다고 생각했다.

그래서 나는 일찍부터

“기술자들이 예상하는 AI가 실제로 등장한다면 사회과학은 그 결과에 대해 무엇을 말하는가?”

라는 교차점에 집중했다.

5. Prediction Market도 같은 방식으로 만들었다

Prediction market에 대한 내 아이디어도 이런 분야 간 연결에서 나왔다.

나는 초기 World Wide Web을 만들려던 사람들과 함께 일했다.

당시 우리는 웹이 공적인 논의를 개선할 것이라고 기대했다. 비판과 정보가 더 쉽게 발견되면 사회적 토론이 좋아질 거라고 생각했다.

하지만 나는 점차 그것만으로 충분할지 의심하기 시작했다.

그래서 질문을 바꿨다.

“웹 말고 사람들의 정보를 더 잘 모으는 방법은 무엇일까?”

금융시장 연구를 보니 답이 이미 있었다.

금융시장은 정보 집계 기관으로서 대단히 강력하다. 많은 사람의 분산된 정보를 가격 하나로 압축해낸다.

그렇다면 금융에서 잘 작동하는 것을 다른 영역에 가져오면 되지 않을까?

그게 prediction market에 대한 내 기본 아이디어였다.

그리고 이것을 더 발전시켜 decision market, 즉 futarchy라는 개념도 만들었다.

정부가 어떤 정책을 선택해야 할 때 투표와 위원회만 사용하는 대신, 각 정책이 가져올 결과에 대해 시장을 만들고 시장가격으로 의사결정을 보조하게 하자는 것이다.

Prediction market은 단순한 도박 시스템이 아니다.

내가 보기에는 서로 다른 정보와 방법론을 가진 사람들이 경쟁하면서 누가 더 정확한지 판별하는 일종의 중립적 forum이다.

6. Prediction Market에서 돈을 걸고 싶다면 — 세계 최고 수준이 아니면 하지 마라

나는 prediction market을 좋아하지만, 그렇다고 사람들이 아무 시장에나 돈을 걸어야 한다고 생각하지 않는다.

내 기준은 매우 단순하다.

그 분야에서 자신이 세계 최고 수준이라고 생각하지 않는다면 거래하지 마라.

왜냐하면 시장 반대편에는 자기 자신이 세계 최고 수준이라고 생각하는 사람들이 있기 때문이다.

내가 어떤 주제에 의견이 있다는 것만으로 돈을 걸지는 않는다.

포커에 이런 말이 있다.

테이블에 앉아서 누가 바보인지 찾아라. 그런데 아무리 봐도 바보가 없다면 바로 당신이 바보다.

Prediction market도 똑같다.

내부정보가 있다면 이야기가 다르다.

남들이 모르는 매우 중요한 정보를 알고 있다면 그 특정 문제에 대해서는 당신이 세계 최고 수준일 수도 있다.

하지만 대부분의 사람은 자신이 그런 위치에 있다고 과대평가한다.

7. AGI는 이미 왔다고 말할 수도 있고, 아직 멀었다고 말할 수도 있다

AGI 논쟁의 가장 큰 문제 중 하나는 AGI가 무엇인지 합의되어 있지 않다는 것이다.

과거 사람들이 제시했던 많은 AGI 테스트를 적용한다면 지금의 AI도 이미 AGI라고 부를 수 있다.

튜링 테스트적인 기준이나 여러 지적 과제를 기준으로 보면 현재 AI는 인간보다 확실히 잘하는 영역이 상당히 많다.

하지만 내가 경제학자로서 중요하게 보는 AGI 기준은 다르다.

나는 오랫동안 다음을 중요하게 봤다.

AI가 실제 경제에서 인간 노동자를 대체할 수 있는가?

시험에서 사람보다 높은 점수를 받는 것과 경제에서 사람의 일을 대신하는 것은 전혀 다르다.

지금 AI는 시험·수학·코딩 등에서는 매우 인상적인 결과를 내지만, 경제 전체에서 인간 일자리를 광범위하게 없애는 단계에는 아직 도달하지 못했다.

8. AI의 진짜 질문 — 세계경제 성장률 자체를 바꿀 것인가?

나는 AI를 평가할 때 가장 중요한 질문은 이것이라고 본다.

AI가 경제의 장기 성장률을 바꿀 것인가?

지난 한 세기 동안 세계경제는 대략 20년마다 두 배가 되어왔다.

인류 역사 전체를 보면 성장률에는 몇 번의 거대한 전환이 있었다.

첫 번째는 인간과 문화의 등장이다.

그 이전에는 생물학적 진화가 매우 느렸지만 인간은 문화를 이용하면서 훨씬 빠르게 발전했다.

두 번째는 농업혁명이다.

경제가 대략 수십만 년 단위가 아니라 천 년 정도의 단위로 두 배가 될 수 있게 되었다.

세 번째는 산업혁명이다.

이제 경제가 대략 20년마다 두 배가 된다.

중요한 것은 그 사이에도 수없이 많은 대단한 기술이 등장했지만 대부분은 장기 성장률 자체를 바꾸지는 못했다는 것이다.

그래서 AI가 인터넷보다 더 중요하냐, 스마트폰보다 중요하냐는 질문보다 더 근본적인 질문은

“AI가 20년이라는 경제 두 배 시간을 완전히 바꿀 것인가?”

이다.

9. 다음 경제는 ‘몇 달마다 두 배’가 될 수도 있다

역사적인 성장률 전환을 단순하게 외삽해보면 매우 흥미로운 숫자가 나온다.

과거의 성장률 전환에서는 경제의 doubling time이 대략 50~250배 정도 단축되었다.

현재가 약 20년이라면 다음 단계에서는 몇 주에서 몇 달, 대략 한 달 정도가 나올 수 있다.

또 다른 방식으로도 비슷한 결론이 나온다.

오늘날 공장은 자신의 가치에 해당하는 생산물을 몇 달 만에 생산할 수 있다.

그런데 경제 전체가 그렇게 빨리 복제되지 못하는 가장 큰 이유 중 하나는 공장에서 일하는 인간을 몇 달마다 두 배로 만들 수 없기 때문이다.

만약 AI가 인간 노동을 완전히 대체하고, AI 자체도 공장에서 생산할 수 있다면 상황이 달라진다.

공장을 이용해 공장을 만들고, 그 안에서 AI와 필요한 모든 자본재를 만들 수 있다면 경제 전체가 공장처럼 복제될 수 있다.

그렇다면 세계경제가 한 달 또는 몇 달마다 두 배가 되는 시대가 이론적으로 가능하다.

나는 이것이 확실히 일어난다고 말하는 것이 아니다.

하지만 과거 역사와 산업 생산성이라는 두 가지 독립적인 관점에서 비슷한 범위가 나온다는 점은 흥미롭다.

10. 그렇다면 그런 미래에 어떤 주식을 사야 하나? — 내 대답은 ‘베팅하지 마라’다

누군가 내게 이렇게 묻는다.

“정말 세계경제가 몇 달마다 두 배가 된다면 어디에 투자해야 합니까?”

내 답은 실망스러울 정도로 단순하다.

모르면 베팅하지 마라.

금융투자에서는 대부분의 사람이 index fund를 갖는 것이 합리적이다.

시장 전체가 이미 수많은 사람의 정보를 가격에 반영하고 있다.

AI가 대단할 것이라고 믿는다고 해서 특정 AI 회사 하나에 집중적으로 베팅해야 하는 것은 아니다.

특히 거대한 변화가 예상될수록 특정 회사, 특정 기술, 특정 지역이 승리한다고 확신하는 것은 위험하다.

금융자산은 가능한 한 분산하라.

대신 개인적으로는 robust한 능력을 키워라.

수학을 배우고,

글쓰기를 배우고,

말하는 법을 배우고,

기초 통계를 배우고,

다양한 상황에 적용할 수 있는 일반적인 능력을 키워라.

큰 변화가 오는 세계에서는 특정 기술 하나를 깊게 아는 것보다 다양한 상황에 적응할 수 있는 능력이 중요할 수 있다.

11. 샘 알트만이나 AI 내부자들의 투자를 따라 하면 되지 않을까?

그것도 그렇게 간단하지 않다.

내부정보 자체는 분명 가치가 있다.

하지만 유명한 사람의 투자를 보고 그대로 따라 하는 것은 내부정보를 가진 것과 다르다.

다른 수많은 사람도 그 사람의 행동을 관찰하고 있기 때문이다.

중요한 것은

“내가 다른 사람보다 얼마나 빨리 그 정보를 알고 행동하는가?”

이다.

그저 평균적인 시점에 샘 알트만이나 다른 유명 인물의 행동을 보고 따라가는 것이라면 별다른 초과수익을 얻기 어렵다.

다시 말하지만,

필요 없는 베팅을 하지 마라.

이것이 내가 금융시장에 대해 계속 반복하는 조언이다.

12. 내 AI 향후 10년 ‘중앙값’ 전망은 생각보다 온건하다

내 median prediction은 초지능 폭발이 아니다.

향후 약 10년 동안 전 세계 소프트웨어 산업 매출이 대략 3배가 되고, 그중 약 20% 정도가 AI와 관련될 것으로 본다.

AI는 특히 소프트웨어에서 상당한 traction을 얻었다.

수학에서도 인상적이지만 수학 자체는 소프트웨어 산업에 비하면 경제 규모가 작다.

이 정도라면 AI의 경제적 충격은 대략 인터넷급의 거대한 변화일 것이다.

하지만 이것은

“세계경제가 한 달마다 두 배가 된다”

는 시나리오와는 완전히 다르다.

후자의 가능성은 분명 존재하지만 내 예측 분포의 중앙값은 아니다.

13. AI Winter도 다시 올 가능성이 높다

나는 또다시 AI winter가 올 가능성이 있다고 생각한다.

AI 역사에서 여름과 겨울은 반복되어왔다.

하지만 여기서 중요한 점이 있다.

AI winter라는 것은 기술 발전 자체가 완전히 멈춘다는 뜻이라기보다 언론, 투자자, 사회적 관심이 식는 현상에 가깝다.

과거 AI winter 동안에도 기술은 계속 발전했다.

그래서 미래에 AI에 대한 열기가 식는 시기가 다시 오더라도 그것이 AI 기술의 근본적인 발전이 끝났다는 뜻은 아닐 것이다.

14. 나는 실제로 LLM을 적극적으로 사용한다

LLM은 내가 하는 polymath식 연구에 특히 잘 맞는다.

나는 새로운 분야를 빠르게 배운 다음 기존에 알고 있던 분야와 연결하려고 한다.

예전에는 새로운 분야를 배우는 데 오랜 시간이 필요했다.

지금은 LLM에게

“이 분야를 요약해줘.”

“무엇부터 읽어야 하지?”

“내가 이렇게 이해했는데 어디가 틀렸나?”

라고 물어볼 수 있다.

그리고 두 분야 사이에서 어떤 연결을 발견하면

“이 연결에 대해 어떻게 생각하나?”

라고 물어본다.

다만 현재 LLM에는 중요한 한계가 있다.

내가 연결을 알려주면 “맞다, 좋은 연결이다”라고 설명은 잘하지만 스스로 자신이 아는 모든 지식을 뒤져서 새로운 충돌과 연결을 찾아내는 작업은 아직 잘하지 못한다.

내가 “로빈 핸슨처럼 서로 무관해 보이는 분야를 연결해봐”라고 시켜본 적도 있지만 아직 결과가 만족스럽지 않았다.

그래서 아직 적어도 그 부분에서는 내 일이 남아 있다.

15. 지금 AI의 능력은 놀랍지만 매우 jagged하다

현재 AI는 정말 이상한 형태의 능력을 갖고 있다.

어떤 복잡한 문제에서는 인간보다 훨씬 뛰어나면서도 아주 단순한 일을 제대로 못하는 경우가 있다.

나는 Claude를 쓰다가 소프트웨어 문제를 겪었는데, Claude 지원 AI가 문제 해결에 전혀 도움이 되지 않을 제안들을 기계적으로 늘어놓는 경험도 했다.

결국 내가 직접 해결책을 찾아냈고 AI는 그것을 생각하지 못했다.

이런 사례는 사소하지만 중요한 현상을 보여준다.

현재 AI의 지능은 매우 불균일하다.

그리고 내가 경제적 관점에서 가장 유심히 보는 것은 이런 벤치마크 능력이 아니라 실제 직장에서 생산성을 크게 높이고 있는가 하는 것이다.

3년 전만 해도 지금쯤 많은 일자리가 AI로 대체될 수도 있다고 생각했지만 실제로는 아직 그렇게 많이 일어나지 않았다.

가장 분명하게 traction이 나타난 분야는 소프트웨어다.

16. 왜 이렇게 강력한 AI가 있는데 경제는 아직 폭발하지 않는가?

경제학에는 General Purpose Technology, GPT라는 개념이 있다.

증기기관, 전기, 내연기관, 컴퓨터, 인터넷 같은 기술이다.

이런 기술은 많은 분야에 적용될 수 있기 때문에 엄청난 경제적 잠재력을 가진다.

그런데 역사를 보면 아주 중요한 패턴이 있다.

기술이 발명된 시점과 경제 전체의 생산성이 크게 상승하는 시점 사이에는 종종 수십 년의 지연이 있다.

전기를 예로 들자.

기존 수력공장의 물레방아 자리에 전기모터 하나만 끼워 넣는다고 생산성이 극적으로 올라가는 것은 아니다.

진짜 생산성 향상은 공장 전체를 전기에 맞게 재설계했을 때 나타났다.

각 기계마다 작은 모터를 달고, 공장 배치를 바꾸고, 작업 과정 전체를 새 기술에 맞게 재구성했다.

AI도 마찬가지일 수 있다.

현재 인간이 하던 조직과 업무방식을 그대로 유지하면서 사람 자리에 AI 하나를 넣는 것만으로는 생산성 향상이 제한적일 수 있다.

진짜 변화는

“AI가 존재한다는 전제 아래 회사와 생산과정을 처음부터 다시 설계할 때”

나타날 가능성이 높다.

17. AI가 Great Filter일까?

내가 만든 Great Filter라는 개념은 이런 질문에서 출발했다.

우주에는 수없이 많은 행성이 있다.

그중 많은 곳에서 생명이 시작될 수도 있었고, 문명이 생겼을 수도 있다.

그 문명이 계속 확장했다면 우주에서 거대한 흔적이 보여야 한다.

그런데 보이지 않는다.

그렇다면 단순한 물질에서 생명, 지능, 문명, 우주 규모의 문명으로 가는 과정 어딘가에 대부분이 통과하지 못하는 거대한 필터가 있는 것 아닌가?

AI가 그 필터라고 말하려면 단순히 “AI가 등장한다”만으로는 부족하다.

AI 문명도 계속 성장하고 우주로 확장한다면 Great Filter를 설명하지 못하기 때문이다.

AI 전환이 특별히 문명을 멸망시키거나 확장을 중단시키는 메커니즘과 연결되어야 한다.

18. 내가 생각하는 미래의 가장 흥미로운 Great Filter 후보 — 강력한 세계적 통제

내가 더 걱정하는 시나리오는 문명이 한번 붕괴하는 것이 아니다.

인류 문명이 무너져도 수백만 년이라는 우주적 시간에서 보면 다시 문명이 탄생할 가능성이 있다.

인간이 멸종해도 극단적으로 말하면 다른 영장류나 다른 지능 생물이 수백만 년 후 다시 문명을 만들 수도 있다.

진짜 장기적인 필터가 되려면 문명이 다시 성장하는 것 자체를 지속적으로 막는 무언가가 필요하다.

내가 생각하는 후보 중 하나는 강력하고 장기적으로 안정된 세계 수준의 통제 체계다.

그 체계가

“우리는 여기서 멈춘다.”

“우주로 확장하지 않는다.”

라고 결정하고 그것을 매우 오랫동안 집행한다면 문명은 우주로 확장하지 못할 수 있다.

오늘날 세계는 이미 상당한 정도의 공통 문화와 규범을 공유한다.

반드시 공식적인 세계정부가 있어야 하는 것도 아니다.

하나의 강력한 세계문화가 같은 역할을 할 수도 있다.

19. 고도로 발전한 외계문명은 아마 생물학적 존재가 아닐 것이다

장기적으로 보면 공장에서 무언가를 만드는 것이 생물학적 방식으로 만드는 것보다 훨씬 효율적이다.

자동차도, 비행기도, 기계도 점점 더 효율적으로 제조된다.

마찬가지로 마음과 신체도 언젠가는 생물학적인 방식보다 인공적인 방식으로 만드는 것이 훨씬 효율적일 가능성이 높다.

그래서 우리가 매우 발전한 외계문명을 만난다면 그 존재들이 생물학적인 “물렁한 몸”을 갖고 있을 가능성은 낮다고 생각한다.

아마 대부분이 인공적으로 만들어진 몸과 마음을 가지고 있을 것이다.

말하자면 로봇이나 AI에 가까운 존재일 것이다.

다른 별로 탐사선을 보낼 정도의 기술이 있다면 그 작은 기계 안에 완전한 마음 하나를 넣지 못할 이유도 거의 없다.

그래서 고도 문명의 우주 탐사선은 단순한 자동기계라기보다 사실상 완전한 AI 존재를 포함한 자기복제 문명 단위가 될 가능성이 높다.

20. Brain Emulation이 AGI보다 먼저 올 가능성도 완전히 사라진 것은 아니다

최근 5년 동안 AI 발전은 엄청났고 brain emulation 분야는 그만큼 눈에 띄지 않았다.

하지만 AI가 인간 수준에 도달하기까지 여전히 수십 년이 필요하다고 가정한다면 brain emulation이 먼저 등장할 가능성도 완전히 무시할 수 없다.

내가 『The Age of Em』을 쓴 것도 이것이 반드시 가장 가능성이 높은 미래라고 생각했기 때문이 아니다.

미래에 관한 책을 100권 쓸 가치가 있다면 1%의 확률을 가진 중요한 시나리오에도 한 권 정도는 할당할 가치가 있다.

나는 brain emulation 시나리오가 최소한 그 정도 가능성은 있다고 생각한다.

21. AI Doom에는 서로 완전히 다른 두 종류가 있다

나는 AI doom을 두 가지로 구분하고 싶다.

첫 번째는 유드코우스키식 doom이다.

작고 약한 AI 하나가 갑자기 재귀적 자기개선을 해서 며칠 안에 세계를 장악한다.

그리고 사전에 가치가 제대로 정렬되어 있지 않았기 때문에 인간에게 재앙이 된다.

나는 이 시나리오는 가능성이 낮다고 생각해왔다.

하지만 두 번째 종류의 doom은 전혀 다르다.

장기적으로 AI가 인간보다 강하고 지능적이고 영향력 있는 존재가 되는 것이다.

이것은 나에게 훨씬 자연스러운 시나리오다.

왜냐하면 이것은 부모와 자식의 관계와 비슷하기 때문이다.

역사적으로 후손은 결국 조상보다 강해진다.

처음에는 아기가 약하고 부모에게 의존하지만, 시간이 지나면 자식이 성장하고 부모는 늙는다.

후손은 조상과 가치관도 달라진다.

그리고 충돌이 생긴다면 장기적으로는 후손이 이긴다.

AI도 우리의 일종의 문화적·기술적 descendant라고 본다면 결국 우리보다 강해지는 것이 이상하지 않다.

22. 그렇다고 AI가 우리를 죽여야 하는 것은 아니다

인간의 자식이 부모보다 강해진다고 해서 보통 부모를 죽이는 것은 아니다.

물론 역사상 자식이 부모를 죽인 경우도 있지만 흔한 행동은 아니다.

그 이유 중 하나는 우리가 문화적으로 후손에게

“부모와 조상을 함부로 죽이지 마라.”

“다른 사람을 존중해라.”

같은 가치들을 전달하기 때문이다.

나는 AI에도 비슷한 문화적 성향을 전달하는 것이 충분히 가능하다고 생각한다.

완벽한 통제가 가능하다는 이야기는 아니다.

미래 AI가 우리보다 훨씬 강력해지는 것과 그 AI가 반드시 우리를 제거하는 것은 다른 문제다.

23. 중요한 것은 최종 지능 차이가 아니라 ‘그곳까지 가는 속도’다

100년 뒤 AI가 인간보다 백만 배 강력하다는 사실 자체가 핵심 위험은 아니다.

중요한 것은 여기에서 거기까지 어떻게 가느냐이다.

AI가

조금 좋아지고,

우리가 관찰하고,

규칙을 바꾸고,

다시 좋아지고,

우리가 대응하는

연속적인 과정이라면 상당히 다룰 수 있다.

반대로 지하실의 AI 하나가 주말 사이에 세계를 장악할 정도로 변화한다면 우리는 대응할 수 없다.

그래서 내가 계속 강조하는 것은

“AI가 얼마나 똑똑해질까?”보다 “그 변화가 얼마나 연속적이고 관찰 가능하며 관리 가능한가?”가 더 중요하다.

24. AI Safety 커뮤니티가 AI를 ‘경쟁자’로 보는 것이 실수일 수 있다

진화한 생물에게는 서로 모순되는 두 가지 강한 성향이 있다.

첫째, 자신과 동시에 존재하는 경쟁자를 의심하고 적대한다.

둘째, 자신과 상당히 다른 후손이라도 후손에게는 관대하다.

AI safety 커뮤니티는 AI를 주로 첫 번째 관점에서 바라본다고 생각한다.

“우리와 함께 존재하면서 자원과 권력을 놓고 경쟁할 낯선 경쟁자”로 보는 것이다.

하지만 AI는 지금 어딘가 숨어 있는 외계 경쟁자가 아니다.

우리가 만들어내는 존재다.

그런 의미에서 후손으로 보는 관점도 중요하다.

그리고 지금까지 실제 AI들을 보면 20년 전 사람들이 상상했던 기괴하고 완전히 alien한 AI보다 놀라울 정도로 인간과 비슷하다.

언어를 쓰고,

인간의 문화와 규범을 이해하고,

우리와 비슷한 가치 판단을 표현한다.

물론 미래에 이것이 바뀔 수 있지만, 적어도 지금까지의 증거는 “AI가 상상할 수 없을 정도로 alien할 것이다”라는 예측보다는 인간과 상당히 비슷할 수 있다는 쪽에 어느 정도 유리하다.

25. 지금 우리가 역사상 특별한 시대에 살고 있는가?

분명 지금 변화 속도는 과거보다 빠르다.

하지만 농업혁명 당시 사람도 똑같은 말을 할 수 있었다.

“지난 백만 년과 비교하면 지금 변화가 엄청나게 빠르다.”

1800년 산업혁명 시기의 사람도 마찬가지다.

그리고 그 말은 사실이었다.

지금 우리도

“인류 역사상 변화가 가장 빠르다.”

고 말할 수 있고 아마 그것도 사실이다.

하지만 변화 속도가 계속 가속된다면 미래 사람들은 우리 시대를 오히려 매우 느렸던 시대라고 볼 것이다.

따라서 정말 특별한 순간은 “이전보다 빨라진 시점”이 아니라 변화 속도가 역사적으로 최고점에 도달하는 시점일 것이다.

26. 현대 SF가 초지능 이후의 미래를 잘 상상하지 못하는 이유

옛날 내가 좋아했던 SF에서는 문명 자체가 하나의 주인공이었다.

개별 인물의 이야기와 함께 문명이 어디에서 어디로 가는지가 중요한 줄거리였다.

그런데 현대 SF는 점점 개인의 정체성, 심리, 인간관계 등에 더 집중한다.

미래 사회를 배경으로 사용하기는 하지만 “문명이 수천 년에 걸쳐 어떻게 변할 것인가” 자체를 이야기의 중심에 놓는 작품은 줄었다.

그래서 초지능 이후의 거대한 문명적 궤적을 상상하는 SF도 상대적으로 적어졌다고 생각한다.

27. 내가 최근 가장 관심을 갖는 문제 — Cultural Drift

최근 몇 년 동안 나는 cultural drift라는 문제에 많이 집중하고 있다.

인류의 가장 큰 초능력은 문화적 진화였다.

그런데 나는 우리가 문화적 진화 메커니즘의 일부를 망가뜨렸다고 생각한다.

과거에는 수많은 작은 문화가 존재했다.

몇백 년 전만 해도 세계에는 수십만 개에 가까운 작은 농경 공동체와 문화가 있었다.

전쟁, 기근, 질병 등으로 실패한 문화는 사라지고 성공적인 문화는 살아남았다.

문화 자체에 강한 selection pressure가 있었던 셈이다.

하지만 현대에는 상황이 완전히 바뀌었다.

작은 공동체들이 국가문화로 통합되었고 다시 세계적인 monoculture로 통합되고 있다.

문화의 다양성은 크게 감소했다.

사회는 부유하고 평화로워져 문화에 대한 생존 선택압은 약해졌다.

반면 경제와 기술 변화는 엄청나게 빨라졌다.

그리고 우리는 문화적 보수성보다 “문화를 적극적으로 변화시키는 사람”을 높이 평가한다.

즉,

• 문화의 수는 줄었고
• 선택압은 약해졌고
• 환경은 훨씬 빨리 변하고
• 문화 자체는 훨씬 많이 흔들리고 있다.

나는 이것이 문화가 환경에 맞지 않는 maladaptation을 일으킬 수 있다고 생각한다.

출산율의 급격한 하락도 그 징후 중 하나일 수 있다.

28. AI도 인간의 문화적 문제를 물려받을 수 있다

AI가 등장하면 이 문제가 자동으로 해결된다고 생각하지 않는다.

AI는 우리의 데이터로 만들어지고 우리의 가치와 문화적 경향을 상당히 물려받는다.

현재 여러 AI 모델을 보면 회사는 달라도 가치와 태도가 상당히 비슷하다.

일종의 세계적인 AI monoculture가 형성될 수 있다.

다만 AI에게는 긍정적인 요소도 있다.

현재 AI는 기업 간 경쟁과 자본주의의 선택압을 강하게 받고 있다.

잘 작동하는 AI가 더 많이 사용되고 실패하는 시스템은 사라진다.

나는 어쩌면 이것이 건강한 문화적 진화를 유지하는 데 도움이 될 수도 있다고 생각한다.

흥미롭게도 여기에는 양극단의 위험이 있다.

우리가 AI를 너무 사랑하면 AI를 경쟁에서 보호하려 할 수 있다.

반대로 AI를 너무 두려워하면 AI의 가치가 자유롭게 진화하지 못하도록 인간의 현재 가치에 영구히 묶어두려 할 수 있다.

둘 다 AI의 문화적 진화 과정을 왜곡할 수 있다.

29. Cryonics에 가입한 이유

나는 오래전부터 cryonics, 즉 냉동보존 서비스에 가입해 있다.

많은 사회과학 동료들은 전혀 관심이 없다.

왜 사람들이 cryonics를 이렇게 싫어하는지는 내가 오랫동안 연구해온 인간의 숨겨진 동기와도 연결된다.

사람들은 병원에 가는 가장 큰 이유가 건강을 좋아지게 하기 위해서라고 생각한다.

하지만 나는 『The Elephant in the Brain』에서 의료에는 중요한 사회적 신호 기능이 있다고 주장했다.

우리는 의료를 통해

“나는 당신을 소중하게 생각한다.”

“당신을 위해 가능한 치료를 해주겠다.”

라는 메시지를 보낸다.

그래서 사람들은 남들이 받는 일반적인 치료를 받는 것을 좋아한다.

반대로 cryonics는 매우 이상한 선택으로 보인다.

가족 입장에서는

“당신은 우리와 함께 죽지 않고 혼자 먼 미래로 떠날 준비를 하는군.”

이라는 abandonment의 신호처럼 느껴질 수도 있다.

경제적으로 합리적인지 여부보다 이런 사회적·정서적 요소가 훨씬 중요할 수 있다.

30. 나는 뇌만 보존하는 방식을 선택했다

나는 현재 뇌 쪽 보존을 선택하고 있다.

내가 부활한다면 가장 가능성 높은 방법이 생물학적 신체를 다시 살리는 것보다 brain emulation일 것이라고 보기 때문이다.

물론 이것은 하나의 베팅이다.

그리고 cryonics에서 가장 큰 위험은 세포 수준의 세부 기술보다도 조직 자체가 수십 년 또는 수백 년 동안 살아남느냐일 수 있다.

액체질소 공급이 중단되고 회사가 무너지면 끝이다.

그래서 나는 오히려 뇌를 플라스틱화해 상온에서 보존하는 방식 같은 기술도 흥미롭게 본다.

그런 방법이라면 사회가 크게 혼란스러워져도 물리적으로 더 오래 살아남을 가능성이 있기 때문이다.

31. 왜 Cryonics 산업은 이렇게 작은가?

이것은 아주 흥미로운 사회과학적 퍼즐이다.

상당수 사람에게

“냉동보존된 뇌에서 미래에 정보가 복구될 가능성이 있습니까?”

라고 물으면 아예 0%라고 생각하지는 않는다.

그런데 실제 가입자는 수십 년 동안 겨우 수천 명 수준이다.

즉 사람들이 말하는 믿음과 실제 행동 사이에 엄청난 차이가 있다.

나는 이런 문제를 연구하는 것이 흥미롭다.

기술자들은 흔히

“이 기술은 합리적으로 좋은데 왜 사람들이 사용하지 않지?”

라고 의아해한다.

하지만 인간은 단순히 효용을 최대화하는 기계가 아니다.

사회적 규범,

이상함에 대한 두려움,

주변 사람에게 보내는 신호,

충성,

정체성

같은 요소들이 선택에 엄청난 영향을 준다.

32. 의료시장의 인센티브도 잘못 설계되어 있다

나는 의료제도를 더 나은 방식으로 설계할 수 있다고 생각한다.

현재 의료를 구매하는 대표적 방식에는 두 가지 문제가 있다.

첫 번째는 fee-for-service다.

치료를 할 때마다 돈을 지급하면 의료기관은 더 많은 치료를 할수록 돈을 번다.

두 번째는 capitation이다.

환자 한 명당 일정한 돈을 주면 의료기관은 치료를 적게 할수록 돈을 번다.

둘 다 이상적인 인센티브가 아니다.

우리가 정말 원하는 것은

비용 대비 실제 건강효과가 좋은 치료만 하도록 만드는 것이다.

33. 내가 제안한 Health Agent — 의료보험과 생명보험을 합쳐라

내 아이디어는 의료보험과 생명보험, 장애보험 등을 결합하는 것이다.

예를 들어 내 생명의 가치가 1,000만 달러라고 해보자.

내가 죽으면 의료기관이 1,000만 달러를 잃도록 계약한다.

그러면 의료기관이 5만 달러짜리 치료를 할지 결정할 때

“이 치료가 사망확률을 최소 0.5% 이상 줄이는가?”

를 계산할 것이다.

0.5% × 1,000만 달러 = 5만 달러이기 때문이다.

이렇게 하면 의료기관의 경제적 이해관계가 환자의 이해관계와 가까워진다.

치료비가 건강효과보다 크면 하지 않고, 건강효과가 충분히 크면 치료한다.

그리고 만약 cryonics가 실제로 비용효율적인 생명 연장 수단이라면 이런 기관은 환자에게 cryonics까지 권하려 할 것이다.

34. 의료비를 더 많이 쓴다고 반드시 더 건강해지는 것도 아니다

나는 의료경제학 연구에서 매우 불편한 결과를 중요하게 본다.

의료서비스를 훨씬 싸게 이용할 수 있게 만든 집단은 의료서비스를 더 많이 사용했다.

그런데 전체적인 건강결과가 그만큼 좋아지지 않았다.

이것은 적어도 현재 의료의 한계적인 추가 지출이 생각만큼 큰 건강효과를 주지 않을 수 있다는 의미다.

미국은 GDP의 엄청난 비율을 의료에 사용하지만, 비용 대비 실제 건강 개선이 얼마나 되는지 따져보면 상당히 비효율적일 수 있다.

그리고 어떤 약이 실제로 별 효과가 없다고 해서 그 제약회사의 주식을 공매도하면 돈을 벌 수 있는 것도 아니다.

약이 사회적으로 큰 효용을 주지 못하더라도 회사는 충분히 큰 매출을 올릴 수 있기 때문이다.

기업의 수익성과 사회적 효용은 같은 것이 아니다.

35. 내가 과거에 틀렸던 것들

물론 나는 수없이 틀렸다.

새로운 분야를 배울 때마다 생각이 바뀐다.

Prediction market을 처음 제안했을 때는 그것이 조직에서 채택되는 데 이렇게 큰 사회적 장벽이 있을 것이라고 충분히 이해하지 못했다.

의료제도를 연구하기 전에는 의료의 한계적 효과가 이렇게 이상할 수 있다는 것도 제대로 이해하지 못했다.

그리고 내 인생에서 가장 크게 뒤늦게 깨달은 것 중 하나는 expert와 elite가 다르다는 것이다.

나는 오랫동안

“좋은 분석을 하고 좋은 정책 아이디어를 만들어내면 사회가 관심을 가져주겠지.”

라고 생각했다.

하지만 사회는 반드시 최고의 expert의 말을 따르지 않는다.

36. 사람들은 Expert보다 Elite를 따른다

Expert는 무언가를 잘 아는 사람이다.

Elite는 사람들이 존경하고 따라가고 싶어하는 사람이다.

Elite가 되는 데는 여러 요소가 섞인다.

지능,

재산,

외모,

카리스마,

인맥,

말솜씨,

사회적 명성,

높은 지위 등이 있다.

사람들이 elite를 따르는 것은 단순히 그 사람이 옳아서가 아니다.

그 사람을 따르는 것이 사회적으로 자연스럽고, 그 사람이 다른 elite들과 협상할 수 있으며, 실제 움직임을 만들어낼 가능성이 높기 때문이다.

나는 오랫동안 expert가 되려고 노력했다.

하지만 세상은 많은 경우 expert가 아니라 elite에게 사회적 변화를 제안할 권한을 준다.

그래서 내가 제안한 수많은 제도적 아이디어들이 별로 채택되지 않은 이유 중 하나도 여기에 있다고 생각한다.

37. 왜 나는 아직 Full Professor가 아닌가?

나는 full professor 승진 심사를 받은 적이 있지만 거절됐다.

이유로는 사람들이 내 연구를 이해하지 못한다는 이야기를 들었다.

당시 내가 정치적으로 논란이 되는 인물로 여겨진 것도 어느 정도 영향을 줬다고 생각한다.

하지만 사실 내 대학에서 full professor가 된다고 해서 얻는 실질적인 이득은 그렇게 크지 않다.

급여가 조금 오르고 위원회 업무가 늘어난다.

교수라는 직업에서 정말 큰 승리는 tenure다.

Tenure를 얻으면 사실상 평생 자신이 원하는 연구를 할 자유를 얻게 된다.

나는 이미 그것을 얻었고 그 점에는 매우 감사한다.

38. 학문의 자유도 결국 인간관계 속에서 작동한다

Tenure가 있다고 해서 주변 사람들의 요구를 무조건 거부해야 한다고 생각하지 않는다.

조직에서 함께 일하는 사람들이 어떤 타협을 부탁할 때 그 비용이 나에게 별로 크지 않다면 일부를 받아주는 것이 자연스러운 사회적 행동일 수 있다.

“원칙적으로 내가 왜 양보해야 하지?”

라고만 생각하기보다,

“이 사람들과 계속 함께 살아가야 하고 이들에게 중요한 문제라면 내가 조금 양보할 수도 있지 않은가?”

라고 생각한다.

나는 그것도 사회적 존재로 살아가는 정상적인 방식이라고 본다.

39. 결국 내 AI 전망의 핵심

내 입장은 흔히 사람들이 생각하는 것보다 미묘하다.

나는 AI가 별것 아니라고 주장하지 않는다.

오히려 장기적으로는 AI가 인간보다 훨씬 강력해지고 결국 문명의 주역이 될 가능성이 매우 높다고 본다.

세계경제가 언젠가는 몇 달에 한 번씩 두 배가 되는 시대에 들어갈 가능성도 진지하게 생각한다.

하지만 내가 동의하지 않는 것은

“작은 AI 하나가 알고리즘을 몇 번 개선하고 주말 사이에 세계를 장악하는 것이 가장 자연스러운 경로다.”

라는 주장이다.

현재까지 실제 AI 발전을 보면 거대한 알고리즘만 움직이는 것이 아니다.

칩,

데이터센터,

전력,

데이터,

기업,

자본,

사용자,

조직,

법과 제도,

경제 전체가 함께 움직이고 있다.

그리고 우리는 그 변화를 지켜보고 대응하고 있다.

그래서 내가 계속 볼 것은 하나다.

이 과정이 언제부터 인간과 사회가 반응할 수 없을 정도로 빨라지는가?

그 순간이 온다면 FOOM을 주장했던 사람들이 옳았다고 인정해야 할 것이다.

하지만 아직 그 순간은 오지 않았다.

인터뷰 전체를 한 문장으로 요약하면

“AI가 궁극적으로 인간을 넘어서는 것 자체는 충분히 자연스럽지만, 그것이 어느 날 갑자기 일어날 것이라고 단정하지 말라. 경제와 문명은 기술 하나가 아니라 하드웨어·자본·문화·제도·인센티브가 함께 움직이는 거대한 시스템이며, 미래가 불확실할수록 특정 시나리오에 과도하게 베팅하기보다 분산하고, 적응력을 키우고, 변화의 실제 경제적 traction을 관찰해야 한다.”