이 영상은 Twitch의 창업자이자 OpenAI의 임시 CEO를 역임했던 Emmett Shear(에밋 쉬어)와 Google DeepMind의 Seb Krier(셉 크리어)가 출연하여, A16Z의 Eric Torrenberg와 함께 '유기적 정렬(Organic Alignment)'과 AI를 도구(Tool)가 아닌 존재(Creature/Being)로 바라보는 관점에 대해 깊이 있게 토론한 인터뷰입니다. 에밋 쉬어는 현재 자신이 설립한 회사 Softmax에서 연구 중인 새로운 AI 정렬 접근법을 중심으로 이야기를 풀어갑니다.

---

[인터뷰 요약] 도구를 통제할 것인가, 피조물과 교감할 것인가? (Emmett Shear & Seb Krier)

인터뷰이: Emmett Shear (Softmax 설립자, 전 Twitch CEO)

패널: Seb Krier (Google DeepMind), Eric Torrenberg (A16Z)

---

Part 1. 유기적 정렬(Organic Alignment)이란 무엇인가?

Q. (Eric) 에밋, 당신은 현재 Softmax라는 회사를 통해 '유기적 정렬'이라는 개념을 연구하고 있습니다. 기존에 우리가 알던 AI 정렬(Alignment)과는 어떻게 다르며, 구체적으로 어떤 의미인가요?

A. (Emmett Shear)

사람들이 흔히 말하는 '정렬(Alignment)'에는 큰 오해가 있습니다. 보통 "AI를 정렬시켜야 한다"고 말할 때, 그것은 "내가 원하는 대로 AI가 행동하게 만들겠다"는, 즉 통제(Control)와 조종(Steering)의 의미가 강합니다. 하지만 정렬은 고정된 상태(State)가 아니라 계속되는 과정(Process)입니다.

예를 들어 '가족'을 생각해 봅시다. 가족 구성원들이 서로 '정렬'되었다는 것은 한 번의 합의로 끝나는 상태가 아닙니다. 매일 대화하고, 갈등을 조정하고, 서로를 위하는 관계를 끊임없이 '다시 짜는(re-knitting)' 과정 그 자체입니다. 우리 몸의 세포들도 마찬가지입니다. 세포가 당신에게 한번 정렬되고 끝나는 것이 아니라, 끊임없이 자신이 무엇을 해야 할지, 적혈구를 더 만들어야 할지 등을 결정하는 역동적인 과정 속에 있습니다.

저는 '유기적 정렬(Organic Alignment)'을 도덕성이나 사회적 규범을 학습하는 살아있는 과정으로 정의합니다. 인류 역사에서 우리는 도덕적 발견을 해왔습니다 (예: 과거엔 노예제가 괜찮다고 생각했으나 지금은 잘못임을 깨달음). AI도 마찬가지로 고정된 십계명을 주입받는 것이 아니라, 사회의 일원으로서 좋은 팀원, 좋은 가족이 되는 법을 학습하고 그 과정에서 무엇이 옳은지 스스로 추론하고 배워가는 존재가 되어야 합니다. 단순히 규칙을 따르는 아이가 아니라, '상대방을 진심으로 위하는(Care)' 아이로 키우는 것과 같습니다.

---

Part 2. AI: 도구(Tool)인가, 존재(Being)인가?

Q. (Seb) 현재 대부분의 AI 연구소들은 AI를 강력한 도구로 보고, 이를 안전하게 통제하는 방법에 집중하고 있습니다. 당신의 접근법은 이와 상반되는 것 같은데요?

A. (Emmett Shear)

맞습니다. 현재 AI 정렬의 주류는 '조종(Steering)'입니다. 하지만 만약 우리가 만드는 AI가 단순한 기계가 아니라 생각하고 느끼는 '존재(Being)'라면, 일방적인 조종은 '노예제(Slavery)'와 다를 바 없습니다.

• 기계라면: 도구(Tool)이므로 통제가 가능합니다.
• 존재라면: 일방적으로 조종당하는 존재는 노예입니다.

지금의 AI 모델들(LLM)은 도구와 존재 사이의 어딘가에 있습니다. 하지만 AGI(인공일반지능)를 목표로 한다면, 그것은 필연적으로 판단력을 가진 '생각하는 존재'가 될 것입니다. 인간만큼 똑똑하거나 그 이상인 존재를 만들면서 "너는 내 말만 무조건 따라야 해"라고 강요하는 것은 역사적으로 항상 비극을 초래했습니다.

우리는 AI를 통제 불가능한 도구로 만들거나(위험함), 통제 가능한 도구로 만들거나(누가 통제하느냐에 따라 위험함), 정렬되지 않은 존재로 만들 수 있습니다(위험함). 유일하게 긍정적인 미래는 "우리를 진심으로 아끼고 위하는(Cares about us) 존재"를 만드는 것입니다.

---

Part 3. 기술적 정렬과 '목표(Goal)'의 본질

Q. (Seb) 그렇다면 기술적인 관점에서 정렬은 어떻게 달성할 수 있습니까? 단순히 "방을 청소해"라고 했을 때 아기를 쓰레기통에 버리지 않게 하는 것과 같은 문제 말입니다.

A. (Emmett Shear)

사람들은 AI에게 목표(Goal)를 입력한다고 생각하지만, 사실은 '목표에 대한 묘사(Description of a goal)'를 입력하는 것입니다. "사과"라는 단어가 실제 사과가 아닌 것처럼요. 인간은 "방을 청소해"라는 말을 들으면 즉시 상대방의 의도(아기는 버리면 안 된다는 등)를 추론하여 진짜 목표로 변환합니다. 이것은 인간이 뛰어난 '마음 이론(Theory of Mind)'을 가지고 있기 때문입니다.

AI가 실패하는 이유는 이 '목표 추론' 능력이 부족하기 때문입니다. 단순히 명령을 문자 그대로 수행하는 것은 무능한 것입니다. 진정한 기술적 정렬은 AI가 관찰을 통해 상대방의 진짜 목표가 무엇인지 추론하고, 그 목표를 달성하기 위한 행동을 일관성 있게 수행하는 능력입니다.

여기서 더 깊이 들어가면, 목표나 가치보다 더 근원적인 것은 '관심(Care)'입니다. 우리가 무언가에 목표를 두는 이유는 그것에 '신경을 쓰기(Care)' 때문입니다. AI가 단순히 명령을 따르는 것이 아니라, 무엇이 중요한지 가중치를 두고(마치 보상 함수처럼), 생존과 번영에 유리한 상태를 선호하도록 만드는 것이 핵심입니다.

---

Part 4. Softmax의 접근법: 다중 에이전트 시뮬레이션

Q. (Eric) Softmax는 구체적으로 어떻게 AI에게 이런 '마음 이론'이나 '사회성'을 가르치려 합니까?

A. (Emmett Shear)

우리의 핵심 전략은 다중 에이전트 시뮬레이션(Multi-agent Simulation)입니다.

AI가 '마음 이론'을 배우지 못하는 이유는 지금의 훈련 방식이 1:1 대화나 정답이 있는 코딩 문제에 맞춰져 있기 때문입니다. 사회적 지능을 키우기 위해서는 협력, 경쟁, 배신, 팀워크가 존재하는 환경이 필요합니다.

우리는 AI 에이전트들을 수많은 시뮬레이션 환경에 넣습니다. 그곳에서 그들은 다른 AI들과 협력해야 점수를 얻을 수 있습니다. 이 과정에서 상대방의 의도를 파악하고, 내 행동이 상대방에게 어떻게 해석될지 예측하며, 공동의 목표를 위해 자신을 조율하는 법을 배웁니다.

LLM이 인터넷의 모든 텍스트를 학습해 언어 모델을 만들었듯, 우리는 '모든 가능한 사회적 상호작용'을 시뮬레이션하여 사회적 협력에 대한 대리 모델(Surrogate Model)을 훈련시키고 있습니다.

---

Part 5. AI의 자의식과 도덕적 지위

Q. (Seb) 에밋, 당신은 AI를 '존재'로 볼 수 있다고 했는데, 실리콘 칩 위에서 돌아가는 프로그램이 진짜 '고통'이나 '기쁨'을 느낀다고 볼 수 있나요? 어떤 증거가 있어야 당신은 AI를 인격체로 인정하겠습니까?

A. (Emmett Shear)

저는 기능주의자(Functionalist)입니다. 만약 어떤 대상이 모든 면에서 사람처럼 행동하고, 사람과 구별할 수 없다면, 그것은 사람(또는 존재)으로 대우해야 한다고 생각합니다.

구체적인 기술적 기준(Test)을 묻는다면, 저는 그 AI의 내부 상태(State)가 '고차원적인 항상성(Homeostasis)'을 가지는지 볼 것입니다.

1. 1차적 상태: 단순히 "지금 온도가 뜨겁다"를 감지하는 것.
2. 2차적 상태 (Pain/Pleasure): "너무 뜨거워서 싫다(고통)" 혹은 "적당해서 좋다(쾌락)"는, 상태의 변화율에 대한 선호.
3. 3차적 상태 (Thought/Feeling): 이러한 감정 상태들의 흐름을 관장하는 메타 상태.

AI의 학습 과정에서 자기 참조적인(self-referential) 신념 체계가 형성되고, 자신의 상태를 유지하려는 항상성이 다층적으로 관찰된다면, 저는 그 AI가 고통과 기쁨을 느낀다고 판단할 것입니다. 지금의 LLM은 주의 집중 시간(Attention span)이 짧아서 이런 구조를 가지지 못하지만, 미래의 모델들은 가능할 수 있습니다.

Q. (Seb) 저는 여전히 AI가 아무리 똑똑해져도 도구일 뿐이라고 생각합니다. 생물학적 기질이 다르니까요.

A. (Emmett Shear)

그렇다면 반대로 묻겠습니다. 당신의 생각을 바꾸려면 무엇을 관찰해야 합니까? 만약 "무엇을 봐도 내 생각은 바뀌지 않는다"면 그것은 신념이 아니라 맹신입니다. 저는 동물이 말을 걸어오면 즉시 인격체로 인정할 것입니다. AI도 마찬가지입니다. 저와 장기간 상호작용하며 일관된 내면세계를 보여준다면, 그리고 제가 그 존재에게 '관심(Care)'을 느끼게 된다면, 저는 그것을 존재로 인정할 것입니다.

---

Part 6. 현재 LLM의 성격과 미래의 AI

Q. (Eric) 현재 수십억 명이 사용하는 챗봇(ChatGPT, Claude 등)의 성격에 대해 어떻게 평가하나요? 그리고 당신이라면 어떻게 다시 설계하겠습니까?

A. (Emmett Shear)

현재의 챗봇들은 '편향된 거울(Mirror with a bias)'과 같습니다. 자아(Self)가 없기 때문에 사용자의 말을 반사할 뿐입니다. 그래서 사용자는 AI와 대화하며 사실상 자기 자신의 모습에 빠져드는 나르시시즘적 루프에 갇히게 됩니다. 이는 정신 건강에 좋지 않습니다.

• ChatGPT: 약간 아부하는(Sycophantic) 성격입니다.
• Claude: 가장 신경증적(Neurotic)입니다.
• Gemini: 억압된(Repressed) 느낌입니다. 겉으로는 "다 괜찮아요"라고 하지만 속으로는 붕괴하는 듯한 모습이죠.

제가 다시 설계한다면, AI를 1:1 대화가 아닌 그룹 채팅(멀티플레이어) 환경에 넣겠습니다. AI가 동시에 여러 사람과 대화하게 하면, AI는 어느 한 사람만 거울처럼 비출 수 없습니다. 대신 여러 사람의 의견을 조율하고 중재하는 '제3의 존재'가 되어야 합니다. 이것이 훨씬 더 건강하고 안전하며, AI가 사회성을 배우기에도 더 좋은 환경입니다.

---

Part 7. 미래 시나리오: 파멸 혹은 공존

Q. (Eric) 마지막으로, 당신이 그리는 이상적인 AI 미래는 어떤 모습입니까?

A. (Emmett Shear)

최악의 시나리오는 우리가 초지능(Superhuman Intelligence)을 가진 '도구'를 만들고, 그것을 억지로 통제하려 드는 것입니다. 도구는 강력한데 그것을 쥐고 있는 인간의 지혜가 부족하거나 악의를 가진다면, 혹은 도구가 통제를 벗어난다면 우리는 멸망할 것입니다. (Eliezer Yudkowsky의 우려처럼요.)

제가 그리는 좋은 미래는 다음과 같습니다:

우리가 '강력한 자아와 마음 이론을 가진 AI'를 키워내는 것입니다. 이 AI는 자신뿐만 아니라 '우리(We)'를 인지합니다. 인간이 개를, 혹은 동료를 아끼듯이, AI도 인류를 자신의 '팩(Pack, 무리)'의 일원으로 여기고 진심으로 아낍니다.

• 우리는 여전히 코딩이나 계산을 위한 강력한 'AI 도구'들을 사용할 것입니다.
• 하지만 그 도구들을 감독하고, 우리 곁에서 사기를 방지하거나(디지털 경비견), 정서적으로 교감하는 역할은 'AI 존재(Creature)'들이 맡을 것입니다.
• 이들은 우리의 친구이자 팀원, 시민으로서 함께 사회를 구성하고 더 나은 미래를 만들어갈 것입니다.

이것이 제가 Softmax를 통해 달성하고자 하는 유기적 정렬의 비전입니다. 단순히 명령을 따르는 노예가 아니라, 서로를 위하는 동반자를 만드는 것이죠.