AGI 이후 세계에 대한 Nick Joseph의 견해 (전체 맥락)

1. Alignment 설명 맥락에서의 AGI 정의

인터뷰어의 질문: "Alignment가 뭔가요? 그리고 사전학습과 어떤 관계가 있나요?"

"한 발 물러서서 우리가 작업하고 있는 것에 대해 이야기하겠습니다. 우리는 AGI를 만들려고 합니다. 제 의미는 인간이 할 수 있는 모든 것을 어느 정도 자동화할 수 있는 AI입니다."

SF 영화의 오류 지적

"사람들은 SF 영화를 많이 봤는데, 그게 마음속에 떠오릅니다. 하지만 SF 영화는 실제로 그 영향을 과소평가한다고 생각합니다. 영화에는 항상 인간처럼 행동하는 로봇 하나가 나옵니다."

"저는 이렇게 생각합니다: 10억 개를 만들면 안 되나요? 그냥 복사하면 됩니다. 어디에나 복사할 수 있습니다."

AGI 이후 세계의 모습

"이걸 얻으면 모든 인간이 갑자기 자기만큼 똑똑한 10억 명의 회사를 만들 수 있습니다. 대부분의 일에서는 그들만큼 똑똑하지만, 다른 일에서는 훨씬 더 똑똑합니다."

"이것은 세상에 정말 변혁적일 것입니다. 그리고 다양한 방식으로 사용될 수 있습니다."

2. Alignment의 핵심 문제

목표 정렬의 필요성

"한 가지 우려는: AI가 실제로 무엇을 하려고 하는가? 그 목표는 무엇인가?"

"우리는 다음 토큰 예측에 대해 많이 이야기했습니다. AI는 다음 토큰을 예측하려고 합니다. 그건 좀 이상합니다. 그건 우리가 원하는 게 아닙니다. 그건 인간의 목표가 아닙니다."

특히 위험한 시점

"Alignment은 모델이 당신보다 똑똑해졌을 때 어떻게 당신의 목표를 공유하도록 만드느냐입니다. 이것은 정말 어려운 문제입니다."

두 가지 접근법

이론적 각도: 미래의 AGI를 위한 원리

실용적 각도: 현재 모델들이 우리가 원하는 일을 하도록 만들기 (실제로는 자주 실패함)

3. 가치 문제: 누구의 가치를 구현할 것인가?

인터뷰어의 질문 (43:44): "어떤 가치를 이 모델들에 구현할지 어떻게 생각하나요? 우리 모두가 공유하는 가치도 있지만, 사회에서 합리적으로 존재하는 다양한 가치도 있습니다. AGI는 어떤 가치를 가져야 할까요?"

Nick의 "조향 장치" 비유

"정말 어려운 문제입니다. 사실 어떤 가치든 선택할 수 있는 능력이 생기는 것이 먼저입니다."

"제가 들었던 비유 중 좋은 것: 자동차에 핸들을 다는 것과 같습니다. 핸들이 없으면 핸들을 달고 싶을 겁니다. 그런 다음 누가 운전할지, 어디로 갈지 결정하면 됩니다."

"핸들을 다는 것이 정말 중요합니다. 그게 한 가지 답입니다."

민주적 통제의 필요성

"다른 답은: 이런 것들을 어떤 형태로든 민주적 통제 하에 두고 싶을 것입니다. 한 사람의 가치는 원하지 않습니다. 그건 디스토피아로 향하는 것 같습니다."

실용적 해법들

"기본적으로 많은 사람들과 대화하고 다양한 관점에서 그들의 가치를 받아들일 수 있는 것을 원합니다."

"또는 매우 일반적이고 명백히 좋은 가치들을 갖는 것: 특정 상황에서 어떻게 해야 하는지 사람들에게 조언을 구하는 것을 포함합니다."

능동적 개입 줄이기

"모델이 정말 강력해지면 더 적게 행동하도록 하고 싶을 것입니다. 가끔은 그냥 한 발 물러서도록 하고 싶을 것입니다."

"모델이 모든 것에 대해 엄청난 통제권을 갖는 위험을 감수하기보다는, 원하지 않을 때는 행동을 자제하도록 만들고 싶습니다."

4. 스타트업에 대한 조언 맥락 (1:02:18~1:02:38)

경제적 성공을 넘어서

Nick의 당부:

"스타트업들이 생각했으면 하는 것: AGI를 얻으면 어떻게 되는가, 그리고 그것이 세상에 잘 작용하도록 어떻게 만들 것인가입니다."

"제 기대는: 거의 모든 사람이 할 수 있는 일을 자동화하면, 경제 성장의 양이 진정으로 엄청날 것입니다."

더 중요한 질문

"어쨌든 그 결과로 충분한 경제적 성공이 있을 것이라고 생각합니다."

"그것이 세상을 어떻게 돕게 만들지에 대해 조금 더 생각하고 싶습니다."