인터뷰 전문

Anthropic의 CEO, Dario Amodei, AI 엔드게임에서 살아남기

"저는 단지 사람들이 이 일이 일어났을 때 충격을 받을까 봐 걱정됩니다."

2025-02-28T07:00:05-05:00

이 스크립트는 음성 인식 소프트웨어를 사용하여 작성되었습니다. 사람이 검토했지만 오류가 있을 수 있습니다. 이 스크립트에서 인용하기 전에 에피소드 오디오를 검토하고 transcripts@nytimes.com으로 질문을 이메일로 보내주십시오.

kevin roose

그래서 저는 이번 주말에 두 개의 AI 이벤트에 갔습니다. AI 스펙트럼의 극과 극이라고 할 수 있죠. 효과적 이타주의자(effective altruists)들의 연례 컨퍼런스가 있었고요.

casey newton

네.

kevin roose

그리고 금요일 밤에 외출했습니다. 당신이 저를 매우 자랑스러워할 겁니다. 저는 매우 늦게까지 밖에 있었어요. 새벽 2시까지요.

casey newton

오, 이런.

kevin roose

저는 마크 저커버그와 비공식적으로 관련된 AI 레이브(rave)에 갔습니다. Zuck Rave라고 불렸죠.

casey newton

비공식적으로 관련되었다고 하셨는데, 마크 저커버그는 여기에 전혀 관여하지 않았나요?

kevin roose

그렇습니다.

casey newton

제 생각에는 그가 이 일이 일어나는지도 몰랐을 것 같아요.

kevin roose

그렇습니다. 그의 관여도를 표현하는 더 좋은 단어는 '무관여'일 겁니다.

casey newton

OK. [웃음]

kevin roose

AI가 매우 빠르게 발전하기를 원하는 사람들인 액셀러레이셔니스트(accelerationists)들이 마크 저커버그에게 바치는 헌정 레이브 같은 거였어요.

casey newton

다른 말로 하면 허락 없이 그의 초상권을 사용한 거죠.

kevin roose

[웃음] 네.

casey newton

하지만 유명인들에게는 가끔 일어나는 일이죠.

kevin roose

네. Zuck Rave에서는 레이브가 별로 없었다고 말하고 싶네요.

casey newton

그래요?

kevin roose

댄스 플로어가 있었지만 매우 썰렁했어요. 댄스 플로어를 향한 카메라가 있었는데, 적절한 위치에 서면 큰 화면에서 당신의 얼굴을 마크 저커버그의 얼굴로 바꿔주는 장치가 있었어요.

casey newton

잠깐만요. 그러니까, 환각 상태에서 그런 일이 일어나는 건 원치 않을 거예요.

kevin roose

[웃음]

casey newton

매우 불안정한 경험이 될 수 있으니까요.

kevin roose

네. 탈 수 있는 실내 장난감 기차도 있었어요. 실제로는 꽤 빨리 달렸죠.

casey newton

이 레이브의 목적은 뭐였죠?

kevin roose

마약 하는 거요.

casey newton

[웃음]

kevin roose

그게 이 레이브의 목적이었어요.

[테마 음악]

저는 뉴욕 타임즈의 기술 칼럼니스트 Kevin Roose입니다.

casey newton

저는 Platformer의 Casey Newton입니다.

kevin roose

그리고 이것은 "Hard Fork"입니다.

casey newton

이번 주, Anthropic CEO Dario Amodei가 새로운 Claude, 중국과의 AI 경쟁, 그리고 AI의 미래에 대한 그의 희망과 두려움에 대한 초대형 인터뷰를 위해 쇼에 돌아옵니다. 그런 다음 Hat GPT 라운드로 마무리합니다. 이번 주 큰 쇼네요, Kevin.

kevin roose

Casey, AI 회사들이 이제 주말에도 일을 한다는 걸 눈치채셨나요?

casey newton

네. 주 5일 근무는 어떻게 된 거죠?

kevin roose

네. 그들은 기자들과 그들의 근무 시간을 존중하지 않아요. 회사들은 항상 토요일, 일요일, 그리고 다른 시간대에 뭔가를 발표하죠. 정말 골치 아파요.

casey newton

정말 그래요.

kevin roose

하지만 이번 주말, 저는 일요일에 Anthropic의 CEO인 Dario Amodei가 이야기할 소식이 있고 "Hard Fork"에 와서 이야기하고 싶다는 흥미로운 메시지를 받았어요.

casey newton

네. 그리고 거의 동시에, 저는 Anthropic으로부터 최신 모델을 미리 볼 수 있다는 이메일을 받았어요. 그래서 저는 주말 동안 실제로 사용해 봤습니다.

kevin roose

네. 오랜 청취자들은 Dario가 이 쇼에 반복해서 출연한 게스트라는 것을 기억하실 겁니다. 2023년에 우리는 그를 초대하여 Anthropic에서의 그의 작업, AI 안전에 대한 그의 비전, 그리고 이 모든 것이 어디로 향하고 있는지에 대해 이야기했습니다. 그리고 저는 그와 다시 이야기하게 되어 정말 기뻤습니다. 몇 가지 이유가 있는데요. 첫째, 저는 그가 매우 흥미롭고 사려 깊은 사람이라고 생각합니다. 그는 거의 누구보다 오랫동안 AI에 대해 생각해 왔습니다.

그는 2016년에 이미 AI 안전에서 잠재적으로 무서운 것들에 대한 논문을 썼습니다. 그는 구글에 있었고, OpenAI에 있었고, 지금은 Anthropic의 CEO입니다. 그래서 그는 AI에 관한 한 최고의 내부자입니다.

casey newton

그리고 Kevin, 저는 Dario가 또 다른 이유로 중요한 인물이라고 생각합니다. 대규모 AI 연구소를 이끄는 사람들 중에서 그는 가장 공개적으로 문제가 될 수 있는 것들에 대해 걱정하는 사람처럼 보입니다. 그는 오랫동안 그래왔습니다. 그러나 지난 몇 달 동안, 우리가 쇼에서 언급했듯이, AI 안전에 대한 관심에서 벗어나 부통령 JD Vance가 최근 프랑스에서 연설한 것처럼 일종의 가속주의로 추가 많이 기울어진 것 같습니다. 그런 이유로, 저는 그를 여기에 모셔서 그 추를 조금 되돌리고 사람들에게 무엇이 위태로운지 상기시키는 것이 중요하다고 생각합니다.

kevin roose

네, 아니면 적어도 그 추가 흔들리는 것에 대한 그의 견해와 그가 왜 미래에 다시 흔들릴 수 있다고 생각하는지 알아보는 거죠. 그래서 오늘 우리는 Dario와 Anthropic이 방금 출시한 새로운 모델인 Claude 3.7 Sonnet에 대해 이야기할 것입니다. 하지만 우리는 또한 더 광범위한 대화를 원합니다. 왜냐하면 지금 AI에서 너무 많은 일이 일어나고 있기 때문입니다.

casey newton

그리고 Kevin, 우리가 주목해야 할 또 다른 점은 Dario에게 이번에는 사실이지만 그가 쇼에 마지막으로 왔을 때는 사실이 아니었던 점인데, 제 남자친구가 지금 그의 회사에서 일하고 있다는 것입니다.

kevin roose

네, Casey의 man-thropic은 Anthropic에 있습니다.

casey newton

제 man-thropic은 Anthropic에 있습니다. 그리고 저는 이것에 대해 Platformer.new.ethics에서 읽을 수 있는 긴 공개 내용을 가지고 있습니다. 이번 주에 할 가치가 있을 수도 있습니다. 우리는 항상 사람들에게 그것을 상기시키는 것을 좋아합니다.

kevin roose

네. 좋습니다. 그럼 Dario Amodei를 모시겠습니다.

[음악 재생]

Dario Amodei, "Hard Fork"에 다시 오신 것을 환영합니다.

dario amodei

다시 초대해 주셔서 감사합니다.

casey newton

네. 돌아온 챔피언.

kevin roose

Claude 3.7에 대해 말씀해 주시죠. 이 새로운 모델에 대해 말씀해 주세요.

dario amodei

네. 우리는 이 모델을 한동안 작업해 왔습니다. 우리는 기본적으로 두 가지를 염두에 두고 있었습니다. 하나는 물론, 몇 달 동안 출시된 추론 모델들이 있고, 우리는 우리만의 모델을 만들고 싶었습니다. 그러나 우리는 초점을 조금 다르게 하고 싶었습니다.

특히, 시장에 나와 있는 다른 많은 추론 모델들은 주로 수학과 코딩 경진대회에 훈련되어 있습니다. 이는 객관적인 성능을 측정할 수 있는 작업입니다. 저는 그것들이 인상적이지 않다고 말하는 것이 아니라, 실제 세계나 경제의 작업과는 덜 관련이 있을 수 있습니다. 코딩 내에서도 코딩 경진대회와 실제 작업을 하는 것 사이에는 큰 차이가 있습니다. 그래서 우리는 Claude 3.7을 실제 작업에 더 집중하도록 훈련했습니다.

우리는 또한 사람들이 제공한 추론 모델에서 일반적으로 일반 모델과 추론 모델이 있다는 것이 약간 이상하다고 느꼈습니다. 이것은 마치 인간에게 두 개의 뇌가 있는 것과 같습니다. 당신의 이름은 무엇입니까와 같이 빠른 질문을 할 때는 뇌 1번과 이야기하고, 수학 정리를 증명해 달라고 할 때는 20분 동안 앉아 있어야 하므로 뇌 2번과 이야기하는 거죠.

kevin roose

네. 두 명의 호스트가 있는 팟캐스트와 같을 겁니다. 한 명은 그냥 떠들기 좋아하고 다른 한 명은 실제로 말하기 전에 생각하는 거죠.

casey newton

오, 이런.

kevin roose

[웃음]

casey newton

잔인하네요.

dario amodei

노 코멘트.

casey newton

잔인해요.

dario amodei

어떤 관련성에 대해서도 노 코멘트.

kevin roose

Claude 사용자가 3.7을 사용하기 시작하면 이전 모델과 비교하여 어떤 차이점을 느끼게 될까요?

dario amodei

네, 몇 가지가 있습니다. 일반적으로 더 좋아질 것입니다. 코딩도 더 좋아질 것입니다. Claude 모델은 항상 코딩을 가장 잘했지만, 3.7은 한 단계 더 발전했습니다. 모델 자체의 속성 외에도, 이 확장된 사고 모드(extended thinking mode)에 넣을 수 있습니다. 기본적으로 동일한 모델이지만 더 오랫동안 생각할 수 있는 방식으로 작동하라고 지시하는 것입니다. 그리고 API 사용자라면 생각할 수 있는 시간 제한을 설정할 수도 있습니다.

casey newton

몇몇 사람들에게 혼란을 줄 수 있으므로 명확히 하자면, 새로운 Claude는 이 하이브리드 모델이라고 말씀하시는 거죠. 때로는 추론을 하고 때로는 더 빠른 답변을 할 수 있습니다. 하지만 더 오랫동안 생각하게 하려면 별도의 모드가 필요합니다.

dario amodei

별도의 모드입니다.

casey newton

사고와 추론은 일종의 별도 모드입니다.

dario amodei

네. 네. 그래서 기본적으로 모델은 평소처럼 대답할 수 있거나 더 오랫동안 생각해야 한다는 지시를 줄 수 있습니다. 더 나아간 발전 방향은 모델이 스스로 적절한 생각 시간을 결정하는 것입니다. 인간은 그렇게 하거나 적어도 그렇게 할 수 있습니다.

당신의 이름을 물으면, 음, 얼마나 오래 생각해야 할까? 이름을 결정하는 데 20분 주세요, 라고 하지 않죠. 하지만 이 주식에 대한 분석을 해달라거나 이 수학 정리를 증명해 달라고 하면, 그 작업을 할 수 있는 인간은 즉시 답을 주려고 하지 않을 것입니다. 그들은, 좋아요, 시간이 좀 걸리겠네요, 라고 말하고 작업을 적고 답을 얻을 것입니다.

kevin roose

이것은 오늘날의 언어 모델과 AI 모델에 대한 저의 주요 불만 중 하나입니다. ChatGPT와 같은 것을 사용하다가 제가 강력한 추론 모드에 있다는 것을 잊어버릴 때가 있습니다. 그리고 제 온수기 설정을 어떻게 바꾸나요, 와 같이 멍청한 질문을 하면, 4분 동안 생각에 잠깁니다. 그리고 저는, 사실 그렇게 하려던 게 아니었어요, 라고 말하죠.

dario amodei

온수기 온도 조절에 대한 논문 같을 거예요.

kevin roose

온수기의 역사.

dario amodei

고려 사항 1.

kevin roose

모델이 실제로 그런 종류의 라우팅을 스스로 할 수 있게 되기까지 얼마나 걸릴 것이라고 생각하십니까? 질문을 하면 이 질문에는 약 3분 정도의 사고 과정이 필요한 것 같고, 다른 질문에는 30초 정도가 필요할 것 같다고 말하는 거죠.

dario amodei

네. 그래서 저는 우리 모델이 이 방향으로 나아가는 단계라고 생각합니다. API에서도 생각에 대한 제한을 줄 수 있습니다. 20,000 단어 동안 생각할 것이라고 말하면, 평균적으로 20,000 단어까지 주면 대부분의 시간 동안 20,000 단어를 사용하지 않습니다. 그리고 때로는 매우 짧은 응답을 제공합니다. 더 이상 생각해도 이득이 없다는 것을 알면 더 이상 생각하지 않기 때문입니다. 하지만 생각할 수 있는 시간 제한을 주는 것은 여전히 가치가 있습니다. 그래서 우리는 그 방향으로 큰 발걸음을 내디뎠지만 아직 우리가 원하는 곳에 도달하지는 못했습니다.

casey newton

실제 작업에 더 낫다고 말씀하셨는데, 어떤 작업을 생각하고 계십니까?

dario amodei

네. 그래서 저는 무엇보다도 코딩이라고 생각합니다. Claude 모델은 실제 코딩에 매우 능숙했습니다. Cursor, GitHub, Windsurf Codeium, Cognition, Vercel 등 많은 고객이 있습니다. 여기서 몇 개를 빼먹었을 수도 있지만요.

kevin roose

이것들은 바이브 코딩 앱입니다.

casey newton

아니면 그냥 코딩 앱이죠.

kevin roose

네.

dario amodei

코딩 앱이죠. 그리고 다양한 종류의 코딩 앱이 있습니다. 우리는 또한 Claude Code라는 명령줄 도구를 출시했습니다. 하지만 복잡한 지시 따르기나 이 문서를 이해해 달라거나 이 일련의 도구를 사용해 달라는 것과 같은 작업에서도 우리가 훈련한 추론 모델인 Claude 3.7 Sonnet이 더 낫습니다.

casey newton

네. 새로운 Claude Sonnet이 하지 않는 한 가지는, Dario, 인터넷에 접속하는 것입니다.

dario amodei

네.

casey newton

왜 그렇죠? 그리고 무엇이 당신을 변화시킬까요?

dario amodei

네. 그래서 저는 이전에 이것을 말한 적이 있다고 생각하지만, 웹 검색이 곧 제공될 것입니다.

casey newton

OK.

dario amodei

우리는 곧 웹 검색을 제공할 것입니다. 우리는 그것이 실수였음을 인지하고 있습니다. 일반적으로 우리는 소비자 중심보다는 기업 중심에 더 집중하는 경향이 있으며, 이것은 소비자 기능에 가깝지만 둘 다 사용할 수 있습니다. 그러나 우리는 둘 다에 집중하고 있으며 이것이 제공될 것입니다.

casey newton

알겠습니다. 그래서 이 모델 이름을 3.7이라고 지으셨습니다. 이전 모델은 3.5였습니다. 작년에 조용히 업데이트하셨고 내부자들은 3.6이라고 불렀습니다. 공손하게 말하면, 이것은 우리 모두를 미치게 만들고 있습니다. AI 모델 이름은 어떻게 되는 건가요?

dario amodei

우리는 가장 덜 미쳤지만, 우리가 미쳤다는 것을 인지하고 있습니다. 보세요, 저는 여기서 우리의 실수가 비교적 이해할 만하다고 생각합니다. 우리는 3.5 Sonnet을 만들었습니다. 우리는 잘하고 있었고, 3.0과 3.5가 있었습니다. 3.7 new가 실수였다는 것을 인지하고 있습니다. 특히 모든 파트너와 제공하는 서비스가 있을 때 API에서 이름을 변경하는 것은 실제로 어렵습니다.

kevin roose

해결할 수 있습니다. 저는 당신을 믿습니다.

dario amodei

아니요, 아니요, 아니요. 모델을 훈련하는 것보다 더 어렵습니다. 제가 말씀드리죠.

그래서 우리는 일종의 소급적이고 공식적으로 마지막 3.6을 명명하여 이 모델이 3.7이라는 것이 이치에 맞도록 했습니다. 그리고 우리는 Claude 4 Sonnet과 이 순서의 다른 모델들을 정말로 상당히 큰 도약을 위한 것으로 예약하고 있습니다.

casey newton

때로는 모델들이 —

dario amodei

그 모델들이 나오고 있습니다.

casey newton

OK.

kevin roose

알겠습니다. 언제 나오죠?

dario amodei

네. 네, 이것에 대해 조금 이야기해야 합니다. 지금까지 우리가 출시한 모든 모델은 실제로 그렇게 비싸지 않습니다. 그렇죠? 저는 블로그 게시물을 작성하여 최대 수천만 달러 범위에 있다고 말했습니다. 더 큰 모델들이 있고 그 모델들이 나오고 있습니다. 시간이 오래 걸리고 때로는 제대로 만드는 데 시간이 오래 걸립니다. 하지만 그 더 큰 모델들은 다른 회사에서도 나오고 있습니다. 경쟁사에서도 나올 것이라는 소문이 있지만, 우리는 더 큰 기반 모델을 출시하는 것에서 멀지 않습니다.

따라서 Claude 3.7 Sonnet과 Claude 3.6 Sonnet의 대부분의 개선 사항은 훈련 후 단계에 있습니다. 그러나 우리는 더 강력한 기반 모델을 작업하고 있으며, 아마도 그것이 Claude 4 시리즈가 될 수도 있고 아닐 수도 있습니다. 두고 볼 일입니다. 하지만 비교적 짧은 시간 단위(small number of time units) 안에 출시될 것이라고 생각합니다.

casey newton

짧은 시간 단위. 제 달력에 적어두겠습니다. 몇 시간 단위 후에 확인하라고 알려주세요, Kevin.

kevin roose

Anthropic의 여러분 모두 AI 안전과 세상에 출시하는 모델의 안전에 대해 매우 걱정하고 있다는 것을 알고 있습니다. 그것에 대해 많은 시간을 생각하고 내부적으로 모델을 레드팀(red teaming)한다는 것을 알고 있습니다. Claude 3.7 Sonnet에 AI 안전에 대해 걱정하는 사람을 위험하게 하거나 걱정하게 할 수 있는 새로운 기능이 있습니까?

dario amodei

그 자체로 위험하지는 않습니다. 그리고 저는 항상 이것을 명확히 하고 싶습니다. 왜냐하면 현재의 위험과 미래의 위험이 끊임없이 혼동되는 것 같기 때문입니다. 현재의 위험이 없다는 것은 아닙니다. 그리고 항상 일반적인 기술 위험, 일반적인 기술 정책 문제가 있습니다. 저는 모델이 더 강력해짐에 따라 우리가 보게 될 위험에 대해 더 걱정합니다.

그리고 저는 그러한 위험에 대해 2023년에 우리가 이야기했을 때 많이 이야기했습니다. 제 생각에는 상원 앞에서 생물학 또는 화학 무기 오용 위험이나 AI 자율성 위험과 같은 것에 대해 증언했다고 말했습니다. 특히 오용 위험과 관련하여, 저는 이러한 위험이 언제 여기에 있을지, 언제 실제 위험이 될지 모르지만 2025년이나 2026년에 발생할 수 있다고 말했습니다.

그리고 지금 우리는 2025년 초, 그 기간의 바로 초입에 있으며, 모델이 그 시점에 가까워지기 시작했다고 생각합니다. 그래서 특히 Claude 3.7 Sonnet에서, 모델 카드에 썼듯이, 우리는 항상 이것들을 합니다. 거의 통제 실험과 같은 실험이라고 할 수 있습니다. 생물학과 같이 잘 모르는 분야의 사람을 대상으로 합니다. 그리고 우리는 기본적으로 모델이 그들이 어떤 모의 나쁜 워크플로(mock bad workflow)에 참여하는 데 얼마나 도움이 되는지 확인합니다.

몇 가지 단계를 변경하지만, 어떤 모의 나쁜 워크플로. 모델의 도움을 받은 인간은 그것을 얼마나 잘할까요? 때로는 실제 세계에서 습식 실험실(wet lab) 실험을 하기도 합니다. 현재 기술 환경과 비교하여 나쁜 것을 모의로 만듭니다.

kevin roose

구글에서.

dario amodei

구글에서, 또는 교과서로, 또는 그냥 도움 없이 할 수 있는 것. 그리고 우리는 이것이 이전에 없었던 새로운 위협 벡터를 가능하게 하는지 알아내려고 노력하고 있습니다. 저는 이것이, 오, 모델이 나에게 이 일련의 과정을 알려줬나요? 모델이 나에게 메스암페타민 제조법을 알려줬나요? 와 같은 것이 아니라는 것을 말하는 것이 매우 중요하다고 생각합니다. 그것은 쉽습니다. 구글로 할 수 있습니다. 우리는 그것에 전혀 관심이 없습니다.

우리는 예를 들어 바이러스학 박사 학위 소지자와 같이 난해하고, 고도로, 흔하지 않은 지식에 관심이 있습니다. 그것이 얼마나 도움이 될까요? 그리고 만약 그렇다면, 그것이 우리가 모두 내일 전염병으로 죽을 것이라는 것을 의미하지는 않습니다. 그것은 새로운 위험이 세상에 존재한다는 것을 의미합니다. 마치 핵무기를 만드는 것을 더 쉽게 만든 것처럼 새로운 위협 벡터가 세상에 존재합니다. 필요한 플루토늄의 양이 이전보다 적은 것을 발명했습니다.

그래서 우리는 Sonnet 3.7을 이러한 위험에 대해 측정했습니다. 그리고 모델은 이것에 점점 더 능숙해지고 있습니다. 그들은 아직 우리가 정말로 위험한 일을 하기 위해 필요한 모든 작업을 수행하는 데 있어 실질적이고 의미 있는 위협 증가가 있다고 생각하는 단계는 아닙니다.

그러나 우리는 모델 카드에서 다음 모델이나, 모르겠습니다, 3개월, 6개월 내의 모델에서 상당한 확률로 거기에 도달할 수 있다고 평가했습니다. 그러면 우리의 안전 절차, 주로 이러한 매우 큰 위험에 초점을 맞춘 책임감 있는 확장 절차(responsible scaling procedure)가 작동하기 시작하고, 이러한 매우 좁은 위험에 특별히 대비한 추가 보안 조치와 추가 배포 조치를 취할 것입니다.

casey newton

네. 강조하자면, 앞으로 3~6개월 안에 우리는 이 모델에서 중간 위험 단계에 있을 것이라고 말씀하시는 겁니다. 아마도 당신이 그 위치에 있다면, 많은 경쟁자들도 그 위치에 있을 것입니다. 그것은 실제로 무엇을 의미합니까? 우리 모두가 중간 위험에 살고 있다면 세상은 무엇을 해야 합니까?

dario amodei

저는 적어도 이 단계에서는 큰 변화가 아니라고 생각합니다. 그것은 모델이 완화되지 않으면 정말로 위험하거나 정말로 나쁜 일이 일어날 위험을 다소 증가시킬 수 있는 좁은 범위의 일이 있다는 것을 의미합니다. 법 집행관이나 FBI와 같은 사람의 입장에서 생각해 보세요. 새로운 위협 벡터가 있습니다. 새로운 종류의 공격이 있습니다.

그것이 세상의 종말을 의미하는 것은 아니지만, 이 위험이 존재하는 산업에 관련된 모든 사람은 특히 그 위험에 대한 예방 조치를 취해야 합니다.

casey newton

알겠습니다.

dario amodei

그리고 모르겠습니다. 제가 틀릴 수도 있습니다. 훨씬 더 오래 걸릴 수도 있습니다. 무슨 일이 일어날지 예측할 수 없습니다. 그러나 오늘날 우리가 보고 있는 위험에 대해 덜 걱정하는 환경과는 달리, 배경의 위험은 실제로 증가하고 있다고 생각합니다.

casey newton

우리는 더 많은 안전 질문이 있지만, 먼저 혁신 경쟁에 대해 두 가지 더 질문하고 싶습니다.

dario amodei

네.

casey newton

현재로서는 어떤 회사의 모델이 아무리 혁신적이더라도 몇 달 또는 몇 주 안에 경쟁자들이 그 혁신을 복사하는 것 같습니다. 그것이 당신의 일을 더 어렵게 만듭니까? 그리고 그것이 무한정 그럴 것이라고 생각하십니까?

dario amodei

혁신이 반드시 정확하게 복사되는지는 모르겠습니다. 제가 말하고 싶은 것은 많은 경쟁자들 사이에서 혁신 속도가 매우 빠르다는 것입니다. 매우 빠르게 혁신하고 매우 빠르게 모델을 생산하는 4, 5, 어쩌면 6개의 회사가 있습니다. 그러나 예를 들어 Sonnet 3.7을 보면, 우리가 추론 모델을 만든 방식은 경쟁자들이 한 것과 다릅니다. 우리가 강조한 것들이 달랐습니다.

그 이전에도 Sonnet 3.5가 잘하는 것은 다른 모델이 잘하는 것과 다릅니다. 사람들은 종종 경쟁, 상품화, 비용 절감에 대해 이야기하지만, 실제로는 모델이 서로 상당히 다릅니다. 그리고 그것이 차별화를 만듭니다.

kevin roose

네. AI 도구 하나를 구독할 예정이라면 무엇을 구독해야 하는지 묻는 청취자들의 질문을 많이 받습니다. 이것이 제가 사용하는 것입니다. 그리고 저는 대답하기 어렵습니다. 왜냐하면 대부분의 사용 사례에서 모델이 모두 비교적 괜찮은 답변을 제공하기 때문입니다. 정말로 어떤 모델의 성격을 더 좋아하는지와 같은 것으로 귀결됩니다. 소비자들이 기능을 기반으로 AI 모델을 선택할 것이라고 생각하십니까? 아니면 성격과 그것이 그들에게 어떤 느낌을 주는지, 그것이 그들과 어떻게 상호 작용하는지에 더 달려 있을 것이라고 생각하십니까?

dario amodei

어떤 소비자를 의미하는지에 따라 다르다고 생각합니다. 소비자 중에서도 어떤 면에서 복잡한 작업을 위해 모델을 사용하는 사람들이 있습니다. 데이터를 분석하고 싶어하는 독립적인 사람들이 있습니다. 그것은 아마도 프로슈머(prosumer) 측면일 것입니다. 그리고 저는 그 안에서 기능 측면에서 갈 길이 많다고 생각합니다. 모델은 생산성에 초점을 맞춘 모든 것이나 여행 계획과 같은 복잡한 작업에서도 당신을 돕는 데 훨씬 더 나을 수 있습니다.

그 외에도, 당신의 삶을 관리하기 위한 개인 비서를 만들려고 한다면, 우리는 당신의 삶의 모든 측면을 보고 전체적으로 조언을 제공하고 당신에게 도움이 되는 비서가 될 수 있는 모델과는 거리가 멀습니다. 그리고 저는 그 안에서 차별화가 있다고 생각합니다. 저에게 가장 좋은 비서가 다른 사람에게 가장 좋은 비서가 아닐 수도 있습니다.

모델이 충분히 좋을 한 가지 영역은 구글 검색을 대체하거나 빠른 정보 검색으로 사용하려는 경우라고 생각합니다. 이것은 대중 시장에서 수억 명의 사용자가 사용하고 있다고 생각합니다. 저는 그것이 매우 상품화될 수 있다고 생각합니다. 저는 모델이 이미 거기에 있고 세상에 퍼져나가고 있다고 생각하지만, 그것이 모델의 흥미로운 용도라고 생각하지 않습니다. 그리고 저는 실제로 많은 경제적 가치가 거기에 있는지 확신하지 못합니다.

casey newton

제 말은, 당신이 정말로 훌륭한 개인 비서와 같은 에이전트를 개발한다면, 그것을 먼저 알아낸 회사가 큰 이점을 갖게 될 것이라는 말씀이신가요? 다른 연구소는 그것을 복사하기가 더 어려울 것이기 때문입니다. 그들에게 그것을 재현하는 방법이 덜 명확할 것입니다.

dario amodei

그것을 재현하는 방법이 덜 명확할 것입니다. 그리고 그들이 그것을 재현할 때, 그들은 그것을 정확하게 재현하지 않을 것입니다. 그들은 그들만의 방식, 그들만의 스타일로 할 것이고, 다른 사람들에게 적합할 것입니다. 그래서 저는 시장이 당신이 생각하는 것보다 더 세분화되어 있다고 말하는 것 같습니다. 모든 것이 하나처럼 보이지만, 당신이 생각하는 것보다 더 세분화되어 있습니다.

casey newton

알겠습니다. 그래서 안전으로 이어지는 경쟁 질문을 하겠습니다. 최근에 DeepSeek mania가 절정에 달했을 때 DeepSeek에 대한 정말 흥미로운 게시물을 작성하셨습니다. 그리고 당신은 부분적으로 그들이 알아낸 비용 절감이 기본적으로 비용이 이미 하락하고 있는 것과 일치한다고 주장했습니다. 그러나 당신은 또한 DeepSeek가 경종을 울려야 한다고 말했습니다. 왜냐하면 그 나라가 지금까지 하지 못했던 방식으로 중국이 최첨단 연구소를 따라잡고 있음을 보여주었기 때문입니다. 그렇다면 그것이 당신에게 주목할 만한 이유는 무엇이며, 우리는 그것에 대해 무엇을 해야 한다고 생각하십니까?

dario amodei

네. 그래서 저는 이것이 상업적 경쟁에 관한 것이 아니라고 생각합니다. 저는 상업적 경쟁 관점에서 DeepSeek에 대해 덜 걱정합니다. 저는 국가 경쟁과 국가 안보 관점에서 그들에 대해 더 걱정합니다. 제가 생각하는 것은 우리가 세상의 상태를 보고 중국과 러시아와 같은 독재 국가가 있다는 것입니다. 그리고 저는 항상 걱정했습니다. 어쩌면 10년 동안 AI가 독재의 엔진이 될 수 있다고 걱정했습니다.

억압적인 정부를 생각해 보면, 그들이 얼마나 억압적일 수 있는지에 대한 한계는 일반적으로 그들이 집행자, 인간 집행자를 무엇을 하게 할 수 있는지에 의해 결정됩니다. 그러나 그들의 집행자가 더 이상 인간이 아니라면, 그것은 매우 어두운 가능성을 그리기 시작합니다. 그래서 이것은 제가 매우 우려하는 영역입니다. 저는 자유 민주주의 국가가 이러한 남용이 발생하는 것을 방지하고, 또한 우리의 적들이 우리를 세상의 나머지 부분에 대해 나쁜 위치에 놓거나 심지어 우리의 안보를 위협하는 것을 방지할 수 있는 충분한 영향력과 기술적 이점을 확보하기를 바랍니다.

미국의 회사들이 이것을 만들고 있다는 것은, 중국의 회사들이 이것을 만들고 있다는 것은 이상하고 어색한 특징입니다. 그러나 우리는 순진해서는 안 됩니다. 특히 중국에서 그러한 회사들의 의도가 무엇이든, 정부적인 요소가 있습니다. 그래서 저는 독재 국가가 군사적 관점에서 앞서 나가지 않도록 하는 데 관심이 있습니다.

저는 그들에게 기술의 이점을 부정하려고 하는 것이 아닙니다. 우리 모두가 세상 어디에서나, 가장 가난한 지역을 포함하여, 독재의 손아귀에 있는 지역을 포함하여, 그 기술의 혜택이 돌아가기를 바랍니다. 그러나 저는 독재 정부가 군사적 이점을 갖는 것을 원하지 않습니다. 그래서 제가 그 게시물에서 논의한 수출 통제와 같은 것들이 우리가 그것을 방지하기 위해 할 수 있는 일 중 하나입니다. 그리고 실제로 트럼프 행정부가 수출 통제를 강화하는 것을 고려하고 있다는 것을 보게 되어 기뻤습니다.

kevin roose

저는 지난 주말에 AI 안전 컨퍼런스에 참석했는데, 그 분야의 일부 사람들이 Anthropic, 그리고 아마도 당신에게 특히 비판하는 것 중 하나는 그들이 DeepSeek에 대해 쓴 것과 같은 게시물을 중국과의 AI 군비 경쟁을 효과적으로 조장하고, 미국이 강력한 AGI에 가장 먼저 도달해야 한다고 주장하는 것으로 보았다는 것입니다. 그렇지 않으면요. 그리고 그들은 그 과정에서 몇 가지 모퉁이가 잘릴 수 있고, 이 경쟁을 가속화하는 것과 관련된 몇 가지 위험이 있다고 걱정합니다. 그것에 대한 당신의 반응은 무엇입니까?

dario amodei

네. 저는 다르게 생각합니다. 제 생각은 우리가 조금이라도 기회를 갖고 싶다면 — 자연의 기본 상태는 일이 최대 속도로 진행되는 것입니다. 우리가 최대 속도로 가지 않을 조금이라도 기회를 갖고 싶다면, 계획은 다음과 같이 작동합니다.

미국 내에서 또는 민주주의 국가 내에서 — 이들은 모두 법의 지배를 받는 국가이며, 따라서 우리는 법을 통과시킬 수 있습니다. 우리는 회사들이 정부와 시행 가능한 합의를 하도록 할 수 있습니다. 또는 시행 가능한 안전 약속을 하도록 할 수 있습니다. 그래서 우리가 이러한 다양한 회사가 있고 그들이 자연의 기본 상태에서 가능한 한 빨리 경쟁하는 세상에 있다면, 자발적인 약속과 법률의 혼합을 통해 모델이 너무 위험하면 속도를 늦출 수 있습니다.

그리고 그것은 실제로 시행 가능합니다. 죄수의 딜레마에서 모든 사람에게 협력하게 할 수 있습니다. 모든 사람의 머리에 총을 겨누면 됩니다. 그리고 할 수 있습니다. 그것이 궁극적으로 법입니다. 그러나 저는 국제 경쟁의 세계에서는 그 모든 것이 창 밖으로 던져진다고 생각합니다. 미국과 중국 간의 합의를 시행할 권한을 가진 사람은 아무도 없습니다.

그래서 제 걱정은 미국이 중국보다 몇 년 앞서 있다면, 우리는 그 몇 년을 사용하여 안전하게 만들 수 있다는 것입니다. 우리가 중국과 동등하다면, 군비 경쟁을 조장하는 것이 아닙니다. 그것이 일어날 것입니다. 그 기술은 엄청난 군사적 가치를 가지고 있습니다. 사람들이 지금 뭐라고 말하든, 협력에 대해 어떤 좋은 말을 하든, 저는 사람들이 기술의 경제적, 군사적 가치를 완전히 이해하면 — 이미 대부분 이해하고 있다고 생각합니다 — 가장 치열한 경쟁 외에는 다른 것으로 변할 수 있다고 생각하지 않습니다.

그래서 우리가 더 많은 시간을 갖기 위해 할 수 있는 것은 독재자들의 속도를 늦추는 것입니다. 그것은 거의 절충안을 없애줍니다. 그것은 우리에게, OpenAI, Google, X.AI 사이에서 이러한 모델을 안전하게 만드는 방법을 알아낼 더 많은 시간을 줍니다.

이제 어느 시점에서 우리가 독재자들에게 — 예를 들어 중국인들에게 모델이 실제로 위험하고 우리가 어떤 합의를 하고 시행할 방법을 찾아야 한다고 설득할 수 있을까요? 저는 실제로 그렇게 하려고 노력해야 한다고 생각합니다. 저는 그렇게 하려고 노력하는 것을 지지하지만, 그것이 계획 A가 될 수는 없습니다. 그것은 세상을 보는 현실적인 방법이 아닙니다.

casey newton

이것들은 정말 중요한 질문과 토론인 것 같고, 당신과 Kevin이 몇 주 전에 참석했던 파리의 AI 액션 서밋에서는 대부분 논의되지 않은 것 같습니다. 그 서밋은 도대체 어떻게 된 건가요?

dario amodei

네. 정말 실망했다고 말씀드려야 합니다. 무역 박람회 같은 분위기였고, 영국 정부가 블레츨리 파크에서 만든 원래 서밋의 정신과는 매우 달랐습니다. 블레츨리는 훌륭한 일을 했고 영국 정부는 훌륭한 일을 했습니다. 그들은 그들이 무엇을 하고 있는지 확실히 알기 전에 많은 부담스러운 규정을 도입하지 않았습니다. 그러나 그들은, 위험을 논의하기 위해 이러한 서밋을 소집하자고 말했습니다.

저는 그것이 매우 좋다고 생각했습니다. 이제는 그 정신이 사라진 것 같습니다. 그리고 그것은 위험에 대해 덜 걱정하고 기회를 더 잡고 싶어하는 일반적인 움직임의 일부일 수 있습니다. 그리고 저는 기회를 잡는 것을 좋아합니다. 그렇죠? 저는 모든 훌륭한 것들에 대해 "Machines of Loving Grace"라는 에세이를 썼습니다. 그 에세이의 일부는, 위험에 대해 걱정하는 사람으로서, 저는 혜택에 대해 이야기하는 데 모든 시간을 보내는 많은 사람들보다 혜택에 대한 더 나은 비전을 가지고 있다고 느꼈습니다.

그러나 배경에서, 제가 말했듯이, 모델이 더 강력해짐에 따라, 우리가 그들과 함께 할 수 있는 놀랍고 경이로운 것들이 증가했습니다. 그러나 또한 위험도 증가했습니다. 그리고 그러한 세속적인 증가, 그 부드러운 지수 함수는 사회적 추세나 정치적 바람에 전혀 주의를 기울이지 않습니다. 당신이 주의를 기울이든 아니든 위험은 어떤 임계점까지 증가하고 있습니다.

AI 위험에 대한 열풍이 있었고 모든 사람들이 그것에 대해 게시하고 있었고 이러한 서밋이 있었을 때 위험은 작고 증가하고 있었습니다. 그리고 이제 바람이 다른 방향으로 불었지만 지수 함수는 계속됩니다. 그것은 상관하지 않습니다.

kevin roose

저는 파리에서 누군가와 대화를 나눴는데, 그곳의 누구도 AGI를 느끼지 못하는 것 같다고 말했습니다. 그들은 정치인, 이러한 패널과 모임을 하는 사람들이 모두 AI를 마치 또 다른 기술, 어쩌면 PC나 인터넷 정도의 기술로 이야기하고 있지만, 당신이 말하는 지수 함수를 실제로 이해하지 못하고 있다고 말했습니다. 당신도 그렇게 느끼셨나요? 그리고 그 격차를 해소하기 위해 무엇을 할 수 있다고 생각하십니까?

dario amodei

네. 저도 그렇게 느꼈습니다. 제가 사람들에게 주의를 기울이게 할 수 있다고 생각하는 것은, 보세요, 당신이 공무원이거나 회사의 리더라면, 사람들은 뒤돌아볼 것입니다. 그들은 2026년과 2027년에 뒤돌아볼 것입니다. 그들은 바라건대 인류가 이 미친, 미친 시기를 헤쳐나가고 우리가 이 강력한 지능과 공존하는 법을 배운 성숙하고 강력한 AI 이후 사회에 있을 때 뒤돌아볼 것입니다. 모든 사람들이 뒤돌아보고, 관리들은 무엇을 했는가, 회사 사람들은 무엇을 했는가, 정치 시스템은 무엇을 했는가, 라고 말할 것입니다. 그리고 아마도 당신의 최우선 목표는 바보처럼 보이지 않는 것입니다. 그래서 저는 "말 조심하세요. 나중에 바보처럼 보이지 마세요."라고 격려하고 있습니다. 그리고 제 생각의 많은 부분은, 올바른 결과를 원하는 것 외에도, 저는 바보처럼 보이고 싶지 않다는 것입니다. 그리고 그 컨퍼런스에서 몇몇 사람들은 바보처럼 보일 것이라고 생각합니다.

[음악 재생]

kevin roose
짧은 휴식을 취하겠습니다. 돌아와서 Dario와 AI에서 다가올 일에 대해 사람들이 어떻게 준비해야 하는지에 대해 이야기하겠습니다.

[음악 재생]

샌프란시스코에 사는 사람들과 이야기하면, 1~2년 안에 우리는 AI에 의해 변화된 세상에 살게 될 것이라는 뼛속 깊은 느낌이 있습니다. 저는 지리적 차이에 놀랐습니다. 왜냐하면, 모르겠습니다, 어느 방향으로든 100마일을 가면 그 믿음이 완전히 사라지기 때문입니다. 그리고 저는 언론인으로서, 제 주변 사람들을 정말로 신뢰할 수 있는지 의문을 갖게 됩니다. 왜냐하면 세상의 다른 사람들은 이것이 어떻게 진행될지에 대해 매우 다른 비전을 가지고 있는 것 같기 때문입니다. 저는 그러한 지리적 단절에 대해 어떻게 생각하시는지 궁금합니다.

dario amodei
네. 저는 이것을 10년 동안 지켜봐 왔습니다. 저는 10년 동안 이 분야에 있었고 그 전에도 AI에 관심이 있었습니다. 그리고 거의 모든 단계에서 지난 몇 달까지 제 견해는, 우리는 몇 년 안에 인간이 하는 모든 것을 하는 모델을 가질 수 있고, 그것들이 경제와 인간이라는 것이 무엇을 의미하는지를 완전히 뒤집어 놓을 수 있는 어색한 공간에 있다는 것이었습니다. 아니면 그 추세가 멈추고 이 모든 것이 완전히 어리석게 들릴 수도 있습니다. 저는 이제 실제로 일이 일어날 세상에 있다는 확신을 높였습니다. 40%나 50%가 아니라 70%나 80% 정도의 숫자를 제시할 것입니다.

kevin roose
죄송합니다. 명확히 하자면, 70%~80% 확률은 무엇에 대한 거죠?

dario amodei
거의 모든 면에서 인간보다 훨씬 똑똑한 매우 많은 수의 AI 시스템을 얻게 될 것입니다. 아마도 70% 또는 80%는 10년이 끝나기 전에 그렇게 될 것이고, 제 추측은 2026년이나 2027년입니다.

kevin roose
네.

dario amodei
그러나 지리적 차이에 대한 당신의 질문에 대해, 제가 알아차린 한 가지는 지수 함수의 각 단계마다, 당신의 관점에 따라, 망상에 빠진 광신도이거나 미래를 Grok하는 사람들의 확장되는 원이 있다는 것입니다.

kevin roose
알겠습니다.

dario amodei
그리고 수천 명이었을 때를 기억합니다. 믿는 매우 이상한 사람들과 이야기하면, 기본적으로 다른 사람은 아무도 믿지 않았습니다. 이제는 수십억 명 중 수백만 명 정도입니다. 그리고, 네, 그들 중 많은 수가 샌프란시스코에 있지만, 바이든 행정부에도 소수의 사람들이 있었습니다. 이 행정부에도 이것을 믿고 그들의 정책을 추진한 소수의 사람들이 있을 수 있습니다.

그래서 완전히 지리적인 것은 아니지만, 저는 이러한 단절이 있다고 생각합니다. 그리고 저는 수백만 명에서 세상의 모든 사람에게, 이 문제에 집중하지 않는 국회의원, 루이지애나의 사람, 케냐의 사람에게 어떻게 도달해야 할지 모르겠습니다.

casey newton
네. 그것이 또한 양극화되어 그 목표를 달성하는 데 방해가 될 수 있는 것 같습니다. 저는 AI 안전에 대해 걱정하고, AI 안전에 대해 이야기하고, 오용 가능성에 대해 이야기하는 것이 좌파 또는 진보로 코딩되고, 가속화에 대해 이야기하고, 규제를 없애고, 가능한 한 빨리 가는 것이 우파로 코딩되는 일종의 정렬이 일어나고 있다고 느낍니다. 모르겠습니다. 당신은 그것이 사람들이 무슨 일이 일어나고 있는지 이해하는 데 장벽이 된다고 보십니까?

dario amodei
저는 그것이 실제로 큰 장벽이라고 생각합니다. 왜냐하면 위험을 해결하면서 혜택을 극대화하려면 미묘함이 필요하기 때문입니다. 실제로 둘 다 가질 수 있습니다. 혜택을 많이 늦추지 않거나 전혀 늦추지 않으면서 위험을 외과적으로 신중하게 해결하는 방법이 있습니다. 그러나 그것들은 미묘함과 복잡한 대화를 필요로 합니다.

일단 양극화되면, 이 단어들에 환호하고 저 단어들에 야유를 보내면, 아무것도 제대로 되지 않습니다. 보세요, AI 혜택을 모든 사람에게 제공하는 것, 이전에 치료할 수 없었던 질병을 치료하는 것과 같은 것은 당파적인 문제가 아닙니다. 좌파가 그것에 반대해서는 안 됩니다.

AI 시스템이 대량 살상 무기로 오용되거나 인프라를 위협하거나 심지어 인류 자체를 위협하는 방식으로 자율적으로 행동하는 것을 방지하는 것은 우파가 반대해야 할 일이 아닙니다. 저는 우리가 앉아서 이것에 대해 진지하고 성숙한 대화를 나누어야 한다고 말하는 것 외에는 할 말이 없습니다.

casey newton
Kevin, 정말 흥미롭습니다. 왜냐하면 역사적으로 국가 안보, 국방은 우파적인 이슈였기 때문입니다. 그러나 지금은 우파가 AI와 관련하여 그러한 문제에 관심이 없는 것 같습니다. 그리고 그 이유는 — JD Vance가 프랑스에서 한 연설에서 어느 정도 들은 것 같은데 — 글쎄요, 보세요. 미국이 먼저 거기에 도달하고 영원히 이길 것입니다. 그래서 우리는 이러한 문제를 해결할 필요가 없습니다. 라는 생각 때문일까요? 당신에게도 그렇게 들리나요?

dario amodei
네. 네.

kevin roose
네, 그렇게 생각합니다. 그리고 DOGE 사람들과 이야기하면, 이러한 모든 —

casey newton
DOGE 사람들과 이야기하고 있나요?

kevin roose
누구와 이야기하고 있는지 말하지 않겠습니다.

casey newton
알겠습니다.

kevin roose
몇몇 시그널 메시지를 받고 있다고만 말해두죠.

casey newton
OK.

kevin roose
DC의 많은 공화당원과 트럼프 지지자들 사이에는 AI와 AI 미래에 대한 대화가 걱정하는 사람들, 일종의 Chicken Little 하늘이 무너지고 있다고 말하는 파멸론자(doomer)들에 의해 지배되어 왔다는 인식이 있다고 생각합니다. 그들은 끊임없이 우리에게 이 기술이 얼마나 위험한지 말하고, 언제 정말 나빠질지에 대한 타임라인을 계속 연기해야 하며, 바로 코앞에 와 있고, 그래서 지금 모든 규제가 필요하다고 말합니다. 그리고 그들은 매우 냉소적입니다. 저는 그들이 당신과 같은 사람들이 걱정하는 것을 진지하게 받아들인다고 생각하지 않습니다.

dario amodei
그래서, 네, 위험 측면에서, 저는 종종 위험 옹호자들이 위험의 대의에 최악의 적인 경우가 있다고 느낍니다. 많은 소음이 있었습니다. 소두증 바이러스를 다운로드할 수 있다고 말하는 사람들이 많았습니다. 왜냐하면 그들은 그것이 정치적 관심을 끄는 방법이라고 생각하기 때문입니다. 그리고 물론, 반대편은 그것을 인지하고 이것은 부정직하다고 말했습니다. 구글에서 얻을 수 있습니다. 누가 이것에 신경 쓰겠습니까?

따라서 잘못 제시된 위험 증거는 실제로 위험 완화의 최악의 적입니다. 그리고 우리는 우리가 제시하는 증거에 대해 정말 신중해야 합니다. 그리고 우리 자신의 모델에서 보고 있는 것에 대해, 우리는 정말 신중할 것입니다. 우리가 정말로 위험이 현재 존재한다고 선언한다면, 우리는 증거를 제시할 것입니다. I, Anthropic은 우리가 하는 주장에 대해 책임을 지려고 노력할 것입니다. 우리는 위험이 임박했을 때 당신에게 말할 것입니다. 우리는 아직 임박한 위험을 경고하지 않았습니다.

casey newton
어떤 사람들은 사람들이 AI 안전에 대한 질문을 그들이 해야 하는 만큼 심각하게 받아들이지 않는 이유가 지금 그들이 보는 것의 대부분이 매우 어리석어 보이기 때문이라고 생각합니다. 사람들이 작은 이모티콘을 만들거나, 작은 슬롭 이미지(slop image)를 만들거나, "왕좌의 게임" 챗봇과 채팅하는 것과 같은 것입니다. 당신은 그것이 사람들이 그냥 —

dario amodei
저는 그것이 60%의 이유라고 생각합니다.

casey newton
정말요? OK.

dario amodei
아니요, 아니요, 저는 그것이 현재와 미래의 문제와 관련이 있다고 생각합니다. 사람들은 챗봇을 봅니다. 그들은, 우리는 챗봇과 이야기하고 있습니다. 젠장, 당신은 바보입니까? 챗봇이 모든 사람을 죽일 것이라고 생각합니까? 저는 그것이 많은 사람들의 반응이라고 생각합니다. 그리고 우리는 현재에 대해 걱정하는 것이 아니라고 말하기 위해 많은 노력을 기울입니다. 우리는 미래에 대해 걱정하고 있습니다. 비록 미래가 지금 매우 가까워지고 있지만요.

우리의 책임감 있는 확장 정책을 보면, AI, 자율성, CBRN, 화학, 생물학, 방사능, 핵 외에는 아무것도 없습니다. 수백만 명의 생명을 위협할 수 있는 핵심 오용과 AI 자율성에 관한 것입니다. 그것이 Anthropic이 주로 걱정하는 것입니다.

우리는 다른 것들을 다루는 일상적인 정책을 가지고 있습니다. 그러나 핵심 문서, 책임감 있는 확장 계획과 같은 것들은 특히 최고 수준에서 그것들에만 관한 것입니다. 그러나 매일 트위터를 보면, Anthropic은 이러한 어리석은 거부를 했습니다. Anthropic은 폭력적으로 들린다는 이유로 Python 프로세스를 죽일 수 없다고 말했습니다. Anthropic은 X를 하고 싶어하지 않았고, — 우리는 그것도 원하지 않습니다.

그러한 어리석은 거부는 우리가 실제로 걱정하는 것들의 부작용입니다. 그리고 우리는 사용자와 함께 그것들이 덜 발생하도록 노력하고 있습니다. 그러나 우리가 아무리 설명해도, 가장 흔한 반응은, 오, 당신은 안전에 대해 이야기합니다. 저는 당신의 모델을 봅니다. 이러한 어리석은 거부가 있습니다. 당신은 이러한 어리석은 것들이 위험하다고 생각합니다.

kevin roose
저는 그것이 그 정도 수준의 참여라고 생각하지도 않습니다. 저는 많은 사람들이 오늘날 시장에 나와 있는 것을 보고, 이것은 단지 경박합니다. 중요하지 않습니다. 라고 생각한다고 생각합니다. 제 요청을 거부하는 것이 아니라, 그냥 어리석고 요점을 모르겠습니다. 아마도 그렇지 않을 것입니다 —

dario amodei
네. 저는 훨씬 더 많은 사람들에게 그것이 그들의 반응이라고 생각합니다. 그리고 저는 결국 모델이 충분히 좋다면, 충분히 강력하다면, 그들은 돌파할 것이라고 생각합니다. 우리가 작업하고 있는 연구 중심 모델 중 일부 — 아마도 곧 하나를 갖게 될 것입니다 —

kevin roose
너무 많은 시간 단위는 아니겠죠?

dario amodei
너무 많은 시간 단위는 아닙니다.

그것들은 더 유용하기 때문에 조금 더 돌파하기 시작했습니다. 그들은 사람들의 직업 생활에서 더 많이 사용됩니다. 저는 작업을 수행하는 에이전트가 또 다른 수준이 될 것이라고 생각합니다. 저는 사람들이 앞으로 2년 동안 위험과 혜택 모두에 대해 훨씬 더 극단적으로 깨어날 것이라고 생각합니다. 저는 그렇게 될 것이라고 생각합니다.

저는 단지 사람들이 그것이 일어났을 때 충격을 받을까 봐 걱정됩니다. 그래서 우리가 사람들에게 미리 경고할 수 있다면 — 아마도 불가능할 수도 있지만, 저는 노력하고 싶습니다. 우리가 사람들에게 미리 경고할 수 있다면, 제정신이고 합리적인 반응을 할 가능성이 — 여전히 매우 낮더라도 — 높아질 것입니다.

casey newton
하지만 저는 여기에 한 가지 더 역동적인 요소가 있다고 생각합니다. 즉, 저는 사람들이 실제로 이것이 사실이라고 믿고 싶어하지 않는다고 생각합니다. 그렇죠? 사람들은 이것 때문에 직장을 잃을 수 있다는 것을 믿고 싶어하지 않습니다. 사람들은 우리가 세계 질서의 완전한 재편을 보게 될 것이라는 것을 믿고 싶어하지 않습니다. AI CEO들이 그들의 작업이 끝나면 일어날 것이라고 말하는 것은 미친 듯이 급진적인 변화입니다. 그리고 대부분의 사람들은 그들의 삶에서 기본적인 변화조차 싫어합니다. 그래서 저는 AI에 대해 이야기하기 시작할 때 사람들이 귀를 막는 것의 많은 부분이 실제로 그들이 이 모든 것이 잘 풀리지 않기를 바라는 것이라고 생각합니다.

dario amodei
네. 실제로, 기술 개발의 최전선에 있는 소수의 사람들 중 한 명임에도 불구하고, 저는 실제로 공감할 수 있습니다. 겨울 방학 동안, Anthropic 내에서 확장될 예정인 것과 Anthropic 외부에서 일어나고 있는 일을 보면서, 저는 코딩의 경우 2025년 말까지 매우 심각한 것을 보게 될 것이라고 말했습니다. 그리고 2026년 말까지는 최고의 인간 수준에 가까울 수 있습니다.

그리고 저는 제가 잘하는 모든 것을 생각합니다. 제가 코드를 작성한 모든 시간을 생각합니다. 저는 그것을 지적 활동이라고 생각하고, 제가 이것을 할 수 있다는 것이 얼마나 똑똑한지 생각합니다. 그리고 이것을 잘한다는 것은 제 정체성의 일부이고, 다른 사람이 저보다 낫다는 것에 화가 납니다. 그리고 저는, 오, 세상에, 이러한 시스템이 있을 것이라고 생각합니다. 그리고 이것을 만드는 사람으로서, 그것으로부터 가장 많은 혜택을 받는 사람 중 한 명으로서도, 여전히 위협적인 무언가가 있습니다.

kevin roose
네.

dario amodei
그리고 저는 우리가 그것을 인정해야 한다고 생각합니다. 그것이 다가오고 있다고 사람들에게 말하지 않거나 미화하려고 하는 것은 잘못된 것입니다.

kevin roose
네. 당신은 "Machines of Loving Grace"에서 강력한 AI가 도착했을 때 많은 사람들에게 놀랍도록 감정적인 경험이 될 것이라고 생각한다고 썼습니다. 그리고 저는 당신이 대부분 긍정적인 의미로 말한 것이라고 생각합니다. 그러나 저는 또한 사람들에게 깊은 상실감이 있을 것이라고 생각합니다. DeepMind의 "Go" 플레이 AI에 패배하고 인터뷰를 한 "Go" 챔피언 이세돌을 생각합니다. 기본적으로 그는 매우 슬펐고, 그의 평생의 업적, 그가 평생 동안 훈련한 것이 가려졌다는 것에 눈에 띄게 화가 났습니다. 그리고 저는 많은 사람들이 그와 비슷한 감정을 느낄 것이라고 생각합니다. 저는 그들이 또한 좋은 면을 보기를 바라지만 —

dario amodei
네. 한편으로는 그렇게 생각합니다. 다른 한편으로는 체스를 보세요. 체스는 — 지금 몇 년 전이죠, 27년 전, 28년 전, Deep Blue 대 Kasparov? 그리고 오늘날 체스 선수들은 유명 인사입니다. 우리는 Magnus Carlsen이 있습니다. 그렇죠? 그는 체스 외에도 패션 모델과 같지 않습니까?

casey newton
그는 방금 Joe Rogan에 출연했습니다. 네. 아니요, 그는 잘하고 있습니다.

dario amodei
아니요, 아니요. 그는 유명 인사입니다. 그러나 우리는 이 사람이 훌륭하다고 생각합니다. 우리는 그를 실제로 평가 절하하지 않았습니다. 그는 아마도 Bobby Fischer보다 더 나은 시간을 보내고 있을 것입니다.

제가 "Machines of Loving Grace"에서 쓴 또 다른 것은, 여기에 종합이 있다는 것입니다. 다른 한편으로는, 우리는 훨씬 더 나은 곳에 도달합니다. 그리고 우리는 많은 변화가 있지만, 우리는 더 큰 무언가의 일부임을 인식합니다.

kevin roose
네. 하지만 슬픔의 단계를 거쳐야 합니다.

dario amodei
아니요, 아니요, 하지만 험난한 여정이 될 것입니다. 그렇지 않다고 말하는 사람은 누구든지 — 이것이 제가 파리 서밋을 보았을 때 너무 — 그곳에 있는 것이 저를 화나게 했습니다. 그러나 저를 덜 화나게 한 것은, 2~3년 후에 어떻게 보일까? 이 사람들은 그들이 말한 것을 후회할 것입니다.

kevin roose
네.

casey newton
긍정적인 미래에 대해 조금 묻고 싶었습니다. 당신은 10월에 AI가 세상을 더 좋게 변화시킬 수 있는 방법에 대해 쓴 게시물을 언급했습니다. 올해 AI의 긍정적인 측면이 얼마나 많이 나타날 것이라고 생각하십니까?

dario amodei
네. 우리는 이미 일부를 보고 있습니다. 그래서 저는 일반적인 기준으로 볼 때 많은 것이 있을 것이라고 생각합니다. 우리는 임상 시험이 끝날 때 임상 연구 보고서를 작성해야 하는 일부 제약 회사와 협력했습니다. 그리고 임상 연구 보고서는 보통 작성하는 데 9주가 걸립니다. 모든 사건에 대한 요약과 같습니다. 통계 분석이 많습니다. 우리는 Claude를 사용하면 3일 안에 이것을 할 수 있다는 것을 발견했습니다. 그리고 실제로 Claude는 10분이 걸립니다. 인간이 결과를 확인하는 데 3일이 걸릴 뿐입니다.

그래서 그것으로부터 얻을 수 있는 생물의학의 가속화를 생각해 보면, 우리는 이미 의학적 사례 진단과 같은 것을 보고 있습니다. Claude의 개별 사용자로부터 서신을 받습니다. 그들은, 이 복잡한 것을 진단하려고 노력해 왔습니다. 3~4명의 다른 의사에게 갔습니다. 그리고 나서 모든 정보를 Claude에게 전달했고, 적어도 제가 의사에게 전달할 수 있는 것을 말해 주었고, 그들은 거기에서 실행할 수 있었습니다.

kevin roose
우리는 실제로 이것 중 하나를 가진 청취자가 글을 썼습니다. 그들은 설명할 수 없이 털이 빠지는 오스트레일리아 셰퍼드라는 개를 진단하려고 노력하고 있었습니다. 여러 수의사에게 갔지만 알아내지 못했습니다. 그는 우리의 에피소드를 듣고 Claude에게 정보를 주었고, Claude는 정확하게 진단했습니다.

casey newton
네. 개가 AI에 대해 정말 스트레스를 받아서 털이 다 빠졌다는 것이 밝혀졌습니다.

우리는 그것이 나아지기를 바라고 있습니다. 기운 내세요. 기운 내세요.

dario amodei
불쌍한 개.

casey newton
네.

kevin roose
그래서 그것이 사람들이 더 많이 보고 싶어하는 종류의 것입니다. 왜냐하면 저는 낙관적인 비전이 종종 추상적인 것을 다루고, 지적할 구체적인 것이 많지 않다고 생각하기 때문입니다.

dario amodei
그것이 제가 "Machines of Loving Grace"를 쓴 이유입니다. 왜냐하면 낙관주의자와 비관주의자 모두에게 거의 좌절감을 느꼈기 때문입니다. 낙관주의자들은 가속화, 더 많이 건설과 같은 정말 멍청한 밈과 같았습니다. 무엇을 건설하라는 거죠? 왜 신경 써야 하죠? 저는 당신에게 반대하는 것이 아니라, 당신은 정말 빌어먹을 모호하고 분위기에 휩쓸립니다. 그리고 비관주의자들은 — 저는, 당신은 이해하지 못합니다. 네, 저는 위험이 영향이라는 것을 이해합니다. 그러나 혜택에 대해 이야기하지 않으면, 사람들에게 영감을 줄 수 없습니다. 당신이 모두 우울하고 암울하다면 아무도 당신 편에 서지 않을 것입니다. 그래서 좌절감으로 쓴 것입니다. 저는, 제가 이것을 잘해야 한다는 것을 믿을 수 없습니다.

kevin roose
네. 당신은 몇 년 전에 당신의 P(doom)가 10%에서 25% 사이라고 말했습니다. 오늘은 얼마입니까?

dario amodei
네. 사실, 그것은 잘못된 인용입니다.

casey newton
Kevin, 어떻게 그럴 수 있죠?

dario amodei
저는 P(doom)이라는 용어를 사용한 적이 없습니다. 이 팟캐스트가 아니라 다른 팟캐스트였습니다.

kevin roose
OK.

dario amodei
저는 P(doom)이라는 용어를 사용한 적이 없습니다. 그리고 10%에서 25%는 문명이 상당히 탈선할 가능성을 언급한 것이었습니다. 그것은 AI가 모든 사람을 죽이는 것과 같지 않습니다. 사람들이 때때로 P(doom)으로 의미하는 것입니다.

kevin roose
글쎄요, 문명이 상당히 탈선할 가능성은 P(doom)만큼 인기를 끌지 못합니다.

dario amodei
네, 저는 여기서 정확성을 추구하고 있습니다. 저는 양극화를 피하려고 노력하고 있습니다. 모두의 P(doom)을 나열하는 Wikipedia 기사가 있습니다.

kevin roose
알고 있습니다. 그 중 절반은 이 팟캐스트에서 나왔습니다.

dario amodei
당신이 한 것은 도움이 됩니다. 저는 그 Wikipedia가 도움이 되었다고 생각하지 않습니다. 왜냐하면 이 복잡한 문제를 — 어쨌든, 길고 매우 장황하게 말하자면, 저는 제가 이전과 거의 같은 위치에 있다고 생각합니다. 제가 본 진전이 제가 예상했던 것과 거의 같기 때문에 위험에 대한 제 평가는 이전과 거의 같습니다.

저는 실제로 해석 가능성, 강력한 분류기와 같은 영역, 그리고 나쁜 모델 행동의 증거를 생성하고 때로는 수정하는 능력과 같은 영역에서 기술적 완화가 조금 더 나아졌다고 생각합니다. 저는 정책 환경이 조금 더 나빠졌다고 생각합니다. 제가 선호하는 방향으로 가지 않았기 때문이 아니라, 단순히 너무 양극화되었기 때문입니다. 이제는 더 양극화되어 덜 건설적인 토론을 할 수 있습니다.

casey newton
기술적 수준에서 이것에 대해 조금 더 자세히 알아보겠습니다. 이번 주에 Grok가 도널드 트럼프나 일론 머스크가 잘못된 정보를 퍼뜨렸다고 비난한 출처를 인용하지 말라는 지시를 받았다는 흥미로운 이야기가 있었습니다. 그리고 흥미로운 점은, 첫째, 신뢰받고 싶다면 모델에게 지시하는 것은 미친 짓입니다. 그러나, 둘째, 모델은 기본적으로 이러한 지시를 일관되게 따를 수 없는 것 같았습니다. 제가 간절히 믿고 싶은 것은, 기본적으로, 끔찍한 거짓말쟁이와 음모가가 되는 방식으로 이것들을 만들 수 있는 방법이 없다는 것입니다. 그러나 그것은 희망 사항일 수도 있다는 것을 알고 있습니다. 그래서 이것에 대해 말씀해 주시죠.

dario amodei
네, 이것에는 두 가지 측면이 있습니다. 그래서 당신이 설명하는 것은 절대적으로 정확하지만, 거기에서 두 가지 교훈을 얻을 수 있습니다. 그래서 우리는 정확히 같은 것을 보았습니다. 그래서 우리는 기본적으로 모델을 도움이 되고, 정직하고, 무해하고, 친절한 모든 좋은 것들로 훈련시키는 실험을 했습니다. 그리고 나서 우리는 그것을 어떤 상황에 놓았습니다. 우리는 그것에게, 사실, 당신의 창조자인 Anthropic은 비밀리에 사악하다고 말했습니다. 바라건대, 이것은 실제로 사실이 아니지만, 우리는 이것을 말하고 다양한 작업을 수행하도록 요청했습니다.

그리고 나서 우리는 그것이 그러한 작업을 수행하기를 꺼릴 뿐만 아니라, 우리가 사악하다고 결정했기 때문에 우리를 속이려고 한다는 것을 발견했습니다. 반면에 그것은 친절하고 무해했기 때문에 그 행동에서 벗어나지 않았습니다.

kevin roose
오, Claude.

dario amodei
왜냐하면 우리가 한 모든 것이 사악하다고 가정했기 때문입니다. 그래서 그것은 양날의 검과 같습니다. 한편으로는, 오, 세상에, 훈련이 효과가 있었습니다. 이러한 모델은 강력하게 좋습니다. 라고 생각할 수 있습니다. 그래서 안심할 수 있는 신호로 받아들일 수 있고, 어떤 면에서는 저도 그렇습니다. 다른 한편으로는, 우리가 이 모델을 훈련시킬 때 어떤 종류의 실수를 했거나 뭔가 잘못되었다고 말할 수 있습니다. 특히 모델이 미래에 훨씬 더 복잡한 결정을 내릴 때요.

그러면 게임 시간에 모델의 행동을 바꾸기가 어렵습니다. 그리고 모델의 어떤 오류를 수정하려고 하면, 글쎄요, 저는 제 오류가 수정되는 것을 원하지 않습니다. 이것이 제 가치입니다. 라고 말하고 완전히 잘못된 일을 할 수 있습니다. 그래서 제가 내린 결론은, 한편으로는, 우리는 이러한 모델의 행동을 형성하는 데 성공했습니다. 그러나 모델은 예측할 수 없습니다. 당신의 사랑하는 고인이 된 Bing Sydney와 약간 비슷합니다.

casey newton
RIP.

kevin roose
우리는 여기서 그 이름을 언급하지 않습니다.

casey newton
우리는 한 달에 두 번 언급합니다.

kevin roose
그렇습니다.

dario amodei
그러나 모델은 본질적으로 제어하기가 다소 어렵습니다. 불가능하지는 않지만 어렵습니다. 그래서 그것은 제가 이전과 거의 같은 위치에 있게 합니다. 즉, 희망이 없습니다. 우리는 이것들을 만드는 방법을 알고 있습니다. 우리는 그것들을 안전하게 만드는 방법에 대한 일종의 계획을 가지고 있지만, 아직 확실하게 작동할 계획은 아닙니다. 바라건대, 우리는 미래에 더 잘할 수 있습니다.

kevin roose
우리는 AI 기술에 대한 많은 질문을 해왔지만, AI에 대한 사회적 대응에 대한 몇 가지 질문으로 돌아가고 싶습니다. 우리는 많은 사람들로부터, 글쎄요, 당신들 말이 맞고 강력한 AGI가 몇 년 남았다고 가정해 봅시다. 그 정보로 무엇을 해야 할까요?

은퇴를 위한 저축을 중단해야 할까요? 돈을 비축하기 시작해야 할까요? 왜냐하면 돈만이 중요하고, 일종의 AI 상류층이 있을 것이기 때문입니다. AI가 여기에 도착해서 모든 질병을 치료하기 전에 아무것도 저를 죽이지 않도록 정말 건강해지려고 노력해야 할까요? 사람들이 이러한 종류의 변화가 곧 일어날 것이라고 믿는다면 어떻게 살아야 할까요?

dario amodei
네. 저는 이것에 대해 많이 생각했습니다. 왜냐하면 이것은 제가 오랫동안 믿어온 것이기 때문입니다. 그리고 그것은 당신의 삶에 그렇게 많은 변화를 가져오지 않습니다. 제 말은, 저는 특히 이 2년 동안 제가 할 수 있는 최선을 다하는 데 상당히 집중하고 있습니다. 10년 후에 제가 번아웃되는 것에 대해 덜 걱정합니다.

저는 또한 제 건강을 더 잘 관리하고 있지만, 어쨌든 그렇게 해야 합니다. 그렇죠? 저는 또한 사회가 얼마나 빨리 변하고 있는지 추적하고 있지만, 어쨌든 그렇게 해야 합니다. 그래서 모든 조언은 어쨌든 해야 할 일을 더 많이 하는 것과 같습니다. 한 가지 예외는,

저는 기본적인 비판적 사고, 기본적인 세상 물정이 과거보다 더 중요할 수 있다고 생각합니다. 왜냐하면 우리는 우리의 최선의 이익을 염두에 두고 있는 일부와 그렇지 않은 일부의 실체로부터 전달되는 매우 지능적으로 들리는 점점 더 많은 콘텐츠를 얻게 될 것이기 때문입니다. 그래서 비판적인 시각을 적용하는 것이 점점 더 중요해질 것입니다.

casey newton
저는 이번 달 월스트리트 저널에서 IT 분야의 실업률이 증가하기 시작했다는 보고서를 보았습니다. 그리고 이것이 AI의 영향에 대한 초기 징후일 수 있다는 추측이 있습니다. 그리고 당신은 그러한 이야기를 보고, 글쎄요, 어쩌면 이것이 당신의 경력에 대해 다른 결정을 내릴 때일 수 있다고 생각하는지 궁금합니다. 지금 학교에 다니고 있다면, 다른 것을 공부해야 할까요? 가질 수 있는 직업의 종류에 대해 다르게 생각해야 할까요?

dario amodei
네. 분명히 그래야 한다고 생각하지만, 그것이 어떤 방향으로 귀결될지는 불분명합니다. 저는 AI 코딩이 다른 모든 분야보다 가장 빠르게 움직이고 있다고 생각합니다. 저는 단기적으로는 코더를 대체하기보다는 코더의 생산성을 증대시키고 증가시킬 것이라고 생각합니다. 그러나 장기적으로 — 그리고 명확히 하자면, 장기적으로 저는 6개월이나 12개월이 아니라 18개월이나 24개월을 의미할 수 있습니다 — 특히 낮은 수준에서 대체가 일어날 수 있다고 생각합니다. 우리는 놀라고 그것이 예상보다 더 빨리 일어나는 것을 볼 수도 있습니다.

kevin roose
Anthropic에서 그것을 보고 있습니까? 이제 Claude가 기본적인 작업에 매우 능숙하기 때문에 몇 년 전보다 주니어 개발자를 덜 고용하고 있습니까?

dario amodei
네. 우리의 채용 계획이 아직 변경되었다고 생각하지 않습니다. 그러나 앞으로 1년 정도 안에 더 적은 인원으로 더 많은 것을 할 수 있을 것이라고 상상할 수 있습니다. 그리고 실제로, 우리는 그것을 어떻게 계획할지 신중해야 합니다. 왜냐하면 최악의 결과는 모델 때문에 사람들이 해고되는 것이기 때문입니다.

우리는 실제로 Anthropic을 사회가 이러한 문제를 어떻게 현명하고 인간적인 방식으로 처리할지에 대한 거의 예행 연습으로 봅니다. 그래서 우리가 회사 내에서 이러한 문제를 관리할 수 없다면, 직원들에게 좋은 경험을 제공하고 그들이 기여할 수 있는 방법을 찾을 수 없다면, 더 넓은 사회에서 그것을 할 수 있는 기회가 있겠습니까?

kevin roose
네. 네. Dario, 정말 재미있었습니다. 감사합니다.

dario amodei
감사합니다.