"저는 앞으로 12~18개월 안에 이러한 노력에 투입되는 코드의 대부분이 AI에 의해 작성되는 시점에 도달할 것이라고 추측합니다. 그리고 저는 자동 완성을 의미하는 것이 아닙니다."

 

---

Dwarkesh Patel: 지난번에 여기 오셨을 때는 Llama 3를 출시하셨었죠. 이제 Llama 4를 출시하셨습니다.

Mark Zuckerberg: 음, 첫 번째 버전이죠.

Dwarkesh Patel: 맞습니다. 새로운 점은 무엇인가요? 흥미로운 점은요? 무엇이 바뀌었나요?

Mark Zuckerberg: 이 분야 전체가 너무 역동적입니다. 지난번 우리가 이야기한 이후로 많은 것이 변한 것 같아요. 메타 AI는 이제 월간 사용자가 거의 10억 명에 달합니다. 꽤 놀라운 일이죠. 특히 개인화 루프가 작동하기 시작하면 올해는 이 모든 것들에게 정말 큰 해가 될 것이라고 생각합니다. 우리는 이제 막 그것을 구축하기 시작했습니다. 알고리즘이 당신의 관심사에 대해 가지고 있는 모든 컨텍스트(피드, 프로필 정보, 소셜 그래프 정보)뿐만 아니라 당신이 AI와 상호작용하는 내용으로부터도요. 그것이 다음으로 매우 흥미로운 일이 될 것입니다. 저는 그것에 대해 매우 기대하고 있습니다.

모델링 관련 작업도 계속해서 매우 인상적인 발전을 이루고 있습니다. 저는 Llama 4 첫 릴리즈 세트에 꽤 만족합니다. 우리는 네 개의 모델을 발표했고 첫 두 개인 스카웃(Scout)과 매버릭(Maverick)을 출시했습니다. 이들은 중소형 모델입니다.

가장 인기 있었던 Llama 3 모델은 80억 파라미터짜리였습니다. 그래서 Llama 4 시리즈에도 그런 모델 중 하나가 나올 예정입니다. 우리 내부 코드명은 "리틀 라마(Little Llama)"입니다. 아마 다음 몇 달 안에 나올 것입니다.

스카웃과 매버릭은 좋습니다. 시중의 어떤 모델보다도 비용 대비 가장 높은 지능을 제공하는 모델 중 일부입니다. 네이티브 멀티모달이고, 매우 효율적이며, 단일 호스트에서 실행됩니다. 내부적으로 우리가 구축하는 많은 사용 사례에 맞춰 매우 효율적이고 낮은 지연 시간을 갖도록 설계되었습니다. 그것이 우리의 전부입니다. 우리는 우리가 원하는 것을 만들고, 다른 사람들도 사용할 수 있도록 오픈소스로 공개합니다. 저는 그것에 대해 흥분됩니다.

저는 또한 곧 출시될 베헤모스(Behemoth) 모델에 대해서도 기대하고 있습니다. 그것은 우리의 첫 번째 프론티어급 모델이 될 것입니다 - 2조 개 이상의 파라미터를 가졌죠. 이름에서 알 수 있듯이 상당히 큽니다. 우리는 그것을 사람들에게 어떻게 유용하게 만들 수 있을지 알아내려고 노력하고 있습니다. 너무 커서 우리 스스로 후처리 훈련(post-train)을 할 수 있도록 많은 인프라를 구축해야 했습니다.

이제 우리는 평균적인 개발자가 실제로 이런 것을 어떻게 사용할 수 있을까? 어떻게 유용하게 만들 수 있을까? 아마도 합리적인 크기의 모델로 증류(distilling)하는 방식으로요? 왜냐하면 당신은 분명히 소비자 모델에서 그런 것을 실행하고 싶지 않을 것이기 때문입니다.

작년에 Llama 3 관련 작업에서 보셨듯이, 초기 출시는 흥미로웠고 그 후 우리는 일 년 내내 그것을 기반으로 구축했습니다. 3.1 버전에서는 4050억 파라미터 모델을 출시했고, 3.2 버전에서는 모든 멀티모달 기능을 넣었습니다. 기본적으로 올해에도 비슷한 로드맵을 가지고 있습니다. 그래서 많은 일이 진행 중입니다.

Dwarkesh Patel: 그것에 대해 더 듣고 싶습니다. 지난 1년 동안 최고의 폐쇄 소스 모델과 최고의 오픈 소스 모델 간의 격차가 벌어졌다는 인상이 있습니다. Llama 4 모델군 전체가 아직 출시되지 않은 것은 알지만, Llama 4 매버릭은 챗봇 아레나에서 35위입니다. 여러 주요 벤치마크에서 o4-mini나 Gemini 2.5 Flash가 같은 등급인 매버릭을 능가하는 것 같습니다. 그 인상에 대해 어떻게 생각하시나요?

Mark Zuckerberg: 몇 가지가 있습니다. 첫째, 저는 실제로 올해가 전반적으로 오픈 소스에게 매우 좋은 해였다고 생각합니다. 작년 우리가 어디에 있었는지 돌아보면, Llama가 유일하게 실제적이고 매우 혁신적인 오픈 소스 모델이었습니다. 이제는 이 분야에 많은 모델들이 있습니다.

일반적으로, 올해가 오픈 소스가 일반적으로 폐쇄 소스를 제치고 가장 많이 사용되는 모델이 될 것이라는 예측은, 저는 그것이 대체로 사실이 될 궤도에 있다고 생각합니다.

한 가지 흥미로운 놀라움은 - 어떤 면에서는 긍정적이고 다른 면에서는 부정적이지만 전반적으로 좋은 - 그것이 Llama뿐만이 아니라는 것입니다. 좋은 모델들이 많이 있습니다. 저는 그것이 꽤 좋다고 생각합니다.

그리고 당신이 o3, o4 및 다른 모델들에 대해 언급하면서 암시하고 있는 추론(reasoning) 현상이 있습니다. 전문화가 일어나고 있습니다. 수학 문제, 코딩 또는 그러한 작업과 같은 특정 작업에서 최고인 모델을 원한다면, 더 많은 지능을 제공하기 위해 테스트 시간 또는 추론 시간 컴퓨팅을 더 많이 소비하는 추론 모델은 매우 강력한 패러다임입니다. 그리고 우리도 Llama 4 추론 모델을 만들고 있습니다. 언젠가는 나올 것입니다.

하지만 우리가 중요하게 생각하는 많은 응용 프로그램의 경우, 지연 시간과 비용 대비 우수한 지능이 훨씬 더 중요한 제품 속성입니다. 주로 소비자 제품을 위해 설계하는 경우, 사람들은 답변을 얻기 위해 30초를 기다리고 싶어하지 않습니다. 만약 당신이 0.5초 만에 대체로 좋은 답변을 줄 수 있다면, 그것은 훌륭한 트레이드오프입니다.

저는 이 두 가지 모두 중요한 방향이 될 것이라고 생각합니다. 저는 시간이 지남에 따라 추론 모델을 핵심 언어 모델과 통합하는 것에 대해 낙관적입니다. 그것이 구글이 최근의 제미니 모델 중 일부에서 취한 방향입니다. 저는 그것이 정말 유망하다고 생각합니다. 하지만 저는 단지 많은 다른 일들이 일어날 것이라고 생각합니다.

당신은 또한 챗봇 아레나(Chatbot Arena)에 대해서도 언급했는데, 저는 그것이 흥미롭고 벤치마킹을 어떻게 해야 하는지에 대한 어려움을 지적한다고 생각합니다. 어떤 모델이 어떤 것에 좋은지 어떻게 알 수 있을까요?

우리가 지난 1년 동안 일반적으로 하려고 노력했던 것 중 하나는 우리의 모델을 메타 AI 제품의 핵심 사용 사례에 더 많이 고정시키는 것이었습니다. 오픈 소스 벤치마크와 LM 아레나 같은 특정 것들의 문제는, 종종 매우 특정한 사용 사례 집합에 치우쳐 있다는 것입니다. 이는 종종 실제 일반 사용자가 당신의 제품에서 하는 것과는 다릅니다. 그들이 측정하려고 하는 것들의 포트폴리오는 종종 사람들이 특정 제품에서 중요하게 생각하는 것과 다릅니다.

그 때문에, 우리는 그런 종류의 것에 너무 많이 최적화하려고 하면 길을 잃게 된다는 것을 발견했습니다. 그것은 실제로 최고 품질의 제품, 가장 많은 사용량, 그리고 사람들이 우리 제품을 사용하면서 메타 AI 내에서 최고의 피드백으로 이어지지 않았습니다.

그래서 우리는 사람들이 우리에게 보고하는 제품 가치, 그들이 원한다고 말하는 것, 그리고 그들의 드러난 선호도에 우리의 북극성을 고정시키려고 노력하고 있으며, 우리가 가진 경험을 사용하고 있습니다. 때때로 이러한 벤치마크는 딱 들어맞지 않습니다. 저는 그들 중 많은 것들이 꽤 쉽게 게임화될 수 있다고 생각합니다.

아레나에서는 Sonnet 3.7과 같은 훌륭한 모델을 볼 수 있는데, 이는 상위권에 있지 않습니다. 우리 팀이 Llama 4 매버릭 버전을 튜닝하여 훨씬 더 상위에 오르게 하는 것은 비교적 쉬웠습니다. 하지만 우리가 출시한 버전, 순수 모델은 실제로 그것에 대한 튜닝이 전혀 없어서 더 아래에 있습니다. 따라서 이러한 벤치마크 중 일부에 대해서는 주의해야 합니다. 우리는 주로 제품에 인덱싱할 것입니다.

Dwarkesh Patel: 당신이 사용자에 대한 가치의 북극성으로 보는 것을 포착하고, 다른 모델들 간에 객관적으로 측정될 수 있으며, "이것에 대해서는 Llama 4가 최고가 되어야 한다"고 말할 수 있는 어떤 벤치마크가 있다고 생각하시나요?

Mark Zuckerberg: 우리의 벤치마크는 기본적으로 메타 AI에서의 사용자 가치입니다.

Dwarkesh Patel: 하지만 그것을 다른 모델과 비교할 수는 없잖아요.

Mark Zuckerberg: 할 수 있을지도 모릅니다. 왜냐하면 우리가 다른 모델을 실행하고 알아낼 수 있을지도 모르기 때문입니다. 그것이 오픈 소스의 장점 중 하나입니다. 당신의 작업물에 구멍을 뚫고 "좋아, 당신의 모델은 어디가 안 좋고 어디가 좋은가?"라고 지적할 수 있는 좋은 커뮤니티가 있습니다.

현 시점에서의 현실은 이 모든 모델들이 약간씩 다른 것들의 조합에 최적화되어 있다는 것입니다. 모든 주요 연구소들이 일반 지능, 초지능, 무엇이라고 부르든 그것을 창조하려고 노력한다는 점에서 모두 같은 목표를 향해 가고 있습니다. 모든 사람이 자신이 원하는 것을 창조할 수 있는 초인적인 도구를 갖게 되는 풍요의 세계로 이어질 수 있는 AI. 그것은 사람들에게 극적으로 힘을 실어주고 이 모든 경제적 이익을 창출합니다.

어떻게 정의하든, 그것이 많은 연구소들이 추구하는 것입니다. 하지만 다른 사람들이 다른 것들에 최적화했다는 것은 의심의 여지가 없습니다. 저는 Anthropic 사람들이 코딩과 그 주변의 에이전트에 정말 집중했다고 생각합니다. OpenAI 사람들은 최근에 추론 쪽으로 좀 더 간 것 같습니다.

만약 제가 추측해야 한다면, 결국 가장 많이 사용될 공간이 될 것이라고 생각하는 영역이 있습니다: 빠르고, 상호작용하기 매우 자연스러우며, 네이티브 멀티모달이고, 당신이 상호작용하고 싶은 방식으로 하루 종일 당신의 삶에 들어맞는 것.

(...) 우리가 출시하는 새로운 메타 AI 앱을 가지고 놀 기회가 있었던 것 같습니다. 우리가 거기에 넣은 재미있는 것 중 하나는 전이중(full-duplex) 음성 데모입니다. 초기 단계입니다. 아직 앱의 기본 음성 모델로 만들지 않은 이유가 있습니다. 하지만 그것이 얼마나 자연스럽게 대화적인지에 대한 무언가가 정말 재미있고 매력적입니다.

그것을 올바른 개인화와 혼합할 수 있게 되면 제품 경험으로 이어질 것입니다... 몇 년 후를 빨리 감아보면, 우리는 하루 종일 우리가 궁금해하는 다른 것들에 대해 AI와 이야기하고 있을 것이라고 생각합니다.

당신은 휴대폰을 가질 것입니다. 피드 앱을 탐색하면서 그것과 이야기할 것입니다. 그것은 다른 것들에 대한 컨텍스트를 제공할 것입니다. 당신의 질문에 답할 것입니다. 메시징 앱에서 사람들과 상호작용할 때 당신을 도울 것입니다. 결국, 저는 우리가 일상 생활을 걸어다니며 안경이나 다른 종류의 AI 장치를 가지고 하루 종일 그것과 원활하게 상호작용할 것이라고 생각합니다.

그것이 북극성입니다. 사람들이 품질이 상호작용하고 싶은 수준이라고 느끼게 하는 벤치마크가 무엇이든, 그것이 궁극적으로 우리에게 가장 중요할 것입니다.

Dwarkesh Patel: 저는 오리온과 메타 AI 앱을 모두 가지고 놀 기회가 있었는데, 음성 모드가 매우 부드러웠습니다. 꽤 인상적이었습니다.

다른 연구소들이 무엇에 최적화하고 있는지에 대한 요점에 대해 - 그들의 견해를 강화하자면 - 저는 그들 중 많은 사람들이 일단 소프트웨어 엔지니어링과 AI 연구를 완전히 자동화하면 지능 폭발을 일으킬 수 있다고 믿는다고 생각합니다. 당신은 Llama 1과 Llama 4 사이에서 일어났던 연구 - 그 규모의 개선 - 를 몇 년이 아니라 몇 주 또는 몇 달 만에 복제하는 수백만 개의 소프트웨어 엔지니어 복사본을 가질 수 있습니다. 그래서 소프트웨어 엔지니어에 대한 루프를 닫는 것이 정말 중요하며, 그러면 당신이 ASI에 가장 먼저 도달할 수 있습니다. 그것에 대해 어떻게 생각하시나요?

Mark Zuckerberg: 저는 개인적으로 그것이 꽤 설득력 있다고 생각합니다. 그것이 우리도 큰 코딩 노력을 기울이는 이유입니다. 우리는 메타 내에서 여러 코딩 에이전트를 작업하고 있습니다. 우리는 실제로 기업용 소프트웨어 회사가 아니기 때문에, 주로 우리 자신을 위해 그것을 구축하고 있습니다.

다시 말하지만, 우리는 특정 목표를 위해 노력합니다. 우리는 일반적인 개발자 도구를 만들려고 하는 것이 아닙니다. 우리는 특히 Llama 연구를 발전시키는 코딩 에이전트와 AI 연구 에이전트를 만들려고 합니다. 그리고 그것은 우리의 툴체인과 모든 것에 완전히 연결되어 있습니다.

그것은 중요하며 이 작업이 어떻게 이루어지는지에 대한 중요한 부분이 될 것입니다. 저는 앞으로 12~18개월 안에 이러한 노력에 투입되는 코드의 대부분이 AI에 의해 작성되는 시점에 도달할 것이라고 추측합니다. 그리고 저는 자동 완성을 의미하는 것이 아닙니다.

오늘날 당신은 좋은 자동 완성을 가지고 있습니다. 무언가를 쓰기 시작하면 코드 섹션을 완성할 수 있습니다. 저는 더 이런 것을 말하는 것입니다: 당신이 목표를 주면, 테스트를 실행하고, 개선하고, 문제를 찾고, 팀의 평균적인 매우 우수한 사람보다 이미 더 높은 품질의 코드를 작성합니다. 저는 그것이 확실히 이것의 정말 중요한 부분이 될 것이라고 생각합니다.

하지만 저는 그것이 전체 게임인지는 모르겠습니다. 그것은 큰 산업이 될 것이고, AI가 어떻게 개발되는지에 대한 중요한 부분이 될 것입니다. 하지만 저는 여전히... 이것을 생각하는 한 가지 방법은 이것이 거대한 공간이라는 것입니다. 저는 단지 하나의 최적화 기능을 가진 하나의 회사가 모든 사람에게 최상의 서비스를 제공할 것이라고 생각하지 않습니다. 다른 영역에서 선도적인 작업을 수행하는 다양한 연구소가 있을 것입니다. 일부는 더 기업 중심적이거나 코딩 중심적일 것입니다. 일부는 더 생산성 중심적일 것입니다. 일부는 더 소셜 또는 엔터테인먼트 중심적일 것입니다.

어시스턴트 공간 내에서는 정보 및 생산성 중심적인 것과 동반자 중심적인 것이 있을 것입니다. 그냥 재미있고 즐겁고 당신의 피드에 나타나는 많은 것들이 될 것입니다.

단지 거대한 공간이 있습니다. 이 AGI 미래를 향해 나아가는 것의 재미있는 부분 중 하나는 발명되어야 할 공통된 실마리들이 많이 있지만, 여전히 창조되어야 할 많은 것들도 있다는 것입니다. 만약 제가 추측해야 한다면, 다른 그룹들 사이에서 더 많은 전문화를 보게 될 것이라고 생각합니다.

Dwarkesh Patel: 당신이 기본적으로 지능 폭발이 있을 것이고 그 끝에 초지능 같은 것을 얻게 될 것이라는 전제에 동의한다는 것이 저에게는 정말 흥미롭습니다. 제가 당신을 오해하고 있다면 말해주세요. 만약 그렇다면, 왜 개인 비서나 다른 것들에 신경을 써야 하나요? 왜 그냥 먼저 초인간적인 지능에 도달하고 나중에 다른 모든 것을 처리하지 않나요?

Mark Zuckerberg: 저는 그것이 단지 플라이휠의 한 측면일 뿐이라고 생각합니다. 제가 일반적으로 빠른 이륙(fast-takeoff) 관점에 동의하지 않는 부분 중 하나는 물리적 인프라를 구축하는 데 시간이 걸린다는 것입니다.

기가와트급 컴퓨팅 클러스터를 구축하고 싶다면, 그것은 그냥 시간이 걸립니다. 엔비디아는 새로운 세대의 시스템을 안정화할 시간이 필요합니다. 그런 다음 그 주변의 네트워킹을 파악해야 합니다. 그런 다음 건물을 지어야 합니다. 허가를 받아야 합니다. 에너지를 확보해야 합니다. 그것은 가스 터빈이나 녹색 에너지를 의미할 수도 있지만, 어느 쪽이든 그 모든 것의 전체 공급망이 있습니다.

우리는 지난번 당신과 함께 팟캐스트에 출연했을 때 이것에 대해 많이 이야기했습니다. 저는 이것들 중 일부는 단지 물리적 세계, 인간 시간의 문제라고 생각합니다. 스택의 한 부분에서 더 많은 지능을 얻기 시작하면, 다른 종류의 병목 현상에 부딪히게 될 것입니다. 그것이 엔지니어링이 항상 작동하는 방식입니다: 하나의 병목 현상을 해결하면 다른 병목 현상이 발생합니다.

시스템의 또 다른 병목 현상 또는 이것이 잘 작동하게 만들 재료는 사람들이 시스템 사용법을 배우고 피드백 루프를 갖는 것에 익숙해지는 것입니다. 이러한 시스템은 사람들이 마법처럼 사용법을 아는 상태로 완전히 형성되어 나타나는 것이 아닙니다. 사람들이 이러한 AI 비서를 가장 잘 사용하는 방법을 배우는 동시에 AI 비서가 사람들이 무엇에 관심이 있는지 배우는 공동 진화가 일어납니다. 개발자들은 AI 비서를 더 좋게 만들고 있습니다.

당신은 또한 컨텍스트 기반을 구축하고 있습니다. 1~2년 후에 깨어나면 비서가 2년 전에 이야기했던 것을 참조할 수 있고 그것은 꽤 멋집니다. 첫날 완벽한 것을 출시했더라도 그것을 할 수 없었을 것입니다. 2년 전에 존재하지 않았다면 2년 전에 이야기했던 것을 참조할 방법이 없습니다.

그래서 제 견해는 이 거대한 지능 성장이 있다는 것입니다. AI 비서와 상호작용하는 사람들의 흡수, 그리고 그 주변의 학습 피드백 및 데이터 플라이휠에는 매우 빠른 곡선이 있습니다. 그리고 많은 물리적 인프라 확장을 가능하게 하는 공급망 및 인프라 및 규제 프레임워크 구축도 있습니다. 어떤 수준에서는, 코딩 부분뿐만 아니라 그 모든 것이 필요할 것입니다.

(...)

Dwarkesh Patel: (...) 만약 AI의 미래가 단지 당신의 질문에 답하는 것보다 가상 동료가 되는 것에 더 가깝다면, WhatsApp 내부의 메타 AI가 완전히 자율적인 프로그래머나 원격 근무자를 만드는 데 관련 훈련 데이터를 제공하는지는 명확하지 않습니다. 그 경우, 현재 누가 LLM으로 더 많은 배포를 가지고 있는지는 그다지 중요하지 않은가요?

Mark Zuckerberg: 다시 말하지만, 저는 단지 다른 것들이 있을 것이라고 생각합니다. (...) 사람들은 대부분 WhatsApp에서 코딩하지 않으며, 사람들이 WhatsApp에서 코드를 작성하기 시작하는 것이 주요 사용 사례가 될 것이라고 예상하지 않습니다. 비록 사람들이 AI에게 그들이 반드시 알지 못하는 방식으로 코딩을 하도록 많은 것을 요청할 것이라고 생각하지만요. 그것은 별개의 문제입니다.

메타에는 코드를 작성하는 많은 사람들이 있으며 그들은 메타 AI를 사용합니다. 우리는 MetaMate라는 내부적인 것을 가지고 있으며, 그 주변에 구축하고 있는 여러 다른 코딩 및 AI 연구 에이전트가 있습니다. 그것은 자체 피드백 루프를 가지고 있으며 저는 그것이 그러한 노력을 가속화하는 데 꽤 좋아질 수 있다고 생각합니다.

하지만 다시 말하지만, 많은 것들이 있을 것입니다. AI는 거의 확실하게 지식 작업과 코드에서 거대한 혁명을 일으킬 것입니다. 저는 또한 그것이 차세대 검색과 사람들이 정보를 얻고 더 복잡한 정보 작업을 수행하는 방식이 될 것이라고 생각합니다.

저는 또한 그것이 재미있을 것이라고 생각합니다. 사람들은 그것을 즐기기 위해 사용할 것입니다. 오늘날 인터넷의 많은 부분이 밈과 유머입니다. 우리는 손끝에 이 놀라운 기술을 가지고 있습니다. 인간 에너지의 얼마만큼이 단지 우리 자신을 즐겁게 하고, 디자인하고, 문화를 발전시키고, 우리가 관찰하는 문화적 현상을 설명하는 유머러스한 방법을 찾는 데 사용되는지 생각하면 놀랍고 재미있습니다. 저는 미래에도 거의 확실히 그럴 것이라고 생각합니다.

인스타그램과 페이스북 같은 것들의 진화를 보세요. 10년, 15년, 20년 전으로 돌아가면 텍스트였습니다. 그런 다음 우리 모두 카메라가 달린 휴대폰을 갖게 되었고, 대부분의 콘텐츠는 사진이 되었습니다. 그런 다음 모바일 네트워크가 충분히 좋아져서 휴대폰으로 비디오를 보고 싶을 때 계속 버퍼링되지 않았습니다. 그래서 그것이 좋아졌습니다.

지난 10년 동안 대부분의 콘텐츠는 이 시점에서 비디오로 이동했습니다. 오늘날 페이스북과 인스타그램에서 보내는 시간의 대부분은 비디오에 있습니다. 하지만 5년 후에 우리가 그냥 피드에 앉아서 비디오만 있는 미디어를 소비할 것이라고 생각하시나요? 아니요, 그것은 상호작용적일 것입니다. 당신은 피드를 스크롤할 것입니다. 처음에는 릴처럼 보이는 콘텐츠가 있을 것입니다. 하지만 당신은 그것과 이야기하거나 상호작용할 수 있고, 그것은 대답하거나, 그것이 하고 있는 것을 바꿀 것입니다. 또는 당신은 게임처럼 그 안으로 뛰어들어 그것과 상호작용할 수 있습니다. 그것은 모두 AI가 될 것입니다.

제 요점은 이 모든 다른 것들이 있을 것이라는 것입니다. 우리는 야심차기 때문에 그들 중 많은 것에 대해 작업하고 있습니다. 하지만 저는 어떤 한 회사가 그 모든 것을 할 것이라고 생각하지 않습니다.

Dwarkesh Patel: AI 생성 콘텐츠와 AI 상호작용에 대한 이 점에 대해, 이미 사람들은 AI 치료사, AI 친구, 어쩌면 그 이상과 의미 있는 관계를 맺고 있습니다. 이러한 AI가 더 독특해지고, 더 개성 있고, 더 지능적이고, 더 즉흥적이고, 더 재미있어짐에 따라 이것은 더욱 강렬해질 것입니다.

사람들은 AI와 관계를 맺게 될 것입니다. 이것이 건강한 관계인지 어떻게 확인할 수 있을까요?

Mark Zuckerberg: 당신이 행동을 보기 시작하면서 실제로 답할 수 있는 많은 질문들이 있습니다. 아마도 가장 중요한 선행 작업은 그 질문을 하고 그 과정의 각 단계에서 그것에 대해 관심을 갖는 것입니다. 하지만 저는 또한 너무 규범적으로 미리 정하고 "우리는 이것들이 좋지 않다고 생각한다"고 말하는 것이 종종 가치를 차단한다고 생각합니다.

사람들은 자신에게 가치 있는 것을 사용합니다. 제품 디자인에서 저의 핵심 지침 원칙 중 하나는 사람들이 똑똑하다는 것입니다. 그들은 자신의 삶에서 무엇이 가치 있는지 압니다. 때때로 제품에서 나쁜 일이 발생하고 당신은 그것을 최소화하기 위해 제품을 잘 디자인하고 싶어합니다.

하지만 만약 당신이 누군가가 하고 있는 것이 나쁘다고 생각하고 그들이 그것이 정말 가치 있다고 생각한다면, 제 경험상 대부분의 경우 그들이 옳고 당신이 틀렸습니다. 당신은 단지 그들이 하고 있는 것이 왜 가치 있고 그들의 삶에 도움이 되는지를 이해하기 위한 프레임워크를 아직 생각해내지 못한 것입니다. 그것이 제가 주로 생각하는 방식입니다.

저는 사람들이 이러한 많은 사회적 작업에 AI를 사용할 것이라고 생각합니다. 이미 우리가 사람들이 메타 AI를 사용하는 주된 이유 중 하나는 그들이 삶에서 사람들과 가져야 하는 어려운 대화를 의논하는 것입니다. "여자친구와 이런 문제가 있는데, 이 대화를 하도록 도와줘." 또는 "직장에서 상사와 힘든 대화를 해야 하는데, 어떻게 그 대화를 해야 할까?" 그것은 꽤 도움이 됩니다. 개인화 루프가 작동하고 AI가 당신을 점점 더 잘 알게 되면서, 그것은 정말 매력적일 것입니다.

(...) 저는 이러한 것들 중 많은 것들 - 오늘날 약간의 낙인이 찍혀 있을 수 있는 것들 - 이 시간이 지남에 따라 사회로서 그것들이 왜 가치 있는지, 왜 그것을 하는 사람들이 그것을 하는 것이 합리적인지, 그리고 그것이 실제로 그들의 삶에 어떻게 가치를 더하는지를 설명하는 어휘를 찾을 것이라고 생각합니다. 하지만 또한 이 분야는 매우 초기입니다. 가상 치료사, 가상 여자친구 유형의 작업을 하는 소수의 회사가 있습니다. 하지만 매우 초기입니다. 그러한 것들의 구체화(embodiment)는 여전히 꽤 약합니다. 당신이 그것을 열면 당신이 이야기하고 있는 치료사나 사람의 이미지만 있습니다. 때때로 매우 거친 애니메이션이 있지만, 그것은 구체화가 아닙니다.

당신은 우리가 리얼리티 랩스에서 작업하고 있는 것들을 보셨습니다. 코덱 아바타가 있고 실제로 진짜 사람처럼 느껴집니다. 그것이 가고 있는 방향입니다. 당신은 AI와 항상 켜져 있는 비디오 채팅을 할 수 있을 것입니다. 제스처도 중요합니다. 실제로 대화를 할 때 의사소통의 절반 이상은 당신이 말하는 단어가 아닙니다. 그것은 모든 비언어적인 것들입니다.

Dwarkesh Patel: (...) 저는 당신 팀이 저에게 보여준 주력 사용 사례 중 하나에 대해 걱정했습니다. 저는 아침 식탁에 앉아 있고 제 시야 주변에는 스크롤되는 릴 뭉치가 있습니다. 어쩌면 미래에는 제 AI 여자친구가 화면 반대편에 있을 수도 있고요. 그래서 저는 우리가 기술에 의해 완전히 보상 해킹(reward-hacked)되는 모든 마찰을 제거하고 있다는 점이 걱정됩니다. 5년 후에 이런 일이 벌어지지 않도록 어떻게 확실히 할 수 있을까요?

Mark Zuckerberg: 다시 말하지만, 저는 사람들이 무엇을 원하는지에 대한 좋은 감각을 가지고 있다고 생각합니다. 당신이 본 경험은 단지 멀티태스킹과 홀로그램을 보여주기 위한 데모였습니다. 동의합니다. 저는 미래가 당신의 시야 구석에서 항상 당신의 주의를 끌려고 경쟁하는 것들이 있는 곳이라고 생각하지 않습니다. 저는 사람들이 그것을 그다지 좋아하지 않을 것이라고 생각합니다.

우리가 이 안경을 디자인하면서, 실제로 우리가 정말 염두에 두고 있는 것 중 하나입니다. 아마도 안경이 해야 할 가장 중요한 첫 번째 일은 방해가 되지 않고 좋은 안경이 되는 것입니다. 여담이지만, 저는 그것이 레이밴 메타 제품이 그렇게 잘 팔린 이유 중 일부라고 생각합니다. 음악을 듣고, 전화를 받고, 사진과 비디오를 찍는 데 좋습니다. AI는 당신이 원할 때 거기에 있습니다. 하지만 원하지 않을 때는 그냥 사람들이 좋아하는 멋진 안경일 뿐입니다. 잘 방해가 되지 않습니다.

저는 그것이 증강 현실 미래에 대한 매우 중요한 디자인 원칙이 될 것이라고 추측합니다. 제가 여기서 보는 주된 것은 이것입니다. 디지털 세계가 우리 모두의 삶에서 얼마나 중요한지를 생각하면, 우리가 그것에 접근하는 유일한 방법이 이러한 물리적인 디지털 화면을 통한다는 것이 좀 이상합니다. 당신은 휴대폰, 컴퓨터를 가지고 있습니다. 벽에 큰 TV를 걸 수 있습니다. 이것은 거대한 물리적인 것입니다.

기술적인 관점에서 볼 때 물리적 세계와 디지털 세계가 완전히 융합되어야 하는 시점에 도달한 것 같습니다. 그것이 홀로그래픽 오버레이가 당신에게 가능하게 하는 것입니다. 하지만 동의합니다. 저는 그것을 둘러싼 디자인 원칙의 큰 부분이 당신이 사람들과 어떻게 상호작용할 것인가에 관한 것이라고 생각합니다. 당신은 디지털 아티팩트를 그러한 상호작용으로 가져와 매우 원활하게 멋진 일을 할 수 있을 것입니다.

(...)

Dwarkesh Patel: AI 대화로 돌아가서, 당신은 물리적 인프라가 얼마나 큰 병목 현상이 될 수 있는지 언급했습니다. DeepSeek 등 다른 오픈 소스 모델과 관련하여, DeepSeek은 현재 메타와 같은 연구소보다 컴퓨팅이 적으며 Llama 모델과 경쟁력이 있다고 주장할 수 있습니다.

만약 중국이 물리적 인프라, 산업적 규모 확장, 더 많은 전력 및 데이터 센터를 온라인으로 가져오는 데 더 능숙하다면, 그들이 여기서 우리를 이길까 봐 얼마나 걱정하시나요?

Mark Zuckerberg: 그것은 실제 경쟁입니다. 당신은 산업 정책이 실제로 펼쳐지는 것을 보고 있습니다. 중국은 더 많은 전력을 온라인으로 가져오고 있습니다. 그 때문에 미국은 데이터 센터를 건설하고 에너지를 생산하는 능력을 간소화하는 데 정말 집중해야 합니다. 그렇지 않으면, 저는 우리가 상당한 불리함에 처할 것이라고 생각합니다.

동시에, 칩과 같은 것에 대한 수출 통제 중 일부는, 저는 그것들이 분명히 어떤 방식으로 작동하는지 볼 수 있다고 생각합니다. DeepSeek에 대해 "오, 그들은 이 모든 매우 인상적인 저수준 최적화를 했다"는 모든 대화가 있었습니다. 그리고 현실은, 그들은 그랬고 그것은 인상적입니다.

하지만 당신은 묻습니다. "왜 미국의 어떤 연구소도 하지 않았는데 그들은 그것을 해야 했는가?" 그것은 그들이 부분적으로 성능이 저하된 칩을 사용하고 있기 때문입니다. 이는 수출 통제 때문에 엔비디아가 중국에서 판매하도록 허용된 유일한 칩입니다. DeepSeek은 기본적으로 미국의 연구소들이 할 필요가 없었던 저수준 인프라 최적화를 수행하는 데 많은 칼로리와 시간을 소비해야 했습니다.

이제 그들은 텍스트에서 좋은 결과를 냈습니다. DeepSeek은 텍스트 전용입니다. 인프라는 인상적입니다. 텍스트 결과는 인상적입니다. 하지만 지금 나오는 모든 주요 새 모델은 멀티모달입니다. 이미지, 음성입니다. 그들의 것은 그렇지 않습니다.

이제 질문은, 왜 그런가? 저는 그들이 그것을 할 능력이 없기 때문이라고 생각하지 않습니다. 그것은 그들이 이러한 수출 통제가 있다는 사실을 극복하기 위해 이러한 인프라 최적화를 수행하는 데 칼로리를 소비해야 했기 때문입니다.

하지만 Llama 4를 DeepSeek과 비교할 때 - 제 말은 우리의 추론 모델이 아직 나오지 않았으므로 R1 비교는 아직 명확하지 않습니다 - 하지만 우리는 기본적으로 DeepSeek이 하고 있는 모든 텍스트 작업에서 더 작은 모델로 동일한 수준에 있습니다. 따라서 우리가 Llama를 텍스트에 대해 하고 있는 것으로는 비용 대비 지능이 더 낮습니다. 멀티모달 측면에서는 우리가 효과적으로 선도하고 있으며 그들의 모델에는 존재하지 않습니다.

따라서 Llama 4 모델은 DeepSeek이 하고 있는 것과 비교할 때 좋습니다. 저는 사람들이 일반적으로 Llama 4 모델을 사용하는 것을 선호할 것이라고 생각합니다. 하지만 분명히 그곳에서 작업을 수행하는 좋은 팀이 있다는 흥미로운 윤곽이 있습니다. 그리고 당신이 전력 접근성, 컴퓨팅 및 칩 접근성에 대해 묻는 것은 옳습니다. 왜냐하면 당신이 다른 연구소들이 수행하는 작업과 그것이 펼쳐지는 방식은 어느 정도 그것의 하류에 있기 때문입니다.

Dwarkesh Patel: 샘 알트만은 최근 OpenAI가 오픈 소스 SOTA 추론 모델을 출시할 것이라고 트윗했습니다. 트윗의 일부는 7억 명 미만의 사용자만 사용할 수 있다고 말하는 것과 같은 어리석은 짓은 하지 않을 것이라는 내용이었던 것 같습니다.

DeepSeek은 MIT 라이선스를 가지고 있는 반면, Llama 라이선스의 몇 가지 조건부 조항은 이를 사용하는 애플리케이션에 "Llama로 구축됨"이라고 명시하거나 Llama를 사용하여 훈련한 모든 모델은 "Llama"라는 단어로 시작해야 한다고 요구하는 것 같습니다. 라이선스에 대해 어떻게 생각하시나요? 개발자에게 덜 부담스러워야 할까요?

Mark Zuckerberg: 보세요, 우리는 기본적으로 오픈 소스 LLM을 개척했습니다. 그래서 저는 라이선스가 부담스럽다고 생각하지 않습니다. 우리가 오픈 소스를 추진하기 시작했을 때, 업계에는 큰 논쟁이 있었습니다. 이것이 합리적인 일인가? 오픈 소스로 안전하고 신뢰할 수 있는 것을 할 수 있는가? 오픈 소스가 누군가가 신경 쓸 만큼 경쟁력이 있을 수 있을까?

기본적으로 우리가 이러한 질문에 답하고 있을 때 많은 어려운 작업은 메타의 팀들에 의해 수행되었습니다. 업계에는 다른 사람들도 있었지만, 정말로 Llama 모델은 이 전체 오픈 소스 AI를 엄청난 방식으로 열어젖힌 모델이었습니다.

만약 우리가 이 모든 에너지를 쏟아 부을 것이라면, 최소한 마이크로소프트, 아마존, 구글과 같은 거대 클라우드 회사들이 우리의 모델을 판매하게 된다면, 그들이 그렇게 하기 전에 우리가 어떤 종류의 사업 협정을 맺어야 하는지에 대해 적어도 그들과 대화할 수 있어야 합니다.

라이선스에 대한 우리의 목표는, 우리는 일반적으로 사람들이 모델을 사용하는 것을 막으려는 것이 아닙니다. 우리는 단지 당신이 그러한 회사 중 하나이거나, 당신이 애플이라면, 당신이 무엇을 하고 싶은지에 대해 우리와 이야기하러 오라고 생각합니다. 함께 생산적인 방법을 찾읍시다. 저는 그것이 일반적으로 괜찮았다고 생각합니다.

이제, 만약 전체 오픈 소스 산업 부분이 많은 다른 훌륭한 옵션이 있는 방향으로 발전하고 라이선스가 결국 사람들이 Llama를 사용하고 싶지 않은 이유가 된다면, 우리는 전략을 재평가해야 할 것입니다. 그 시점에서 무엇을 하는 것이 합리적인지. 하지만 저는 우리가 거기에 있다고 생각하지 않습니다.

(...) 우리가 이 모델들을 훈련하는 데 수십억 달러를 지출하고 있다면, 다른 회사들 - 우리와 비슷한 규모이고 우리와 관계를 맺을 여유가 있는 거대한 회사들 - 에게 그것을 사용하기 전에 우리와 이야기하라고 요청하는 것은 꽤 합리적인 일이라고 생각합니다.

Dwarkesh Patel: 만약 다른 모델들도 정말 좋다면. 좋은 오픈 소스 모델들이 많이 있습니다. 그래서 당신의 임무의 그 부분은 충족되었고, 어쩌면 다른 모델들이 코딩에 더 능숙할 수도 있습니다.

"보세요, 오픈 소스 생태계는 건강합니다. 경쟁은 충분합니다. 우리는 메타 내부 소프트웨어 엔지니어링이나 우리 앱 배포를 위해 다른 모델을 사용하는 것에 만족합니다. 반드시 Llama로 구축할 필요는 없습니다"라고 말하는 세상이 있을까요?

Mark Zuckerberg: 다시 말하지만, 우리는 많은 일을 합니다. 한 걸음 물러서 봅시다. 우리가 자체적인 큰 모델을 구축하는 이유는 우리가 원하는 것을 정확하게 구축할 수 있기를 원하기 때문입니다. 세상의 다른 어떤 모델도 우리가 정확히 원하는 것이 아닙니다.

만약 그것들이 오픈 소스라면, 당신은 그것들을 가져다가 다른 방식으로 미세 조정(fine-tune)할 수 있습니다. 하지만 당신은 여전히 모델 아키텍처를 다루어야 합니다. 그리고 그들은 지연 시간과 추론 비용에 영향을 미치는 다른 크기 트레이드오프를 만듭니다. 우리가 운영하는 규모에서는 그런 것들이 정말 중요합니다.

우리는 Llama 스카웃과 매버릭 모델을 특정 이유로 특정 크기로 만들었습니다. 그것들은 호스트에 맞고 우리는 특정 지연 시간을 원했습니다 - 특히 우리가 작업하고 있는 음성 모델에 대해 - 안경에서부터 우리의 모든 앱, 메타 AI 앱 및 모든 것에 이르기까지 우리가 하고 있는 모든 것에 퍼지기를 원합니다.

당신이 직접 만들 때만 얻을 수 있는 자신의 운명을 통제하는 수준이 있습니다. 그렇긴 하지만, AI는 모든 회사가 하는 모든 일에 사용될 것입니다. 우리가 큰 모델을 만들 때, 우리는 또한 어떤 내부 사용 사례를 최적화할 것인지 선택해야 합니다.

(...) 당신은 또한 물었습니다. 다른 사람들이 오픈 소스를 하고 있기 때문에 더 이상 중요하지 않을 것인가? 이것에 대해서는 저는 조금 더 걱정됩니다. 이것을 자문해봐야 합니다. 지금 나타나서 오픈 소스를 하고 있는 모든 사람에 대해 - 이제 우리가 그것을 했으니 - 만약 우리가 그것을 하지 않았다면 그들은 여전히 오픈 소스를 하고 있을까요?

저는 점점 더 많은 개발이 오픈 소스로 향하는 추세를 보고 "오 젠장, 이 기차에 타지 않으면 우리는 질 거야"라고 생각하는 소수의 사람들이 있다고 생각합니다. 만약 당신이 폐쇄 모델 API를 가지고 있고 점점 더 많은 개발자들이 그것을 원하지 않는다면.

그래서 당신은 다른 많은 플레이어들이 오픈 소스에서 일부 작업을 시작하는 것을 보고 있습니다. 하지만 그것이 우리에게 그랬던 것처럼 그들에게 근본적인 것인지, 아니면 잠깐 해보는 것인지는 불분명합니다. 좋은 예는 안드로이드에서 일어나고 있는 일입니다. 안드로이드는 오픈 소스적인 것으로 시작했습니다. 실제적인 오픈 소스 대안은 없습니다. 시간이 지남에 따라 안드로이드는 점점 더 폐쇄적이 되었습니다.

그래서 만약 당신이 우리라면, 만약 우리가 업계를 이 방향으로 밀어붙이는 것을 멈춘다면, 이 모든 다른 사람들... 어쩌면 그들은 단지 우리와 우리가 밀어붙이는 방향과 경쟁하려고 하기 때문에 그것을 하고 있을 뿐일 수도 있습니다. 그들은 이미 오픈 소스가 존재하지 않았다면 무엇을 할 것인지에 대한 드러난 선호도를 보여주었습니다. 그리고 그것은 오픈 소스가 아니었습니다. 우리는 단지 우리가 회사에서 구축할 기술의 미래를 위해 그들의 지속적인 행동에 의존하는 것에 대해 조심해야 합니다.

Dwarkesh Patel: 당신이 언급한 또 다른 것은 표준이 Llama와 같은 미국 모델을 중심으로 구축되는 것이 중요하다는 것입니다. (...) Llama 3는 MoE가 아니었고 Llama 4는 MoE입니다. 따라서 모델 세대 간에도 변화가 있습니다.

특정 표준에 따라 이런 우발적인 방식으로 구축될 것이라고 생각하는 이유는 무엇인가요?

Mark Zuckerberg: 보세요, 저는 이 모델들이 가치와 세상을 생각하는 방식을 인코딩한다고 생각합니다.

우리는 초기에 흥미로운 경험을 했습니다. 초기 버전의 Llama를 가져다가 번역했습니다. 프랑스어였던 것 같아요, 아니면 다른 언어였나.

프랑스 사람들로부터 받은 피드백은 "이것은 프랑스어를 배운 미국인처럼 들린다. 프랑스 사람처럼 들리지 않는다"였습니다. 그리고 우리는 "무슨 뜻인가요, 프랑스어를 잘 못 하나요?"라고 물었습니다. 아니요, 프랑스어는 잘 합니다. 단지 세상을 생각하는 방식이 약간 미국적으로 보였다는 것입니다. 그래서 저는 모델에 내장되는 이러한 미묘한 것들이 있다고 생각합니다.

시간이 지남에 따라 모델이 더 정교해지면 전 세계의 다른 가치 집합을 구현할 수 있어야 합니다. 그래서 그것은 특별히 정교한 예는 아닐 수도 있지만, 요점을 설명한다고 생각합니다.

우리가 일부 모델, 특히 중국에서 나오는 모델을 테스트하면서 본 것 중 일부는 특정 가치가 그 안에 인코딩되어 있다는 것입니다. 그리고 그것을 바꾸는 것은 가벼운 미세 조정이 아닙니다. 이제 언어 모델 - 또는 일종의 세계 모델이 내장된 것 - 은 더 많은 가치를 가지고 있습니다.

추론은, 가치를 가지고 있다고 말할 수도 있겠죠. 하지만 추론 모델의 좋은 점 중 하나는 검증 가능한 문제에 대해 훈련된다는 것입니다. 만약 당신의 모델이 수학을 하고 있다면 문화적 편견에 대해 걱정해야 할까요? 아마 아닐 것입니다. 다른 곳에서 만들어진 어떤 추론 모델이 수학 문제를 교활한 방식으로 해결함으로써 당신을 세뇌할 가능성은 낮다고 생각합니다.

하지만 코딩, 즉 다른 검증 가능한 영역 주변에는 완전히 다른 종류의 문제가 있습니다. 당신은 어느 날 깨어나서 다른 정부와 어떤 관계가 있는 모델을 사용하고 있다면, 그것이 그들의 정보 기관이 나중에 악용할 수 있는 코드에 취약점을 심을 수 있는지 걱정해야 합니다. 미래의 어떤 버전에서는 다른 나라에서 온 모델을 사용하고 있고 그것이 당신의 시스템을 보호하고 있습니다. 그런 다음 당신은 깨어나고 모든 것이 그 나라가 알고 당신은 모르는 방식으로 취약해집니다. 또는 그것이 어느 시점에 취약점을 켭니다.

이것들은 실제 문제입니다. 저는 이것을 연구하는 데 매우 관심이 있습니다. 왜냐하면 저는 오픈 소스에 대해 흥미로운 주된 것 중 하나가 모델을 증류(distill)하는 능력이라고 생각하기 때문입니다. 대부분의 사람들에게 주된 가치는 단지 기성품 모델을 가져다가 "좋아, 메타가 이 버전의 Llama를 만들었어. 나는 그것을 가져다가 내 애플리케이션에서 정확히 실행할 거야"라고 말하는 것이 아닙니다.

아니요, 만약 당신이 단지 우리의 것을 실행하고 있다면 당신의 애플리케이션은 다른 것을 하고 있지 않습니다. 당신은 적어도 그것을 미세 조정하거나 다른 모델로 증류하려고 할 것입니다. 우리가 베헤모스 모델과 같은 것에 도달하면, 전체 가치는 이 매우 높은 양의 지능을 가져다가 당신이 실제로 실행하고 싶어할 더 작은 모델로 증류할 수 있다는 것입니다.

이것이 증류의 아름다움입니다. 그것은 제가 지난 1년 동안, 우리가 마지막으로 만난 이후로, 매우 강력한 기술로 부상했다고 생각하는 것 중 하나입니다. 저는 그것이 대부분의 사람들이 예측했던 것보다 더 잘 작동했다고 생각합니다. 당신은 기본적으로 훨씬 더 큰 모델을 가져다가 그 지능의 아마도 90% 또는 95%를 포착하고, 10% 크기의 무언가에서 실행할 수 있습니다. 이제, 당신은 지능의 100%를 얻습니까? 아니요. 하지만 10% 비용으로 지능의 95%는 많은 것들에 대해 꽤 좋습니다.

흥미로운 또 다른 것은 이제 이 더 다양한 오픈 소스 커뮤니티와 함께, Llama뿐만이 아니라는 것입니다. 다른 모델들도 있습니다. 당신은 여러 소스로부터 증류할 수 있는 능력을 가지고 있습니다. 그래서 이제 당신은 기본적으로 "좋아, Llama는 이것에 정말 능숙해. 아마도 그것의 아키텍처는 근본적으로 멀티모달이고, 더 추론 친화적이고, 더 효율적이기 때문에 정말 좋을 거야. 하지만 이 다른 모델이 코딩에 더 능숙하다고 가정해보자."라고 말할 수 있습니다. 좋습니다. 당신은 그들 둘 다로부터 증류하여 당신 자신의 사용 사례에 대해 개별적으로 어느 것보다 더 나은 것을 구축할 수 있습니다. 그것은 멋집니다.

하지만 당신은 그것을 안전하고 보안적인 방식으로 증류할 수 있다는 것을 아는 보안 문제를 해결해야 합니다. 이것은 우리가 연구해 왔고 많은 시간을 투자한 것입니다. 우리가 기본적으로 발견한 것은 언어적인 것은 무엇이든 상당히 위험하다는 것입니다. 많은 가치가 그 안에 내재되어 있습니다. 당신이 증류하는 모델로부터 가치를 받아들이는 것을 신경 쓰지 않는 한, 당신은 아마도 그냥 직선적인 언어 세계 모델을 증류하고 싶지 않을 것입니다.

하지만 추론에 대해서는, 검증 가능한 영역으로 제한하고 코드 청결성 및 보안 필터를 실행함으로써 많은 것을 달성할 수 있습니다. 그것이 Llama Guard 오픈 소스나 우리가 수행한 Code Shield 오픈 소스 도구를 사용하든, 다른 입력을 모델에 통합하고 입력과 출력 모두가 안전한지 확인하는 것을 허용하는 것들입니다.

그런 다음 그것은 단지 많은 레드팀 운영입니다. 모델을 보고 "좋아, 이 모델이 증류 후에 우리가 원하지 않는 어떤 일을 하고 있는가?"라고 묻는 전문가를 두는 것입니다. 저는 이러한 기술들의 조합으로, 검증 가능한 영역에 대한 추론 측면에서 꽤 안전하게 증류할 수 있다고 생각합니다. 그것은 제가 꽤 자신하는 것이고 우리가 많은 연구를 수행한 것입니다.

하지만 저는 이것이 매우 큰 질문이라고 생각합니다. 어떻게 좋은 증류를 하는가? 왜냐하면 잠금 해제될 가치가 너무 많기 때문입니다. 하지만 동시에, 저는 다른 모델에 근본적인 편견이 내재되어 있다고 생각합니다.

Dwarkesh Patel: 잠금 해제될 가치에 대해 말하자면, AI를 수익화하는 올바른 방법은 무엇이라고 생각하시나요? (...)

Mark Zuckerberg: 우리가 전에 이야기했던 것처럼, 이 모든 다른 애플리케이션들이 있을 것이고, 다른 애플리케이션들은 다른 것들을 향하는 경향이 있습니다.

(...) 메타에서는 소비자 부분에 대해 확실히 무료인 것을 원합니다. 저는 그것이 결국 광고 지원이 될 것이라고 확신합니다. 하지만 저는 또한 사람들이 무료 서비스에서 제공하는 것이 합리적인 것보다 훨씬 더 놀라운 일을 하기 위해 임의의 양의 컴퓨팅을 사용하는 것을 지원하는 비즈니스 모델을 원할 것이라고 생각합니다. 그것을 위해, 우리는 결국 프리미엄 서비스를 갖게 될 것이라고 확신합니다. 하지만 저는 이것에 대한 우리의 기본 가치는 우리가 가능한 한 세상의 많은 사람들에게 봉사하고 싶다는 것이라고 생각합니다.

Dwarkesh Patel: 당신은 이 모든 다른 프로젝트들을 어떻게 추적하나요 (...) CEO로서 이 모든 것을 감독하면서, 당신의 부가가치를 가장 잘 전달하고 이 모든 것을 감독할 수 있는 방법에 대해 어떻게 생각하시나요?

Mark Zuckerberg: 제가 시간을 보내는 많은 부분은 훌륭한 사람들을 팀에 데려오려고 노력하는 것입니다. (...) 그런 다음 우리가 하고 있는 일의 또 다른 전체 부분은 인프라를 추진하는 것입니다. 만약 당신이 기가와트 클러스터를 세우고 싶다면, 우선 그것은 우리가 인프라 구축을 하는 방식에 많은 영향을 미칩니다. (...)

그런 다음 취향과 품질에 대한 이 질문이 있습니다. 무언가가 우리가 출시하고 싶을 만큼 충분히 좋은 때는 언제인가? (...)

AI는 흥미롭습니다. 왜냐하면 우리가 하는 다른 일들 중 일부보다 더 연구 및 모델 주도적이며 실제 제품 주도적이지 않기 때문입니다. 당신은 단지 당신이 원하는 제품을 디자인하고 그것에 맞는 모델을 구축하려고 할 수 없습니다. 당신은 정말로 먼저 모델과 당신이 원하는 기능을 디자인해야 하고, 그런 다음 몇 가지 창발적 속성을 얻습니다. 그런 다음 "오, 이것이 특정 방식으로 나타났기 때문에 다른 것들을 구축할 수 있구나"입니다. 결국 사람들은 최고의 모델을 사용하고 싶어합니다.

그것이 부분적으로 우리가 가장 개인적인 AI, 최고의 음성, 최고의 개인화를 구축하는 것에 대해 이야기할 때 - 그리고 매우 낮은 지연 시간을 가진 매우 스마트한 경험 - 그것들이 우리가 전체 시스템을 구축하도록 설계해야 하는 것들인 이유입니다. 그것이 우리가 전이중(full-duplex) 음성에 대해 작업하는 이유입니다. 그것이 우리가 AI와의 상호작용으로부터 좋은 메모리 추출을 하고 또한 다른 모든 메타 시스템에 연결할 수 있도록 개인화에 대해 작업하는 이유입니다. 그것이 우리가 그들이 가진 종류의 크기와 지연 시간 매개변수를 갖도록 우리가 디자인하는 특정 모델을 디자인하는 이유입니다.

Dwarkesh Patel: 정치에 대해 말하자면 (...) AI 거버넌스에 대해 어떻게 생각하고 계신가요? 만약 AI가 우리가 생각하는 것만큼 강력하다면, 정부는 개입하고 싶어할 것입니다. 거기서 취할 가장 생산적인 접근 방식은 무엇이며, 정부는 무엇을 생각해야 할까요?

Mark Zuckerberg: 저는 과거에 제가 했던 대부분의 발언은 콘텐츠 조정의 맥락에서였다고 생각합니다. (...) 일부 다른 것들에 대해서는, 우리는 몇 가지 잘못된 길을 갔습니다. 저는 단지 사실 확인(fact-checking)이 커뮤니티 노트(Community Notes)만큼 효과적이지 않았다고 생각합니다. 왜냐하면 그것은 인터넷 규모의 해결책이 아니었기 때문입니다. 충분한 사실 확인자가 없었고, 사람들은 특정 사실 확인자를 신뢰하지 않았습니다. 당신은 더 강력한 시스템을 원합니다. 그래서 저는 우리가 커뮤니티 노트로 얻은 것이 그것에 대한 올바른 것이라고 생각합니다.

하지만 이것에 대한 제 요점은 역사적으로 제가 아마도 미디어나 그들의 비판, 또는 정부에 대해 그들이 실제로 권한이 없는 것들에 대해 조금 너무 많이 미뤘다는 것입니다. (...)

Dwarkesh Patel: 당신은 이 모델들이 연말까지 중간 수준의 소프트웨어 엔지니어가 될 것이라고 말했습니다. 만약 예를 들어 소프트웨어 생산성이 2년 안에 100배 증가한다면 어떤 종류의 것들이 가능해질까요? 현재 구축할 수 없는 어떤 종류의 것들이 구축될 수 있을까요?

Mark Zuckerberg: 어떤 종류의 것들인가요? 그것은 흥미로운 질문입니다. 이 대화의 한 가지 주제는 잠금 해제될 창의성의 양이 엄청날 것이라는 것입니다.

(...) 이것은 초강력 소프트웨어 엔지니어를 가질 때 1-2년 안에 일어나는 일이 아닙니다. 하지만 시간이 지남에 따라, 만약 모든 사람이 엄청나게 다른 것들을 창조할 수 있는 이 초인적인 도구를 가지고 있다면, 당신은 믿을 수 없는 다양성을 얻게 될 것입니다. 그 일부는 어려운 문제를 해결하는 것일 것입니다: 질병 해결, 과학 발전, 우리의 삶을 더 좋게 만드는 새로운 기술 개발.

하지만 저는 그것의 많은 부분이 결국 문화적이고 사회적인 추구와 엔터테인먼트가 될 것이라고 추측합니다. (...)

제가 흥미롭다고 생각하는 또 다른 생각은, 적어도 예측 가능한 미래에는 이것이 일하는 사람들에 대한 더 많은 수요로 이어질 것이지, 덜하지는 않을 것이라는 것입니다. (...)

한 가지 흥미로운 예를 들어보겠습니다. 우리는 매일 거의 35억 명의 사람들이 우리 서비스를 사용하고 있습니다. 우리가 영원히 어려움을 겪었던 한 가지 질문은 고객 지원을 어떻게 제공하는가 하는 것입니다.

오늘날 당신은 이메일을 쓸 수 있지만, 우리는 누군가가 그냥 전화할 수 있는 음성 지원을 갖는 것을 진지하게 고려해 본 적이 없습니다. (...) 하지만 이제 AI가 더 좋아짐에 따라, AI가 사람들의 문제 중 상당 부분을 처리할 수 있는 곳에 도달하게 될 것입니다.

전부는 아닙니다 - 어쩌면 10년 후에는 전부 처리할 수 있을지도 모릅니다 - 하지만 3-5년의 시간 지평을 생각하면, 상당 부분을 처리할 수 있을 것입니다. 그것은 자율 주행차와 약간 비슷합니다. 그들은 많은 지형을 처리할 수 있지만, 대부분의 경우 아직 전체 경로를 스스로 주행하지는 않습니다. 사람들은 트럭 운전 직업이 사라질 것이라고 생각했지만, 우리가 20년 전에 처음 자율 주행차에 대해 이야기하기 시작했을 때보다 실제로 지금 더 많은 트럭 운전 직업이 있습니다.

고객 지원 이야기로 돌아가서, 모든 사람을 위해 전화를 지원하는 것은 말이 되지 않을 것입니다. 하지만 AI가 그것의 90%를 처리할 수 있다고 가정해 봅시다. 그런 다음 만약 처리할 수 없다면, 사람에게 넘깁니다. 만약 당신이 그 서비스를 제공하는 비용을 원래의 10분의 1로 낮출 수 있다면, 어쩌면 이제 그것을 하는 것이 실제로 말이 될지도 모릅니다. 그것은 멋질 것입니다. 그래서 최종 결과는 제가 실제로 더 많은 고객 지원 인력을 고용하게 될 것이라고 생각한다는 것입니다.

일반적인 믿음은 AI가 일자리를 자동화할 것이라는 것입니다. 하지만 그것은 실제로 기술의 역사가 작동해 온 방식이 아닙니다. 보통 당신은 작업의 90%를 없애는 것을 창조하고, 그것은 당신이 더 적은 사람이 아니라 더 많은 사람을 원하게 만듭니다.

(...)

---