1/2

특히 깊이 생각해볼 만한 대화를 나눠준 Gavin에게 감사드립니다. 저는 평소 소셜미디어에 많은 시간을 쓰는 편은 아니지만, 이번에는 정말 중요한 논쟁의 핵심을 잘 드러내는 이야기라고 생각해서 직접 참여하고 싶었습니다.

먼저 규제 문제부터 이야기하자면, 저는 “규제를 통해 선택된 소수의 기업과 정치인에게 권력을 집중시키느냐, 아니면 널리 분산시키느냐”라는 구도 자체가 잘못된 양자택일이라고 생각합니다.

실리콘밸리에는 일종의 간단한 도식이 있죠.

규제 = 규제 포획(regulatory capture) = 권력 집중

하지만 저는 이것이 세상을 지나치게 단순화한 관점이라고 늘 생각해왔습니다.

실리콘밸리 바깥의 많은 사람들은 오히려 규제를 기업의 권력을 제한하고 평범한 사람들에게 이익을 주는 장치라고 생각합니다. 물론 저 역시 그 관점에 전적으로 동의하는 것은 아닙니다. 현실은 훨씬 복잡하고, 결국 중요한 것은 구체적으로 어떤 규제인가에 달려 있다고 봅니다.

특히 “규제 = 규제 포획 = 권력 집중”이라는 관점을 가진 사람들은 객관적이고 공정한 제도적 절차가 가질 수 있는 권력 분산 효과를 과소평가하는 경우가 많다고 생각합니다.

조금 거친 비유를 들자면, 공식적인 법원 제도는 때때로 답답하고 엘리트주의적으로 느껴질 수 있습니다. 하지만 그 대안이 군중에 의한 사적 제재(mob justice)라면, 법원 제도가 취약한 개인들의 권리를 훨씬 더 잘 보호합니다.

제도가 제대로 작동할 때는 권력을 특정 개인이 아니라 원칙과 아이디어에 부여할 수 있고, 그런 방식으로 오히려 권력을 분산시킬 수 있습니다.

이것이 Anthropic이 정책 제안을 할 때 항상 매우 신중하게 설계해 온 이유입니다.

우리는 프런티어 AI 기업들은 불리하게 만들고, 즉 속도를 늦추게 만들면서, 더 작은 경쟁자들에게는 유리하도록 정책을 설계하려고 매우 노력합니다.

예를 들어 캘리포니아의 SB 53은 우리가 지지했던 법안이고, 많은 비판을 받았던 SB 1047은 우리가 찬반을 유보했던 법안인데, 두 법안 모두 일정 수준 이하의 매출이나 모델 학습 비용을 가진 기업은 규제 대상에서 완전히 면제했습니다.

SB 53의 경우 그 기준은 5억 달러였고, SB 1047은 그보다 낮았지만 우리는 바로 그 낮은 기준에 반대했습니다.

최근에는 CAISI와 백악관에 우리가 제안한 테스트 절차 역시, 비프런티어 모델보다 프런티어 모델에 더 엄격한 테스트를 적용하는 방식입니다. 이것 역시 도전자 기업들에게 상대적으로 유리하게 작용합니다.

마찬가지로 “Pacing the Frontier” 서한도 — 적어도 Anthropic이 선호하는 구현 방식에서는 — 가장 뛰어난 최상위 모델들의 발전 속도는 조절하되, 그 뒤를 따라잡고 있는 기업들까지 제한하지 않는 방식을 상정하고 있습니다.

이는 프런티어 AI 연구소들의 사업적 이익에는 손해가 되고, 도전자들에게는 도움이 됩니다. 오픈웨이트(open-weights) 모델들도 포함해서 말이죠.

전체적으로 저는 AI가 본질적인 구조상 권력을 집중시키는 경향이 있는 기술이라고 생각합니다.

그리고 그 이유는 규제와는 별 관계가 없습니다. 오히려 스케일링 법칙이 갖는 극단적인 함의와 더 관련이 있습니다.

오픈웨이트가 이런 문제를 어느 정도 완화해 주는 것은 사실입니다. 하지만 그것만으로는 전혀 충분한 해결책이 아닙니다.

왜냐하면 오픈웨이트는 결국 권력 집중의 위치를 조금 옮길 뿐이기 때문입니다. 즉 권력이 가장 많은 컴퓨팅 자원과 칩을 가진 사람들에게 집중됩니다. 현실적으로 보면 이들은 대체로 프런티어 AI 연구소들이고, 여기에 일부 하드웨어 공급업체들이 추가될 수 있습니다.

반대로 저는 제대로 된 ‘게임의 규칙(rules of the road)’을 만든다면 다음 세 가지를 동시에 달성할 수 있다고 생각합니다.

• AI의 사이버 보안·바이오·정렬(alignment) 위험에 대응하고,
• 제도적으로 프런티어 AI 기업들의 권력을 제한하며,
• 오픈웨이트 모델이 발전할 공간을 남겨두면서도 오픈웨이트가 가져오는 고유한 위험에는 대응하는 것입니다.

그리고 덧붙이자면, 저는 지난 몇 달 동안 벌어진 일들이 “제가 선호하는 규제 경로를 실현하는 데 실패했다”고 생각하지 않습니다.

현재 보도되고 있는 트럼프 행정부의 접근 방식, 즉

프런티어 모델에 대해서는 배포 전에 테스트를 실시하고, 오픈웨이트 모델 역시 프런티어 수준에 가까워질 경우 테스트하는 방식

은 제가 매우 지지하는 접근입니다.

물론 세부 내용을 실제로 확인해 봐야 확실히 판단할 수 있겠지만요.

저는 Demis Hassabis가 제안한 FINRA와 비슷한 형태의 기관에 관한 아이디어도 지지합니다.

이는 불과 6개월 전과는 상당히 다른 상황입니다. 당시만 해도 업계 대부분은 모든 주(state) 차원의 AI 규제를 연방법으로 무력화(preemption)하는 것을 밀어붙이고 있었고, 동시에 뚜렷한 연방 차원의 규제 방안도 거의 보이지 않았으니까요.

 

2/2

둘째로, AI를 둘러싼 메시지 전달 방식에 대해서 말하겠습니다.

저는 제가 AI에 대해 지나치게 부정적인 메시지를 내왔다고 생각하지 않습니다. 실제로 제가 해온 이야기는 위험과 이점 사이에서 거의 균형을 이루고 있습니다.

저는 각각에 대해 주요 에세이를 하나씩 썼습니다. 그리고 위험을 이야기하는 인터뷰에서도 AI가 가져올 엄청난 이점을 자주 언급하고, 동시에 위험을 줄일 수 있는 해결책도 함께 제시하려고 합니다.

다만 제 인터뷰 중 소셜미디어에 올라가는 짧은 영상들은 부정적인 내용에 지나치게 치우치는 경향이 있습니다. 그런 내용이 클릭을 더 잘 끌기 때문입니다.

사실 제가 **《Machines of Loving Grace》**를 쓴 이유도 AI 업계가 이 기술이 세상을 얼마나 급진적으로 더 나은 방향으로 바꿀 수 있는지에 대해 충분히 고무적인 그림을 보여주지 못하고 있다고 느꼈기 때문입니다.

그 글의 대부분은 AI가 보건과 생물학 분야에서 가질 수 있는 잠재력에 대한 회의론을 반박하는 데 할애되어 있습니다.

그리고 평범한 사람들에게는 물론이고, 솔직히 생물학자들에게조차 미친 이야기처럼 들릴 수 있겠지만 — 저도 과거에는 생물학자였습니다 — 저는 실제로 약 5~10년 안에 대부분의 인간 질병을 치료할 수 있게 될 가능성이 있다고 생각합니다.

또 제가 가장 최근에 쓴 에세이인 **《Policy on the AI Exponential》**을 읽어보면, AI가 가속한 신약들이 쏟아져 나올 때 규제 절차 때문에 그 속도가 늦춰지지 않도록 FDA 절차를 어떻게 간소화할 것인지에 대한 구체적인 제안도 다루고 있습니다.

저는 이 문제에 개인적으로도 강한 긴박감을 느낍니다.

저는 아버지를 C형 간염으로 잃었습니다. 그로부터 불과 몇 년 뒤에 직접작용 항바이러스제(sofosbuvir)가 개발됐습니다. 이 치료제는 환자의 약 95%를 완치시키며, 아마 제 아버지도 살릴 수 있었을 겁니다.

저 역시 대중이 AI를 부정적으로 바라보고 있다는 점에는 동의합니다. 그리고 그것이 매우 큰 문제라고 생각합니다.

하지만 그 원인이 주로 저나 다른 AI 업계 리더들이 AI의 위험을 경고했기 때문이라고는 생각하지 않습니다.

저는 이것이 근본적으로 신뢰의 위기라고 생각합니다.

평범한 사람들은 기업도, 정부도, 기술 업계도 신뢰하지 않습니다. 그리고 우리는 언제나 자신들을 또 다른 방식으로 등쳐먹으려는 무언가를 꾸미고 있다고 의심합니다.

이런 불신의 원인은 수십 년 전으로 거슬러 올라가며, AI는 그저 가장 최근에 등장한 사례일 뿐입니다.

그래서 저는 긍정적인 이미지를 내세운 화려한 마케팅 캠페인 — 일부에서는 Anthropic도 그런 캠페인을 해야 한다고 주장합니다 — 이 신뢰를 되찾는 방법이라고 생각하지 않습니다.

이 시점에서 “AI가 암을 치료할 것이다”라는 말은 사람들에게 영감을 주기보다는 오히려 진부한 문구가 되어버렸습니다. 대부분의 사람들은 그런 말을 기만적이라고 생각합니다.

사람들의 생각을 실제로 바꿀 수 있는 것은

정말로 암을 치료하는 것입니다.

저는 Anthropic을 포함한 AI 기업들에 대해 제기할 수 있는 비판 가운데 가장 정확한 비판은, 우리가 아직 “세상에 큰 도움을 주겠다”는 거대한 약속을 실제 결과로 보여주지 못했다는 것이라고 생각합니다.

그건 전적으로 우리의 책임입니다.

그리고 여러분이 비판해야 할 것도 메시지나 마케팅 같은 문제가 아니라 바로 그것이라고 생각합니다.

다만 우리는 이를 해결하기 위해 최선을 다하고 있습니다.

Anthropic은 현재 생물학과 의학 분야에서의 노력을 매우 빠르게 확대하고 있으며, 앞으로 몇 년 안에 놀라운 성과를 내기를 기대하고 있습니다. 그리고 앞으로 몇 달 안에도 그 가능성을 보여주는 초기 징후들이 나타나길 바라고 있습니다.

우리가 정말로 실질적인 무언가를 이뤄냈을 때는 전 세계가 그 사실을 듣게 될 것입니다.

가능한 한 가장 큰 목소리로 알릴 겁니다. 그건 제가 약속드리겠습니다.

하지만 그때까지는 공허한 약속을 하고 싶지 않습니다.

그리고 그동안 저는 AI가 실제로 가지고 있는 매우 현실적인 위험과, 그 위험에 어떻게 대응할 수 있는지에 대해 솔직하게 이야기해야 한다고 느낍니다.

솔직하게 이야기하는 것이 그 자체로 옳은 일입니다.

그리고 대중의 신뢰와 신용이라는 측면에서도, 사람들이 본능적으로 실제라고 느끼는 위험을 무시하거나 다른 이야기로 관심을 돌리는 접근보다 나쁘지 않으며, 오히려 더 나은 접근일 수도 있다고 생각합니다.