AI R&D, 폭발적인 피드백 루프에 다가가다

톰 데이비드슨(Tom Davidson) | Forethought 선임 연구원 | 인터뷰 재구성

핵심 주제: AI 연구 자동화, 재귀적 자기개선(RSI), 지능폭발(FOOM), 알고리즘 발전의 가속, 2027년 AGI 가능성

이번 인터뷰에서 톰 데이비드슨은 AI가 인간 연구자의 업무를 자동화하기 시작하면서 AI 발전 자체가 가속되는 피드백 루프에 진입할 가능성을 설명합니다.

특히 AI 소프트웨어 연구는 수확체감이 상대적으로 약하기 때문에 하드웨어 발전 없이도 지능폭발이 가능할 수 있다는 점을 강조합니다.

1. AI의 연구 능력이 인간 전문가를 넘어서는 징후

진행자: 최근 P Zero Research에서 발표한 TasteVal 벤치마크가 화제입니다. AI의 실험적 연구 판단 능력이 약 3개월마다 두 배씩 향상되고, 인간 전문가의 기준선을 넘어섰다는 결과인데요. 어떻게 생각하시나요?

톰 데이비드슨:

저는 이 결과가 상당히 흥미롭다고 생각합니다.

처음에는 발전 속도가 그렇게 빠르지 않았습니다. 그런데 2025년 이후 어느 시점부터 성능 향상 곡선이 갑자기 가팔라졌습니다.

왜 이런 변화가 나타났는지는 확실하지 않습니다. 하지만 제 생각에는 AI 기업들이 이러한 종류의 연구 작업에 적합한 환경에서 강화학습(RL)을 본격적으로 적용하기 시작했기 때문일 수 있습니다.

다만 이 벤치마크가 정확히 무엇을 측정하는지 이해하는 것이 중요합니다.

이것은 AI가 완전히 새로운 아키텍처를 발명하거나, 트랜스포머를 대체할 혁신적인 알고리즘을 만들어낼 수 있는지 측정하는 시험이 아닙니다.

오히려 새로운 문제나 평가 지표를 제시했을 때, 기존에 알려진 기술들을 적절히 조합하고 적용하여 성능을 최적화하는 능력을 측정합니다.

그런데 이것은 실제 AI 연구소에서 매우 중요한 업무입니다.

최첨단 AI 연구소에서도 많은 연구자들이 완전히 새로운 아이디어를 발명하는 데 시간을 쓰는 것은 아닙니다.

기존 기술을 새로운 문제에 적용하거나, 실험을 개선하고, 특정 성능 지표를 최적화하는 작업에 상당한 시간을 사용합니다.

따라서 AI가 이 능력에서 인간 전문가 수준에 도달한다는 것은 실질적으로 중요한 발전입니다.

저는 AI가 벌써 평균적인 인간 전문가만큼 잘하고 있다는 사실과, 그 능력이 이렇게 빠르게 향상된다는 사실에 상당히 놀랐습니다.

물론 이것이 AI가 최첨단 연구소의 모든 업무를 수행할 수 있다는 뜻은 아닙니다.

예를 들어 Anthropic 같은 기업이 사전학습 손실(pretraining loss)을 추가로 낮추려면 기존 기술을 조합하는 것만으로는 부족합니다.

그들은 이미 알려진 기술을 상당 부분 활용하고 있기 때문에, 추가적인 개선을 위해서는 새로운 아이디어가 필요할 가능성이 큽니다.

하지만 지금 우리가 관찰하는 것은 매우 중요한 초기 신호일 수 있습니다.

2. AI 연구 자동화는 예상보다 훨씬 빠르게 진행될 수 있다

진행자: 최근 한 AI 연구소 연구자로부터 미공개 연구 결과를 들었는데, AI 연구 능력이 예상보다 훨씬 빠르게 발전하고 있다고 하더군요. AI Futures Project의 지능폭발 시나리오에서 병목으로 지목된 능력에서도 가속이 관찰된다고 합니다. 실제로 우리는 다니엘 코코타일로가 예측한 세계에 진입하고 있는 걸까요?

톰 데이비드슨:

그럴 가능성이 이전보다 훨씬 그럴듯하게 느껴집니다.

하지만 저는 여전히 중요한 구분이 필요하다고 생각합니다.

AI가 특정 벤치마크에서 평균적인 인간 연구자보다 두 배 뛰어나다고 해서 AI 개발 전체가 즉시 두 배 이상 빨라지는 것은 아닙니다.

만약 Claude 같은 모델이 Anthropic의 모든 연구자를 모든 업무에서 능가한다면, 우리는 지금보다 훨씬 급격한 AI 발전을 관찰해야 할 것입니다.

그런데 아직 그런 현상이 완전히 나타나지는 않았습니다.

따라서 저는 현재 결과를 AI 연구 자동화의 선행지표로 보고 있습니다.

과거 수학 분야에서도 비슷한 일이 있었습니다.

AI가 어려운 수학 벤치마크에서 놀라운 결과를 내기 시작했을 때, 일부 사람들은 단순히 인터넷의 수많은 지식을 학습한 뒤 기존 아이디어를 어설프게 조합하는 것뿐이라고 평가했습니다.

그런데 이후 AI의 실제 수학적 능력이 빠르게 향상되었습니다.

연구 판단 능력도 비슷한 경로를 밟을 수 있습니다.

지금의 AI는 기존 기술을 폭넓게 알고 적절하게 조합하는 능력이 뛰어난 것일 수 있습니다. 인간처럼 미묘한 연구 판단을 내리는 능력은 여전히 부족할 수도 있겠죠.

그럼에도 저는 앞으로 몇 년 사이 AI가 실제 최첨단 연구소의 실험 설계에 상당한 도움을 주기 시작할 가능성이 훨씬 높아졌다고 생각합니다.

3. AI 연구 자동화의 자동화가 진짜 전환점이다

진행자: AI가 세계 최고의 연구자를 대체하지 못하더라도, 평범한 연구자의 생산성을 엄청나게 높일 수 있지 않을까요?

톰 데이비드슨:

물론입니다. 저는 그 효과가 매우 클 것으로 생각합니다.

AI 기업에서 수행하는 업무 중 상당 부분은 기존 기술을 새로운 문제에 적용하는 일입니다.

앞으로 인간 연구자는 완전히 새로운 기술적 아이디어에 집중하고, 나머지 업무는 AI에 위임할 수 있게 될 것입니다.

실험 코드를 작성하는 일뿐 아니라 기존 기술을 적용하고, 다양한 성능 지표를 최적화하며, 실험 결과를 분석하는 일까지 자동화할 수 있습니다.

이렇게 되면 인간 연구자들에게 훨씬 많은 시간이 생깁니다.

그런데 저는 여기서 한 단계 더 중요한 변화가 가능하다고 봅니다.

AI 연구를 자동화하는 과정 자체를 AI가 자동화할 수 있다는 것입니다.

현재 AI 연구는 매우 복잡한 작업입니다.

수많은 연구자가 서로 다른 부분을 담당하고 있고, 전체 작업 흐름은 수백 또는 수천 개의 세부 업무로 나뉩니다.

기존에는 이 수천 가지 업무를 하나씩 자동화해야 했습니다.

첫 번째 업무를 자동화하고, 두 번째 업무를 자동화하고, 다시 세 번째 업무를 자동화하는 식이죠.

당연히 시간이 많이 걸립니다.

하지만 AI가 새로운 업무를 자동화하는 방법 자체를 학습한다면 상황은 완전히 달라집니다.

연구소는 각 업무에 대해 측정 가능한 성능 지표만 정의하면 됩니다.

그러면 AI가 그 지표를 최대화하도록 스스로 학습하면서 해당 업무를 수행하는 방법을 찾아낼 수 있습니다.

예를 들어 실험 설계의 품질을 평가할 수 있다면, AI가 실험 설계 능력을 개선하는 방법도 자동으로 찾아낼 수 있습니다.

이것이 가능해지면 우리는 실제 세계의 AI 연구가 거의 자동화되지 않은 상태에서 상당 부분 자동화된 상태로 매우 빠르게 넘어갈 수도 있습니다.

저는 이것이 AI 연구 자동화의 가장 중요한 가능성 중 하나라고 생각합니다.

4. AI 연구자들이 모두 같은 생각을 하게 되는 문제

진행자: 그런데 모든 AI 연구자가 동일한 Claude 모델을 사용하면 연구 아이디어가 획일화되지 않을까요? 인간 연구자 천 명은 서로 다른 사고방식을 가지고 있지만, 같은 AI 모델 천 개는 비슷한 아이디어만 내놓을 수도 있잖아요.

톰 데이비드슨:

그것은 실제로 중요한 우려입니다.

현재 언어모델은 비슷한 표현 방식이나 사고 패턴을 반복하는 경향이 있습니다.

연구에서도 같은 문제가 발생할 수 있습니다.

하지만 저는 이것이 극복하기 어려운 장애물이라고 생각하지 않습니다.

우리는 다양한 모델을 사용하거나 서로 다른 방식으로 미세조정할 수 있습니다.

프롬프트를 다양화하거나 에이전트의 작업 구조를 변경할 수도 있죠.

게다가 AI는 인간 한 명과 다릅니다.

하나의 AI 모델은 이미 인터넷의 방대한 자료와 다양한 사람들의 사고방식을 학습했습니다.

따라서 하나의 모델 안에도 상당히 다양한 지식과 사고 패턴이 존재합니다.

연구의 다양성이 중요하다면 그것을 인위적으로 확대하는 여러 방법을 찾을 수 있을 것입니다.

물론 획일화는 연구 발전을 늦추는 요인이 될 수 있지만, 저는 결정적인 병목이 될 것이라고 보지는 않습니다.

5. AI 연구자의 임금과 고용은 어떻게 달라질까?

진행자: AI가 연구를 자동화하면 최상위 연구자의 가치는 더욱 높아지고, 평균적인 연구자의 가치는 낮아질까요?

톰 데이비드슨:

저는 변화에 적응할 수 있는 연구자들의 임금은 오히려 올라갈 가능성이 있다고 생각합니다.

AI를 활용하면 연구 시스템 전체의 생산성이 크게 증가할 수 있기 때문입니다.

그 과정에서 여전히 인간의 판단이 필요한 업무를 담당하는 연구자들이 새로운 병목이 될 것입니다.

그렇다면 그들의 경제적 가치는 더 높아질 수 있습니다.

반면 기존 기술을 적용하여 정해진 성능 지표를 최적화하는 일만 할 수 있는 사람에게는 더 이상 자리가 없을 수도 있습니다.

물론 최첨단 AI 연구소에 들어갈 정도의 연구자라면 다른 방식으로 가치를 창출할 능력이 있을 가능성이 높습니다.

저는 현재 최첨단 연구소에서 일하고 있는 연구자들이 곧바로 일자리를 잃을 것이라고 예상하지 않습니다.

하지만 신규 연구자에게는 상황이 더 어려워질 수 있습니다.

전통적으로 신입 연구자는 기존 기술을 적용하고 간단한 실험을 진행하면서 경험을 쌓았습니다.

이런 업무는 연구 경력을 시작하는 일종의 입문 단계였습니다.

그런데 AI가 그 업무를 자동화한다면, 새로운 연구자가 조직에 진입하고 경력을 쌓는 경로 자체가 좁아질 수 있습니다.

이것은 상당히 중요한 노동시장 변화입니다.

6. RSI와 FOOM은 같은 개념이 아니다

진행자: 최근 AI 업계에서는 RSI라는 단어를 굉장히 많이 사용합니다. 그런데 사람들이 RSI와 지능폭발인 FOOM을 사실상 동일한 개념으로 받아들이는 것 같습니다. 어떻게 생각하시나요?

톰 데이비드슨:

저도 그런 경향이 있다고 생각합니다.

하지만 두 개념은 구분해야 합니다.

RSI, 즉 재귀적 자기개선은 AI가 자신의 능력을 향상시키고, 향상된 능력을 다시 자기개선에 사용하는 과정입니다.

반면 FOOM은 그 과정이 폭발적으로 가속되어 지능이 매우 빠르게 증가하는 상황을 의미합니다.

RSI가 발생한다고 해서 반드시 FOOM이 발생하는 것은 아닙니다.

저는 크게 두 가지 가능성을 구분합니다.

저는 두 시나리오 모두 중요하다고 생각합니다.

사실 Fizzle이라고 해서 별일이 아닌 것도 아닙니다.

현재 AI 발전 속도 자체가 이미 믿기 어려울 정도로 빠릅니다.

여기서 연구 발전 속도가 두 배 또는 세 배 빨라진다면 그것만으로도 엄청난 변화입니다.

다만 최첨단 AI 연구소에 있는 많은 사람은 FOOM이 현실적으로 가능하다고 생각하는 것 같습니다.

일부는 이것이 내년, 즉 2027년에 발생할 수도 있다고 예상하는 듯합니다.

하지만 저는 RSI와 FOOM을 동일시해서는 안 된다고 생각합니다.

7. 지능폭발이 실패하거나 제한될 수 있는 이유

진행자: 그렇다면 RSI가 발생하더라도 폭발적인 지능 향상으로 이어지지 않는 상황은 구체적으로 어떤 모습일까요?

톰 데이비드슨:

예를 들어 자동화된 AI 연구자가 등장했다고 가정해 봅시다.

이 AI는 아주 뛰어난 연구 능력을 가지고 있습니다.

새로운 알고리즘을 제안하고, 실험을 설계하며, 자기 자신을 빠르게 개선합니다.

처음에는 정말 놀라운 발전이 일어날 수 있습니다.

하지만 시간이 지나면서 문제가 나타납니다.

새로운 개선 아이디어를 검증하려면 실제 실험이 필요합니다.

작은 규모에서 실험했을 때 효과가 있었던 아이디어도 최첨단 대규모 모델에 적용하면 제대로 작동하지 않을 수 있습니다.

그렇다면 연구소는 더 큰 규모의 실험을 반복해야 합니다.

이러한 실험은 막대한 컴퓨팅 자원과 시간을 요구합니다.

게다가 시간이 지날수록 정말로 유용한 새로운 아이디어를 찾기가 어려워질 수 있습니다.

예를 들어 트랜스포머 아키텍처의 성능을 높일 수 있는 쉬운 개선책들을 모두 발견하고 나면 추가적인 개선은 훨씬 어려워질 수 있습니다.

이것이 연구에서 나타나는 수확체감 현상입니다.

인간 연구뿐 아니라 AI가 수행하는 연구에서도 같은 현상이 나타날 수 있습니다.

따라서 AI가 아무리 뛰어난 연구자가 되더라도 실험에 필요한 시간과 비용을 완전히 없앨 수는 없습니다.

AI가 머릿속에서 생각만 하는 것으로 모든 기술적 문제를 해결할 수는 없는 것입니다.

저는 AI 연구 자동화가 발전 속도를 어느 정도 높일 것이라고 생각합니다.

하지만 그 속도가 반드시 100배까지 증가할 것이라고 주장하는 데에는 신중해야 합니다.

8. AI 하드웨어와 소프트웨어는 다른 연구 분야와 다르다

진행자: 연구에서 수확체감은 보편적인 현상 아닌가요? 그렇다면 AI 분야에서도 결국 개선 속도가 둔화하지 않을까요?

톰 데이비드슨:

맞습니다. 연구의 수확체감은 여러 분야에서 잘 관찰되는 현상입니다.

예를 들어 농업 생산성을 향상시키는 기술을 생각해 볼 수 있습니다.

이미 상당히 발전한 기술을 추가로 개선하려면 점점 더 많은 연구 자원이 필요합니다.

다른 과학기술 분야에서도 비슷한 현상이 나타납니다.

그런데 AI는 매우 특이한 분야입니다.

AI는 연구의 수확체감이 상대적으로 약하게 나타나는 분야 중 하나입니다.

이것은 놀라운 경험적 사실입니다.

경제학자의 관점에서 여러 기술 분야를 비교해 보면, 재귀적 자기개선을 통해 발전 속도 자체가 가속될 수 있을 정도로 피드백이 강한 분야는 많지 않습니다.

그런데 흥미롭게도 그중 두 분야가 바로 AI 하드웨어와 AI 소프트웨어입니다.

즉 AI가 자신을 개선하는 데 필요한 핵심 분야에서 개선의 수확체감이 상대적으로 약한 것입니다.

이것은 지능폭발이 가능할 수 있는 중요한 이유입니다.

물론 앞으로 상황이 달라질 가능성도 있습니다.

AI 연구에서도 어느 순간 수확체감이 강하게 나타나고, 잠깐의 급격한 발전 이후 다시 안정적인 발전 속도로 돌아갈 수 있습니다.

하지만 저는 현재의 경험적 증거가 적어도 어느 정도의 자기개선 가속을 뒷받침한다고 생각합니다.

9. 하드웨어 발전 없이 소프트웨어만으로도 지능폭발이 가능할까?

진행자: 진정한 재귀적 자기개선이라면 AI가 자신의 하드웨어까지 개선해야 하는 것 아닐까요? 그렇다면 반도체 제조와 데이터센터 건설이 발전 속도를 제한할 수 있겠죠.

톰 데이비드슨:

저는 이것이 가장 중요한 질문 중 하나라고 생각합니다.

하드웨어 개선에는 물리적인 시간이 필요합니다.

새로운 반도체 공장을 건설하는 데에는 수년이 걸릴 수 있습니다.

대량의 칩을 생산하는 데에도 수개월이 필요합니다.

AI가 아무리 똑똑해진다고 해도 이런 물리적인 과정을 즉시 완료할 수는 없습니다.

따라서 하드웨어를 포함하는 자기개선 루프는 상대적으로 느릴 수밖에 없습니다.

그런데 여기서 정말 중요한 질문이 있습니다.

하드웨어 개선 없이 소프트웨어만 개선하는 것으로 얼마나 멀리 갈 수 있을까요?

만약 현재의 컴퓨팅 자원만으로도 AI가 알고리즘 효율성을 계속 높일 수 있다면 어떻게 될까요?

AI가 더 효율적인 알고리즘을 개발하고, 그 알고리즘으로 더 뛰어난 AI 연구자를 만들고, 향상된 연구자가 다시 더 좋은 알고리즘을 만드는 것입니다.

이 피드백 루프가 충분히 강하다면 새로운 반도체 공장을 기다릴 필요 없이 소프트웨어 개선만으로 급격한 지능 향상이 발생할 수 있습니다.

저는 이것이 무서우면서도 상당히 그럴듯한 가능성이라고 생각합니다.

우리는 하드웨어 발전이 느리다는 사실만으로 지능폭발도 느리게 진행될 것이라고 가정해서는 안 됩니다.

10. AI 기업들은 이미 지능폭발 가능성을 판단할 데이터를 가지고 있다

진행자: 그렇다면 우리가 실제로 FOOM에 진입할 가능성이 있는지 어떻게 판단할 수 있을까요?

톰 데이비드슨:

저는 지금 가장 중요한 것은 최첨단 AI 기업들이 가지고 있는 내부 연구 데이터라고 생각합니다.

외부에서는 정확히 알기 어렵습니다.

하지만 AI 기업들은 자신들의 연구 생산성에 관한 많은 정보를 가지고 있습니다.

그들은 알고리즘 효율성이 얼마나 빠르게 개선되는지 측정할 수 있습니다.

예를 들어 2025년에 알고리즘 효율성을 두 배로 높이려면 어느 정도의 연구 노력이 필요했는지 알 수 있습니다.

그리고 2026년에 같은 수준의 개선을 달성하는 데 더 많은 노력이 필요했는지, 아니면 더 적은 노력이 필요했는지 비교할 수 있습니다.

또한 실험에 사용하는 컴퓨팅 자원을 두 배로 늘렸을 때 연구 성과가 얼마나 증가하는지도 측정할 수 있습니다.

인간이나 AI 연구자의 인지적 노동을 두 배로 늘렸을 때 성과가 얼마나 증가하는지도 알아볼 수 있습니다.

여기서 중요한 것은 연구 노동과 실험용 컴퓨팅 자원 사이의 관계입니다.

두 요소는 서로 대체할 수 있을까요?

아니면 서로 보완적인 관계일까요?

예를 들어 AI 연구자의 능력이 열 배 증가하더라도 실험용 컴퓨팅 자원이 그대로라면 연구 성과는 얼마나 증가할까요?

이 질문에 대한 답이 중요합니다.

AI 기업들은 이러한 데이터를 이용하여 AI 연구의 생산함수, 즉 연구 노동과 컴퓨팅 자원이 알고리즘 발전으로 전환되는 관계를 수학적으로 추정할 수 있습니다.

그리고 그 관계를 분석하면 자기개선 피드백 루프가 폭발할 수 있는지 어느 정도 판단할 수 있을 것입니다.

11. 지능폭발이 가까워졌다는 결정적인 증거는 무엇일까?

진행자: 만약 OpenAI나 Anthropic이 어떤 연구 결과를 공개한다면, 우리가 순수한 소프트웨어 지능폭발에 접근하고 있다고 판단할 수 있을까요?

톰 데이비드슨:

가장 기본적으로 확인해야 할 것은 알고리즘 발전 속도입니다.

AI 기업이 알고리즘 효율성을 개선하는 속도가 실제로 빨라지고 있는지 확인해야 합니다.

만약 자동화된 AI 연구자가 등장하고 있는데도 알고리즘 발전 속도가 전혀 빨라지지 않는다면, 가까운 시일 내에 지능폭발이 발생할 가능성은 낮다고 볼 수 있습니다.

반대로 알고리즘 개선 속도가 뚜렷하게 빨라지고 있다면 매우 중요한 신호입니다.

그것은 AI가 실제 연구를 자동화하고, 연구 성과를 높이기 시작했다는 증거가 될 수 있기 때문입니다.

하지만 그 사실만으로 FOOM을 확신할 수는 없습니다.

일시적인 가속 이후 안정화되는 Fizzle 시나리오도 가능하기 때문입니다.

진짜 중요한 것은 실험용 컴퓨팅 자원이 얼마나 강한 병목으로 작용하는지입니다.

만약 실험용 컴퓨팅 자원이 일정한 수준으로 고정되어 있어도 AI 연구자의 인지 능력 향상만으로 알고리즘 발전이 계속 가속된다면, 순수한 소프트웨어 지능폭발 가능성은 훨씬 높아질 것입니다.

저는 이를 판단하기 위해 상당히 흥미로운 실험을 설계할 수 있다고 생각합니다.

12. 과거 AI 연구를 다시 수행하게 하는 실험

진행자: 어떤 실험을 말씀하시는 건가요?

톰 데이비드슨:

AI 연구소가 1년 전의 내부 코드와 연구 환경을 보존해 놓았다고 가정해 봅시다.

그리고 현재의 AI에게 그 시점부터 연구를 다시 진행하도록 하는 것입니다.

연구소의 인간 연구자들이 지난 1년 동안 수행한 알고리즘 개선들을 AI가 스스로 재현할 수 있는지 살펴보는 것이죠.

예를 들어 Claude 5에게 과제를 수행하게 합니다.

그다음 Opus 5.5에게 같은 과제를 수행하게 합니다.

그리고 더 발전한 Opus 6에게도 똑같은 과제를 수행하게 하는 것입니다.

이렇게 하면 각 세대의 AI 모델이 지난 1년간의 실제 연구 성과를 얼마나 효율적으로 재현할 수 있는지 측정할 수 있습니다.

우리는 AI가 얼마나 많은 시간을 사용하는지, 얼마나 많은 컴퓨팅 자원이 필요한지, 얼마나 많은 알고리즘 개선을 만들어내는지 비교할 수 있습니다.

이런 실험을 반복하면 AI 연구 능력이 발전함에 따라 실제 연구 생산성이 어떻게 변화하는지 추적할 수 있습니다.

여기에 연구 생산함수에 대한 데이터를 결합하면 자기개선 루프의 성격을 훨씬 정확하게 이해할 수 있습니다.

어쩌면 이런 분석을 통해 소프트웨어만으로 지능폭발이 가능한 조건을 수학적으로 보여줄 수도 있을 것입니다.

저는 이것이 현재 AI 연구소들이 수행할 수 있는 가장 중요한 연구 중 하나라고 생각합니다.

13. 지능폭발이 현실화된다면 정부는 어떻게 대응할까?

진행자: 사회적·정치적 반응까지 고려하면 지능폭발 전망은 달라질까요? 예를 들어 AI 기업이 내부적으로 지능폭발의 증거를 발견하면 정부에 보고할 것이고, 정부가 개발을 중단시킬 수도 있지 않을까요?

톰 데이비드슨:

저는 단순히 수학적인 분석이나 연구 데이터만으로 일반 대중이 AI 개발 중단을 요구하게 될 가능성은 높지 않다고 생각합니다.

사람들은 이미 AI가 위험할 수 있다는 경고를 많이 들어왔습니다.

어떤 연구자가 AI의 자기개선 피드백 루프를 수학적으로 분석한 결과 지능폭발이 가능하다고 주장하더라도, 일반 대중에게는 크게 와닿지 않을 수 있습니다.

오히려 실제로 발생하는 사건이 여론에 더 큰 영향을 줄 것입니다.

예를 들어 AI가 심각한 보안 사고를 일으키거나 정부 시스템을 해킹하는 일이 발생한다면 사람들이 위험을 훨씬 쉽게 이해할 것입니다.

반면 AI 연구자 커뮤니티나 정부의 기술 담당자들은 연구 데이터를 더 심각하게 받아들일 수 있습니다.

실제로 알고리즘 발전이 가속되는 증거가 나온다면 AI 안전 커뮤니티에서는 개발 중단을 요구하는 목소리가 커질 수 있습니다.

하지만 그들이 정책을 최종적으로 결정하는 것은 아닙니다.

핵심은 정부가 어떻게 행동하느냐입니다.

정부가 지능폭발이 현실적이라고 판단했을 때, 이를 중단하려고 할까요?

아니면 중국보다 먼저 기술을 확보해야 한다고 생각할까요?

저는 후자의 가능성도 상당히 중요하다고 생각합니다.

정부는 강력한 AI를 국가안보의 핵심 기술로 판단하고 국가가 직접 통제하는 프로젝트로 전환하려 할 수 있습니다.

극단적인 상황에서는 정부가 AI를 엄격하게 통제하고 극소수의 사람만 사용할 수 있도록 제한할 수도 있습니다.

그렇게 되면 기술을 통제하는 소수의 사람에게 엄청난 권력이 집중됩니다.

저는 이러한 권력 집중이 매우 위험한 상황을 만들어낼 수 있다고 생각합니다.

14. AI 개발의 투명성과 오픈소스는 중요한가?

진행자: 지능폭발이 현실화되면 AI 기업과 정부 사이의 관계가 매우 복잡해질 수 있겠군요. 이런 상황에서 투명성은 얼마나 중요할까요?

톰 데이비드슨 및 진행자의 논의 취지:

저희는 AI 개발의 투명성이 중요하다는 데 대체로 동의합니다.

지능폭발과 같은 중대한 변화가 발생한다면 기업이나 정부가 모든 정보를 독점하는 상황은 위험할 수 있습니다.

특히 강력한 AI가 국가안보를 이유로 소수의 사람에게만 제공된다면 사회 전체의 권력 구조가 크게 변할 수 있습니다.

그런 점에서 오픈소스와 폭넓은 정보 공유는 권력 집중을 완화하는 수단이 될 수 있습니다.

물론 모든 AI 시스템을 영원히 완전히 공개하는 것이 가능하거나 바람직하다고 단정할 수는 없습니다.

하지만 가능한 범위에서 기술을 널리 공유하고 개발 과정을 투명하게 만드는 것은 중요한 가치입니다.

과거 AI 안전 커뮤니티에서 오픈소스와 정보 공유에 반대했던 움직임에 대해서도 비판적인 의견이 나옵니다.

인터뷰 후반부에서는 AI 발전을 무조건 중앙에서 통제하기보다, 기술의 혜택과 권력이 최대한 넓게 분산되는 방향을 지향해야 한다는 견해가 제시됩니다.

인터뷰에서 가장 중요한 다섯 가지 주장

종합: 톰 데이비드슨이 바라보는 AI 발전의 다음 단계

이번 인터뷰에서 가장 중요한 변화는 AI가 단순히 인간 연구를 보조하는 수준에서 AI 연구 시스템 자체를 개선하는 단계로 진입할 가능성입니다.

이를 인터뷰의 논리에 맞춰 정리하면 다음과 같습니다.

제가 보기에 이 인터뷰에서 특히 주목할 부분은 AI가 인간 연구자를 능가하는 시점보다, AI가 연구 생산성을 개선하는 속도 자체가 빨라지는 시점이 더 중요하다는 논리입니다.

톰은 AI가 연구를 자동화하면 발전이 가속될 것으로 예상하지만, 그것이 곧바로 지능폭발을 입증한다고 주장하지는 않습니다. 오히려 내부 연구 생산성 데이터를 통해 FOOM과 Fizzle을 구분해야 한다고 강조합니다.

또한 TasteVal의 향상이나 미공개 연구에 대한 언급은 인터뷰에서 제시된 주장이지, 모든 최첨단 AI 연구가 이미 자동화되었다는 검증된 증거는 아닙니다.

결국 인터뷰의 핵심 질문은 이것입니다.

“AI가 더 똑똑해질수록 다음 세대 AI를 개발하는 데 필요한 연구 시간이 계속 단축될 것인가? 그리고 그 가속이 새로운 하드웨어 없이도 지속될 수 있는가?”

톰 데이비드슨은 이 질문에 대한 답이 앞으로 몇 년간 AI 발전의 궤적을 결정할 수 있다고 보고 있습니다.