로한 아닐 인터뷰 정리: “2027년에는 실시간으로 학습하는 AI 모델을 만들 수 있을 것이다”

출처: MTS 인터뷰 | 약 20분

이번 인터뷰는 전 앤트로픽 연구원이자 Core Automation 공동 창업자인 로한 아닐(Rohan Anil)이 출연해 AI의 다음 기술적 돌파구인 지속학습(Continual Learning), 분산 컴퓨팅, AGI의 병목, 데이터센터 제약을 설명한 내용입니다.

인터뷰에서 가장 중요한 발언은 다음과 같습니다.

“우리는 추론 시점에 학습하는 알고리즘을 설계하고 있습니다. 최선을 다할 것이고, 내년에는 해낼 수 있다고 생각합니다.”

1. 앤트로픽을 떠나 창업한 이유 (00:44~01:52)

진행자: 앤트로픽을 떠나 Core Automation을 창업하셨습니다. 앤트로픽은 사람들이 좀처럼 떠나지 않는 회사로 알려져 있는데, 왜 떠나셨나요?

로한 아닐:

앤트로픽은 AI 연구를 수행하기에 최고의 장소 중 하나입니다. 제가 일했던 사전학습 팀도 정말 좋아했습니다.

하지만 사람마다 인생에서 추구하는 목표는 다릅니다. 저는 AI의 다음 기술적 개척지에 집중하고 싶었습니다.

지금까지는 모델을 크게 확장하면서 에이전트를 비롯한 놀라운 기능을 얻었습니다.

그런데 생각해 보면 우리는 여전히 출근하고, 일을 하고, AI를 사용하면서도 이전보다 더 열심히 일하는 경우가 많습니다.

그렇다면 무엇이 빠져 있을까요?

저는 그것이 '추론 시점에 학습하는 능력(Test-time Learning)'이라고 생각합니다.

AI가 실제로 작업을 수행하는 도중 새로운 것을 배우고, 자신의 실수로부터 개선되는 능력입니다.

우리는 Core Automation에서 바로 그 문제를 해결하려고 합니다.

2. 여러 데이터센터의 GPU를 하나처럼 사용하는 기술 (01:52~06:33)

진행자: 최근 작성하신 Hitchhiker's Guide to Training on Compute Islands라는 글이 화제입니다. 컴퓨트 아일랜드(Compute Islands)가 무엇인가요?

로한 아닐:

현재 최첨단 AI 모델을 학습하려면 엄청난 컴퓨팅 자원이 필요합니다.

문제는 단순히 GPU를 구매할 자금이 충분한지가 아닙니다.

GPU를 같은 장소에 배치해야 하고, 데이터센터가 필요하며, 막대한 전력과 물리적 인프라도 확보해야 합니다.

이 때문에 GPU를 수천 개씩 확보할 수 있더라도 수만 개를 한 장소에서 확보하는 것은 훨씬 어렵습니다.

그런데 다른 접근법이 있습니다.

서로 다른 장소에 흩어져 있는 GPU들을 하나의 거대한 학습 시스템처럼 활용할 수 있다면 어떨까요?

우리는 서로 다른 데이터센터에 있는 GPU들을 활용하는 학습 방법을 연구했습니다.

실험에서는 서로 다른 NVLink 구성과 병렬화 방식을 사용하는 NVIDIA Grace Blackwell 및 Blackwell 시스템을 이용했습니다.

그리고 놀라운 결과를 얻었습니다.

분산된 시스템으로 학습했는데도 기존의 긴밀하게 연결된 시스템과 비슷하거나 약간 더 좋은 성능을 얻을 수 있었습니다.

진행자: 그렇다면 일반 사람들이 가진 컴퓨터를 연결해 최첨단 AI를 학습하는 것도 가능할까요?

로한 아닐:

이론적으로 연구할 수 있는 분야이고, 실제로 그런 목표를 추구하는 연구자들도 있습니다.

하지만 지금은 CPU나 일반 컴퓨터에서 프론티어 모델을 효율적으로 학습하기 어렵습니다.

메모리, 통신 지연, 계산 성능 등의 병목이 존재하기 때문입니다.

우리 연구는 그것까지 해결한 것은 아닙니다.

우리가 해결하려는 문제는 수천 개의 고성능 GPU를 가진 데이터센터 10곳이 있다면, 이 자원들을 연결해 프론티어급 모델을 학습할 수 있느냐는 것입니다.

현재 결과는 알고리즘을 개선하면 충분히 가능하다는 것을 보여줍니다.

진행자: 그러면 신생 AI 연구소도 OpenAI나 앤트로픽 같은 프론티어 연구소와 경쟁하기 쉬워지는 걸까요?

로한 아닐:

그럴 가능성이 있습니다.

최첨단 AI 경쟁에서는 가장 앞선 두세 개 모델의 가치가 매우 큽니다.

이 기술을 활용하면 필요한 컴퓨팅 자원을 빠르게 확보할 수 있는 연구소들이 경쟁에 참여할 기회가 늘어납니다.

특히 반도체 설계 같은 특정 산업에 특화된 AI 기업에도 유용할 수 있습니다.

다만 우리 회사의 핵심 목표는 기존 사전학습 경쟁을 반복하는 것이 아닙니다.

우리는 지속학습처럼 새로운 차원의 AI 능력을 가능하게 하는 알고리즘에 집중하고 있습니다.

3. 지속학습을 위해 트랜스포머 자체를 바꾸고 있다 (06:33~07:23)

진행자: 지속학습은 기존 AI 모델과 하드웨어 활용 방식이 어떻게 달라지나요?

로한 아닐:

아직 연구 진행 상황을 자세히 공개하기에는 이릅니다.

하지만 분명하게 말씀드릴 수 있는 것은 우리가 테스트 시점에 작동하는 학습 알고리즘을 설계하고 있다는 것입니다.

이것은 기존 모델에 새로운 기능 하나를 추가하는 수준이 아닙니다.

우리는 모델의 아키텍처와 학습 알고리즘을 동시에 변경하고 있습니다.

공동 창업자인 제리 트워렉이 표현하는 것처럼, 트랜스포머에 존재하는 병목을 제거하려는 것입니다.

그리고 이 연구는 컴퓨팅 효율성 향상과도 연결됩니다.

4. AI가 반도체까지 직접 설계하는 시대 (07:45~09:24)

진행자: OpenAI와 앤트로픽도 자체 AI 반도체 설계에 관심을 보이고 있습니다. 앞으로 모든 AI 연구소가 자체 칩을 만들게 될까요?

로한 아닐:

우리 회사에서 자주 하는 말이 있습니다.

“모든 것은 결국 스케일의 문제다.”

충분한 인재를 확보하고 하드웨어부터 소프트웨어까지 통합적으로 연구할 수 있다면, 그런 방향으로 발전하는 것은 자연스럽다고 생각합니다.

이미 AI 모델은 더 나은 AI 모델을 개발하는 과정에도 활용되고 있습니다.

4년 전과 비교하면 모델을 개발하는 방식 자체가 크게 달라졌습니다.

이제는 더 적은 인력과 주어진 컴퓨팅 자원을 활용해 훨씬 많은 일을 할 수 있습니다.

따라서 특정 분야에 특화된 프론티어 모델을 개발하는 연구소가 늘어날 수 있습니다.

물론 반도체 설계는 여전히 어렵습니다. 칩을 설계하고 제조하는 전 과정에 대한 전문성이 필요하기 때문입니다.

하지만 분산 컴퓨팅처럼 기존의 제약을 완화하는 기술들이 등장하면서 가능한 선택지도 늘어나고 있습니다.

5. GPU들이 완전히 동기화되지 않아도 학습할 수 있다 (09:24~11:42)

진행자: 연구에서 언급하신 버터플라이 믹싱(Butterfly Mixing)은 무엇인가요?

로한 아닐:

기존의 대규모 AI 학습에서는 여러 GPU가 계산한 기울기(Gradient)를 모아 공유하는 과정이 중요합니다.

일반적으로 GPU들 사이에서 정보를 동기화하는 작업이 필요합니다.

하지만 우리는 조금 다른 방법을 연구했습니다.

각 GPU가 서로 다른 정보 조각을 가지고 독립적으로 작업하게 하고, 여러 단계에 걸쳐 정보를 교환하는 것입니다.

그러면 GPU들이 매 순간 완벽히 동일한 정보를 가지고 있지 않아도 됩니다.

실험에서는 320억 파라미터 규모의 MoE 트랜스포머 모델을 사용했습니다.

결과적으로 모델은 이러한 비동기적 정보 교환에서 발생하는 일종의 잡음에도 견디면서 학습할 수 있었습니다.

저는 과거 구글에서 CPU를 이용해 비동기 신경망 학습을 연구한 경험이 있습니다.

그 이후 동기식 학습이 대세가 되었고 GPT-3, GPT-4, Gemini 등으로 확장됐습니다.

그런데 이제 다시 적절한 알고리즘과 최적화 기법을 이용하면 비동기 학습의 장점을 활용할 수 있다는 사실을 확인하고 있습니다.

핵심은 여러 데이터센터가 항상 완벽히 동기화될 필요 없이 대규모 학습에 참여할 수 있다는 것입니다.

6. 우주 데이터센터에서 AI 학습이 가능할까? (11:42~13:28)

진행자: 앞으로 몇 년 안에 우주에서 프론티어 AI 모델을 학습해야 하는 상황이 올 수도 있습니다. 실제로 가능할까요?

로한 아닐:

저는 위성을 제작하는 전문가도 아니고, 우주 환경의 열역학적 문제를 충분히 이해하는 사람도 아닙니다.

하지만 흥미로운 초기 사례들이 있습니다.

구글의 우주 컴퓨팅 연구와 위성을 이용한 소규모 AI 학습 실험 같은 사례들입니다.

이러한 시도는 아직 매우 초기 단계입니다.

그러나 물리학과 공학적 현실이 허용한다면 알고리즘 측면에서는 가능성이 있다고 생각합니다.

우리가 발표한 연구는 서로 떨어진 컴퓨팅 시스템들 사이에서도 대규모 AI 학습을 수행할 수 있다는 점을 보여줍니다.

따라서 우주에서 AI 학습을 구현하려면 이제 훨씬 더 어려운 물리적 제약들을 해결해야 합니다.

이것이 가까운 미래에 실현될지, 우리 자녀 세대에 실현될지는 모르겠습니다.

하지만 충분히 연구할 가치가 있는 방향이라고 생각합니다.

7. 분산 컴퓨팅은 GPU 시장의 비효율성을 줄일 수 있다 (13:28~15:43)

진행자: 현재 GPU 컴퓨팅 시장에는 단기적으로 활용되지 않는 GPU 자원도 존재합니다. 앞으로 컴퓨팅 시장은 어떻게 변화할까요?

로한 아닐:

현재 컴퓨팅 시장이 아주 효율적으로 작동하고 있다고 생각하지는 않습니다.

예를 들어 수만 개의 Grace Blackwell GPU를 한꺼번에 확보하는 것은 매우 어렵지만, 수백 개나 수천 개 단위로 확보하는 일은 상대적으로 쉽습니다.

여러 곳에 GPU가 흩어져 있기 때문입니다.

현재는 이런 분산된 GPU 자원을 활용하는 데 제약이 있습니다.

하지만 우리가 개발하는 기술을 이용하면 상황이 달라질 수 있습니다.

가령 저에게 Blackwell GPU 1만 개를 한 장소에서 제공한다면 당연히 사용하고 싶을 것입니다.

반면 동일한 GPU 1만 개가 서로 떨어진 여러 컴퓨트 아일랜드에 나뉘어 있다면 기존 방식으로는 학습하기 어렵습니다.

그러나 새로운 학습 알고리즘을 적용하면 이러한 자원도 활용할 수 있습니다.

여러 지역에 존재하는 GPU를 묶어 프론티어급 모델 학습에 투입할 수 있는 것입니다.

이렇게 되면 원래 상대적으로 가치가 낮았던 유휴 GPU 자원이 더 가치 있는 학습 작업에 활용될 가능성이 생깁니다.

여러 기업이 컴퓨팅 자원을 모아 공동으로 큰 모델을 학습하는 형태도 가능할 것입니다.

중요한 것은 세계에 이미 존재하는 컴퓨팅 자원을 어떻게 최대한 생산적으로 활용하느냐입니다.

8. AGI의 진짜 병목은 데이터센터만이 아니다 (15:43~17:55)

진행자: 전력망, 데이터센터 부지, 전력 장비 공급, 정치적 규제 같은 문제들이 AI 컴퓨팅 확대를 방해하고 있습니다. 이런 제약들이 AGI 도달 시점에 얼마나 영향을 줄까요?

로한 아닐:

저는 현재 AI 모델들이 정말 특별한 기술이라고 생각합니다.

하지만 동시에 매우 불균일한 능력을 가지고 있다고 생각합니다.

예를 들어 어느 날에는 매우 어려운 수학이나 과학 문제를 해결하면서, 다른 날에는 아주 단순한 작업조차 제대로 수행하지 못합니다.

안드레이 카파시가 말한 이른바 '들쭉날쭉한 지능(Jagged Intelligence)'입니다.

왜 이런 문제가 발생할까요?

저는 현재 모델 아키텍처와 최적화 방식에 자신의 실수로부터 빠르게 학습하는 메커니즘이 부족하기 때문이라고 생각합니다.

현재는 모델이 특정 작업을 못 하면 연구소가 새로운 사전학습이나 강화학습을 수행하기를 기다려야 합니다.

이러한 학습 주기는 수개월씩 걸릴 수 있습니다.

그런데 AI가 실수를 할 때마다 그 경험으로부터 학습하고 개선할 수 있다면 어떨까요?

예를 들어 회사에서 사용하는 AI가 그 회사의 업무 방식이나 변화하는 환경에 맞춰 지속적으로 발전할 수 있을 것입니다.

지금은 과거 대화를 요약하거나 여러 형태의 메모리를 저장하는 방식으로 이 문제를 부분적으로 해결하고 있습니다.

하지만 그것은 근본적인 해결책이 아닙니다.

우리는 모델 자체가 지속적으로 학습하는 능력을 만들고 싶습니다.

따라서 AGI에 도달하는 데에는 데이터센터의 전력 공급이나 전력망 설비 같은 물리적 문제 외에도 알고리즘상의 병목이 존재한다고 생각합니다.

컴퓨팅 자원만 늘린다고 모든 문제가 해결되는 것은 아닙니다.

9. 지속학습 AI는 정렬과 안전성에 어떤 영향을 줄까? (17:55~19:15)

진행자: 지속학습이 가능해지면 AI 정렬(Alignment) 위험은 어떻게 달라질까요?

로한 아닐:

매우 중요하면서도 신중하게 연구해야 할 문제입니다.

AI 모델이 실제 사용 중에 새로운 것을 학습할 수 있다면 무엇을 배워야 하는지, 어떻게 학습해야 하는지, 어느 정도의 자율성을 가져야 하는지 고민해야 합니다.

분명히 새로운 위험이 나타날 수 있습니다.

현재도 AI의 사이버 보안 능력이 향상되면서 새로운 보안 문제가 발생하고 있습니다.

소프트웨어 취약점이나 AI가 만들어낸 저품질 코드 때문에 생기는 문제들을 생각할 수 있습니다.

하지만 반대 방향의 가능성도 있습니다.

지속학습 AI가 새로운 공격을 경험하면서 방어 능력을 개선할 수 있다면, 오히려 보안 시스템을 더욱 강력하게 만들 수도 있습니다.

따라서 지속학습은 새로운 위험을 가져오는 동시에 위험을 완화하는 기술이 될 가능성도 있습니다.

이 주제는 훨씬 깊이 있는 연구가 필요합니다.

10. 2027년에 지속학습 AI를 만들 수 있을까? (19:15~19:50)

진행자: 이제 인터뷰를 마무리할 시간입니다. 저는 AI가 지속적으로 학습할 수 있게 되는 날이 정말 기대됩니다.

지금은 AI가 어떤 작업을 잘하지 못하면 사용자가 직접 그 작업을 가르쳐도 모델 자체가 능력을 습득하는 데에는 한계가 있습니다.

하지만 미래에는 AI에게 새로운 작업을 가르치면 실제로 그 능력을 배울 수 있겠죠.

이런 기술이 현실이 되기를 기대하고 있습니다.

로한 아닐:

우리는 최선을 다할 것입니다.

그리고 내년에는 그것을 해낼 수 있다고 생각합니다.

진행자: 와, 상당히 대담한 전망이군요.

그렇다면 내년에 실제로 가능해지는지 지켜보겠습니다.

인터뷰 핵심 요점 5가지