소라팀 "Sora 속 ‘디지털 복제체’가 서로 상호작용하며 사회를 이루는 ‘작은 대체 현실’로 진화할 것"

작성자

작성일

2025-11-05 20:00

조회

462

앞으로 Sora의 방향은?

Bill:
“펫 기능”이 가장 요청이 많아요. (웃음)
하지만 그 너머로, Sora 속 ‘디지털 복제체’가 서로 상호작용하며 사회를 이루는
‘작은 대체 현실’로 진화할 것입니다.
이는 단순한 앱이 아니라 인류의 디지털 멀티버스 실험이 될 겁니다.

Sora의 이론적 한계는 있나요?

Bill:
언젠가 Sora가 GPU 클러스터조차 시뮬레이션할 수 있을까요?
그건 아직 미지수입니다.
하지만 분명히 말할 수 있는 건 — 우리가 ‘세계 시뮬레이터’를 향해 가고 있다는 것입니다.

OpenAI Sora 2 팀 인터뷰 Q&A 정리

팀 소개

Q: Sora 팀은 어떻게 구성되어 있나요?

A:

Bill Peebles: Sora 팀 리더. 버클리에서 비디오 생성 연구를 하다가 OpenAI에 합류해 첫날부터 Sora 작업을 시작했습니다.
Thomas Dimpson: 엔지니어링 리드. Instagram에서 7년간 초기 머신러닝 추천 시스템을 개발했고, 브라우저 기반 마인크래프트 스타트업을 운영하다 OpenAI에 인수되었습니다.
Rohan Sahai: Sora 프로덕트 팀 리더. ChatGPT에서 시작해 비디오 생성 기술을 보고 Sora 팀으로 합류했습니다.

핵심 기술: Diffusion Transformer

Q: Diffusion Transformer란 무엇인가요?

A: 자동회귀 방식으로 토큰을 하나씩 생성하는 언어 모델과 달리, Diffusion Transformer는 비디오에 노이즈를 추가한 뒤 이를 단계적으로 제거하면서 전체 비디오를 동시에 생성합니다. 이 방식은 시간이 지나도 품질이 저하되지 않는다는 장점이 있어, 현재 대부분의 경쟁 비디오 모델들이 이 기술을 사용하고 있습니다.

Q: Space-time token이란?

A: 언어의 문자처럼, 비전에서는 공간(X, Y)과 시간 차원을 모두 포함하는 작은 입방체 형태의 패치가 기본 단위입니다. 이 space-time 패치들이 서로 소통하면서 물체의 지속성(object permanence) 같은 특성을 자연스럽게 구현합니다.

Sora 1에서 Sora 2로의 진화

Q: Sora 2의 가장 큰 차이점은?

A: 단순한 스케일링이 아니라 물리 법칙에 대한 근본적인 이해가 깊어졌습니다. 예를 들어 농구 슈팅 장면에서 공이 골대를 벗어나면, 이전 모델들은 억지로 공을 골대에 넣었지만, Sora 2는 물리 법칙을 따라 백보드에서 튕겨나갑니다. 모델 실패가 아니라 시뮬레이션된 에이전트의 실패를 표현하는 것입니다.

Q: Sora의 발전 단계를 GPT에 비유하면?

A:

Sora 1: GPT-1 수준 - 비디오 생성이 처음 작동하기 시작한 단계
Sora 2: GPT-3.5 수준 - 대중적 사용이 가능한 실용성 돌파 단계
미래: GPT-4 수준 - 과학 실험에 활용 가능한 수준

제품 개발 과정

Q: Sora 앱은 어떻게 만들어졌나요?

A: 7월 4일부터 약 2-3개월의 집중 개발을 거쳤습니다. 처음에는 이미지 생성에서 리믹스 체인이 인기를 끌었는데, 이를 비디오에 적용하려 했습니다. 여러 프로덕트 실험 중 카메오(Cameo) 기능이 예상 밖의 성공을 거두었습니다.

Q: 카메오 기능이란?

A: 사용자가 자신의 모습을 비디오에 넣을 수 있는 기능입니다. 내부 테스트에서 팀원들이 서로를 비디오에 태그하며 피드가 전부 카메오로 채워졌고, 이것이 제품-시장 궁합(product-market fit)의 신호였습니다. AI 생성 콘텐츠에 인간적 요소를 더해 소셜 경험을 만들어냈습니다.

데이터와 학습

Q: 물리 법칙을 학습하기 위해 데이터를 선별했나요?

A: 아니메 같은 데이터는 물리 법칙을 완벽히 따르지 않지만, 사람들이 좋아하고 기본적인 운동 원리는 담고 있어 포함시켰습니다. 비디오 데이터의 지능 밀도는 텍스트보다 낮지만, 총량이 압도적으로 많아 당분간 데이터 고갈 걱정은 없습니다.

Q: 비디오만으로 충분한가요?

A: 농구 경기 같은 경우 비디오(+오디오)만으로도 충분하지만, 용도에 따라 다릅니다. 더 많은 모달리티를 추가하면 지능이 감소하진 않겠지만, 비디오와 오디오의 완전한 숙달만으로도 충분할 수 있습니다.

World Simulator로서의 Sora

Q: 새로운 물리 법칙을 발견할 수 있을까요?

A: 언젠가는 가능할 것입니다. 예를 들어 완벽한 시뮬레이터가 있다면 실험실 없이 Sora 안에서 생물학적 실험을 할 수 있을 것입니다. 하지만 과학 실험에 활용하려면 최소한 한 번 더 큰 도약이 필요합니다.

Q: 물리적 구현(embodiment)이 필요한가요?

A: 컴퓨팅 파워를 10배 늘릴 때마다 놀라운 것들이 저절로 나타납니다. 물리적 에이전시가 도움이 되겠지만, 비디오만으로도 범용 세계 시뮬레이터를 만드는 것이 AGI 수준의 과제일 수 있습니다.

사용 사례와 미래

Q: 어떤 사용자들이 주로 사용하나요?

A: 예상보다 훨씬 다양합니다. AI 기술 커뮤니티뿐 아니라 일반 대중이 동기부여, 친구들과의 밈 제작, 자신을 다양한 맥락에서 시각화하는 등 폭넓게 활용하고 있습니다. 하루 약 700만 개의 비디오가 생성됩니다.

Q: 게임 개발에 사용할 수 있나요?

A: 레이턴시 문제가 있지만, 창의적인 방법으로 활용 가능합니다. Thomas는 "Infinite Craft" 같은 게임을 예로 들었는데, 요소들을 결합해 새로운 것을 발견하는 게임입니다. 전통적인 게임보다는 발견의 과정을 중심으로 한 새로운 형태의 게임이 나올 것입니다.

Q: 장편 영화 제작이 가능한가요?

A: 단계적으로 가능해질 것입니다. 이미 Sora 팀의 Daniel은 며칠 만에 혼자서 매력적인 단편을 만들었습니다. 경제성 문제(컴퓨팅 비용)를 해결하면 고등학생도 집에서 놀라운 콘텐츠를 만들 수 있을 것입니다. 다만 미래의 "장편 영화"는 지금과는 매우 다른 형태일 것입니다.

IP와 크리에이터 경제

Q: IP 보유자들과 어떻게 협력하나요?

A: 업계 관계자들과 긴밀히 협력하며 새로운 경제 구조를 만들고 있습니다. 예를 들어 좋아하는 영화 캐릭터를 카메오로 사용할 때, 사용자는 접근권을 갖고 IP 보유자는 적절한 수익을 받는 방식입니다. 이는 처음부터 만들어야 하는 영역입니다.

Q: 프로 크리에이터들도 지원하나요?

A: 물론입니다. AI는 민주화 도구이지만, 최전선의 크리에이터들에게도 계속 투자할 것입니다. 누군가 멋진 아니메 프롬프트를 만들면, 누구나 그것을 리믹스하고 배울 수 있습니다. 이렇게 인류 전체의 창의성을 높이는 것이 목표입니다.

장기 비전

Q: Sora의 궁극적인 비전은?

A: 단순한 소셜 미디어를 넘어, 사용자의 디지털 복제본이 다른 사람들의 복제본과 상호작용하는 미니 대체 현실입니다. 카메오는 사용자 정보를 Sora에 제공하는 가장 낮은 대역폭의 방법이며, 앞으로 이 대역폭은 크게 증가할 것입니다.

Q: 점진적 배포 전략의 이유는?

A: OpenAI에서는 큰 연구 돌파구가 있을 때 세상에 폭탄을 투하하는 대신, 기술과 사회가 공진화(co-evolve)하길 원합니다. Sora 2가 GPT-3.5 수준에 도달한 지금, 세상이 무엇이 가능한지 인지하고, 장기적으로 디지털 복제본들이 작업을 수행하는 미래에 대한 규칙을 함께 만들어가야 합니다.

재미있는 순간들

Q: 가장 좋아하는 카메오는?

A:

Thomas: 중국 공장 투어 트렌드를 Sora로 재현한 것. 칠리 공장에서 리본 커팅하는 자신의 모습
Rohan: Mark Cuban이 반바지 입고 춤추는 것, 그리고 친구들과 만든 소소한 콘텐츠들
팀 내부: Bill의 개 Rocket, Thomas의 "걸어다니는 시계" (30년 된 심슨 에피소드에서 영감)

Q: AI로 만든 작품이 가장 먼저 수상할 분야는?

A: 단편 영화로 오스카상을 받을 가능성이 가장 높습니다. 역사 속 영웅담과 투쟁의 이야기들이 비용 문제로 묻혀 있었는데, AI가 이를 해방시킬 것입니다.

Q: 우리가 시뮬레이션 속에 살고 있을 확률은?

A:

Bill: 60% (과반 이상)
Thomas: 60% 정도
Rohan: 거의 0% ("가끔은 현실이어야 해요")