나는 몇 가지 반대 의견을 봅니다. "Sora는 물리학을 배우는 것이 아니라 단지 2D에서 픽셀을 조작하는 것뿐입니다."

나는 이러한 환원주의적 견해에 정중히 동의하지 않습니다. "GPT-4는 코딩을 배우지 않고 단지 문자열을 샘플링하는 것뿐입니다"라고 말하는 것과 유사합니다. 변환기가 하는 일은 단지 일련의 정수(토큰 ID)를 조작하는 것뿐입니다. 신경망이 하는 일은 단지 부동 숫자를 조작하는 것뿐입니다. 그것은 올바른 주장이 아닙니다.

Sora의 소프트 물리 시뮬레이션은 text2video 교육을 대규모로 확장할 때 *긴급 속성*입니다.

- GPT-4는 실행 가능한 Python 코드를 생성하기 위해 내부적으로 구문, 의미, 데이터 구조의 일부 형태를 학습해야 합니다. GPT-4는 Python 구문 트리를 명시적으로 저장하지 않습니다.
- 마찬가지로 Sora는 비디오 픽셀을 최대한 정확하게 모델링하기 위해 텍스트를 3D로, 3D 변환, 광선 추적 렌더링 및 물리적 규칙의 *암시적* 형태를 배워야 합니다. 목표를 달성하려면 게임 엔진의 개념을 배워야 합니다.
- 상호 작용을 고려하지 않는다면 UE5는 비디오 픽셀을 생성하는 (매우 정교한) 프로세스입니다. Sora는 비디오 픽셀을 생성하는 프로세스이기도 하지만 엔드투엔드 변환기를 기반으로 합니다. 그들은 동일한 추상화 수준에 있습니다.
- 차이점은 UE5는 수작업으로 제작되고 정확하지만 Sora는 순전히 데이터를 통해 학습되고 "직관적"이라는 것입니다.

Sora가 게임 엔진 개발자를 대체하게 될까요? 절대적으로하지. 그것의 창발적 물리학 이해는 취약하고 완벽함과는 거리가 멀다. 그것은 여전히 ​​우리의 육체적 상식과 양립할 수 없는 것들을 심하게 환각시킵니다. 아직 개체 상호 작용을 잘 파악하지 못했습니다. 아래 비디오에서 기이한 실수를 참조하세요.

Sora는 GPT-3의 순간입니다. 2020년에 GPT-3은 즉각적인 엔지니어링과 베이비시팅이 많이 필요한 매우 나쁜 모델이었습니다. 그러나 이는 창발적 속성으로서 맥락 내 학습을 보여주는 최초의 설득력 있는 시연이었습니다.

GPT-3의 불완전성에 집착하지 마세요. 가까운 미래에 GPT-4에 대한 추정을 생각해 보십시오.

Nando: @DrJimFan에 동의합니다.

중도에 펼쳐지는 구조를 지닌 삶은 무질서가 증가하는 우주에서 질서를 창조하는 것입니다. 쉬운 소개를 보려면 https://newscientist.com/article/2323820-is-life-the-result-of-the-laws-of-entropy/ 참조하세요. 세포와 마찬가지로 훈련 중 신경망은 장애를 최소화하기 위해, 즉 더 나은 예측과 일반화를 위해 에너지를 사용합니다. 실제로 우리는 손실을 음의 엔트로피라고 부르기도 합니다. 생명과 마찬가지로 인터넷은 데이터와 피드백을 제공하는 더 큰 환경의 일부입니다. 생명과 마찬가지로 이 과정은 우주에 많은 혼란을 가져옵니다(TPU 및 GPU 열). 요약하자면, 우리는 물리학에 대한 이해를 포함하여 지능(생명의 창발적 특성)을 위한 모든 요소를 ​​갖추고 있습니다. 누군가가 이 주장을 좀 더 명확하게 설명해준다면 감사하겠습니다.

*유한한 크기*의 신경망이 어떤 상황에서든 무슨 일이 일어날지 예측할 수 있는 유일한 방법은 직관적인 물리학 법칙을 포함하여 그러한 예측을 용이하게 하는 내부 모델을 학습하는 것입니다.

이러한 직관을 고려할 때 @DrJimFan 에 동의하지 않는 것을 정당화할 이유를 찾을 수 없습니다.

고품질의 더 많은 데이터, 전기, 피드백(미세 조정, 접지라고도 함) 및 데이터를 효율적으로 흡수하여 엔트로피를 줄일 수 있는 병렬 신경망 모델을 통해 우리는 인간보다 물리학을 더 잘 추론하는 기계를 갖게 될 것이며 희망적으로 우리에게 새로운 것을 가르쳐 줄 것입니다. 것들.

덧붙여서, 우리는 신경망 환경이기도 하며 질서를 생성하기 위해 에너지를 소비합니다(예: 신경망 훈련을 위한 데이터 세트의 품질 향상).

이는 특히 볼츠만(Boltzmann)과 슈뢰딩거(Schrodinger)로 거슬러 올라가는 오래된 아이디어입니다. 그들은 이론적 기초를 제공합니다. 이제는 코드를 작성하고 실험을 수행하며 *책임감 있게* 그리고 *안전하게* 수행하는 것이 매우 강력한 기술이기 때문에 중요합니다.