Special thanks to @GoogleDeepMind for inviting me to try out Genie 3. I'm excited to share my thoughts on this early research prototype and also some of my live recordings below:

 

I spent the whole day playing with the system and when it works, it is truly mind blowing🤯. It is the first neural game engine / world model I have tried that generalizes so well and has long term world consistency. Here’s a couple of examples from my live recording and some thoughts on what it means for the future of gaming, robotics, digital experiences and ASI.

 

Where it shines:

- Truly general-purpose and quick startup time. Works exceptionally well for gaming environments but also generalizes to other industrial and real-world scenarios.

- It learns physics. Although there are systematic failures even for rigid body physics, it was clear to me that it can learn game engine and non-rigid physics without an underlying engine (and in limit learn from game engines via training data).

- It works exceptionally well for stylized environments with characters walking around. This will have implications for concept artists, level designers and game devs.

- It is way more fun than video models, indicating that there are high retention consumer experiences waiting to be built with this in the future

- Photorealistic walk throughs and drone shots work exceptionally well

- Global illumination and lighting works surprisingly well

- Visual memory is quite powerful and the same objects approximately remain coherent under occlusion and longer time horizons

 

Open Problems:

- Physics is still hard and there are obvious failure cases when I tried the classical intuitive physics experiments from psychology (tower of blocks).

- Social and multi-agent interactions are tricky to handle. 1vs1 combat games do not work

- Long instruction following and simple combinatorial game logic fails (e.g. collect some points / keys etc, go to the door, unlock and so on)

- Action space is limited

- It is far from being a real game engines and has a long way to go but this is a clear glimpse into the future.

 

The Future:

- It is impressive enough for me to have strong conviction that this is going to disrupt the gaming industry. It is super early days and there are a lot of failures but the writing is on the wall. Lots of challenging scientific, engineering and scaling problems to be solved but it is going to happen in the next 5 years.

- This is the final piece before we get full AGI and now I think we are well on our way to truly solve it once something like this is scaled up. In many ways it is more ASI than AGI but this is a matter of definitions. The fidelity and generalizability will reach human-level and quickly surpass humans

- People are going to combine this with 3D AI and LLMs to build AAA games.

 

@GoogleDeepMind 가 초대해 준 덕분에 Genie 3를 직접 체험해 볼 수 있었습니다. 이 초기 연구 프로토타입에 대한 제 생각과 라이브 녹화 일부를 공유합니다.

하루 종일 시스템을 만져 보니, 제대로 작동할 때는 정말로 충격적이었습니다🤯. 제가 써 본 모델 중 처음으로 이렇게까지 잘 일반화되고 장기적 세계 일관성을 유지하는 ‘뉴럴 게임 엔진 / 월드 모델’이었습니다. 아래는 라이브 녹화에서 뽑은 몇 가지 사례와, 이것이 게이밍·로보틱스·디지털 경험·ASI(초지능)에 어떤 의미를 갖는지에 대한 제 의견입니다.

뛰어난 점

• 진정한 범용성과 빠른 시작 게임 환경에 탁월할 뿐 아니라 산업·현실 시나리오에도 잘 일반화됩니다.
• 물리 학습 능력 강체 물리에서도 체계적 오류가 있긴 하지만, 게임 엔진이 없어도(또는 한계적으로 게임 엔진을 학습 데이터로 삼아) 게임·비강체 물리를 학습할 수 있음이 분명했습니다.
• 스타일화된 환경에 강함 캐릭터가 돌아다니는 스타일리시한 환경에서 특히 뛰어나며, 이는 컨셉 아티스트·레벨 디자이너·게임 개발자에게 큰 변화를 예고합니다.
• 영상 모델보다 훨씬 재미있음 높은 사용자 유지율을 가진 소비자 경험이 앞으로 등장할 것이라 확신합니다.
• 사실적인 워크스루와 드론 샷에 탁월
• 전역 조명(글로벌 일루미네이션)과 라이팅이 놀랍도록 자연스러움
• 강력한 시각적 기억 동일한 객체가 가려졌다가 다시 나타나도 비교적 일관성을 유지합니다.

열린 과제

• 물리는 여전히 난제 고전적 직관 물리 실험(블록 쌓기 등)에서는 명백한 실패 사례가 드러났습니다.
• 사회적·다중 에이전트 상호작용 1대1 대전 게임(Combat)처럼 상호작용이 복잡한 경우 작동이 어렵습니다.
• 길고 복잡한 지시 및 단순 조합적 게임 로직 실패 예: 포인트나 열쇠를 모아 문을 열기 등.
• 제한된 액션 스페이스
• 진짜 게임 엔진과는 아직 거리가 멂 갈 길이 멀지만, 미래를 엿볼 수 있는 분명한 단서입니다.

미래 전망

• 게임 산업의 지각변동 아직 초창기이고 실패도 많지만, 5년 안에 실현될 것이라는 강한 확신이 들었습니다. 과학·엔지니어링·스케일링 측면에서 도전 과제가 많습니다.
• AGI 직전의 마지막 퍼즐 조각 이런 시스템이 확장되면 인간 수준을 넘는 ASI(초지능)로 빠르게 진화할 것으로 보입니다. AGI냐 ASI냐는 정의 문제일 뿐, 정확도와 일반화 능력이 인간 수준에 도달하고 곧 추월할 것입니다.
• 3D AI와 LLM을 결합한 AAA 게임 등장 사람들이 이 기술을 결합해 차세대 블록버스터 게임을 만들 것입니다.