https://arxiv.org/abs/2608.25924

이 논문의 핵심 질문은 “AI가 글을 읽으며 지능을 얻었듯이, 세상을 보고 경험하는 것만으로도 범용지능을 얻을 수 있을까?”예요.

제목은 《Visual General Intelligence: A White Paper》, 한국어로는 《시각 범용지능: 백서》입니다. 새로운 모델의 성능을 발표하는 실험 논문이라기보다, 여러 연구자가 시각을 통한 AGI 개발 방향과 해결해야 할 문제를 논의한 글이에요. 연구자들의 의견이 모두 같지는 않다는 점이 중요합니다.

1. ‘시각 범용지능’이란 무엇인가?

사진에서 고양이를 알아보는 능력보다 훨씬 넓은 개념이에요. 시각 경험으로 세상의 구조를 배우고, 그 지식을 처음 마주하는 상황에도 활용하는 능력입니다.

컵이 놓인 책상을 예로 들면 다음처럼 구분할 수 있어요. 아래는 이해를 돕기 위한 예시입니다.

능력	AI가 이해하거나 수행하는 것
인식	“책상 위에 컵이 있다.”
공간 이해	“컵 손잡이는 뒤쪽에 있고, 일부가 가려져 있다.”
물리적 예측	“책상을 기울이면 컵이 미끄러질 수 있다.”
상상·계획	“컵을 옮기는 여러 방법 중 이 경로가 안전하다.”
능동적 관찰	“안 보이는 부분을 확인하려면 옆으로 이동해야 한다.”
경험을 통한 학습	“실제로 들어 보니 예상보다 무겁다. 다음 행동에 반영하자.”

논문이 지향하는 것은 이 능력들을 하나의 시스템이 연결해서 사용하는 것이에요.

언어를 배제하자는 주장은 아닙니다. 다만 시각을 ‘언어 모델에 사진을 넣어 주는 통로’ 정도로만 취급하지 말고, 세계에 관한 지식을 직접 얻는 기반으로 보자는 것이죠.

2. 가장 낙관적인 주장: 영상 생성 모델이 ‘시각 분야의 GPT’가 될 수 있다

Robert Geirhos는 대규모 영상 생성 모델이 다양한 시각 작업을 수행하는 범용 기반 모델로 발전할 수 있다고 봅니다.

논리는 이렇습니다.

단순히 사진을 분류하는 모델은 편법을 배울 수 있어요. 소의 몸을 제대로 이해하지 않고, 배경에 풀이 많으면 ‘소’라고 답하는 식입니다.

하지만 소가 움직이는 영상을 생성하려면 더 많은 것을 맞춰야 해요. 몸의 형태, 배경, 조명, 그림자, 움직임 등이 서로 어울려야 하죠. 생성이라는 어려운 과제를 학습하는 과정에서 폭넓은 시각 지식을 얻을 수 있다는 주장입니다.

백서는 선행 연구를 근거로, Veo 3 같은 영상 모델이 작업별 추가 훈련 없이 다음과 같은 능력을 보였다고 소개합니다.

• 사물의 경계 찾기와 영역 구분
• 주요 지점 찾기와 해상도 개선
• 이미지 편집과 스타일 변환
• 미로 풀기와 그래프 탐색 같은 초기 시각 추론

흥미로운 점은 영상을 만들도록 학습했는데, 별도로 가르치지 않은 시각 작업에도 능력을 보였다는 것입니다.

다만 이것은 백서가 인용한 기존 연구의 사례이고, 모든 작업에서 안정적인 범용 성능이 입증됐다는 뜻은 아니에요.

3. 핵심 반론: ‘그럴듯한 영상’과 ‘물리적 이해’는 다르다

Shangzhe Wu와 Jiajun Wu는 이 차이를 강조합니다.

컵이 떨어지는 영상을 그럴듯하게 만들었다고 해서, 질량·마찰·접촉 같은 물리적 요소를 이해했다고 바로 결론 내릴 수는 없다.

낙하 장면을 많이 보고 그 외형을 잘 재현하는 것과, 조건이 바뀌었을 때 결과가 어떻게 달라지는지 이해하는 것은 구분해야 한다는 뜻이에요.

예를 들어 다음 질문에도 일관되게 대응할 수 있어야 합니다.

• 책상의 기울기가 달라지면?
• 표면의 마찰이 더 커지면?
• 컵의 형태나 재질이 바뀌면?
• 다른 물체가 컵을 받치고 있다면?

그래서 이들은 세계를 구성하는 요소를 파악하는 것이 중요하다고 봅니다.

파악할 요소	쉬운 설명
물체와 부품	무엇이 있고, 어떤 부분들로 구성되는가
고유한 성질	형태, 재질, 질량, 마찰, 관절 구조 등
외부 조건	물체의 자세, 조명, 카메라 위치 등
관계	무엇이 무엇을 받치고, 연결하고, 담고 있는가
변화 법칙	힘을 가하거나 움직이면 어떻게 달라지는가

이런 구조가 있어야 관찰한 장면을 수정하고, 시뮬레이션하고, 실제 행동에 활용할 수 있다는 것이죠.

논문은 이러한 구조가 영상 모델을 충분히 키우면 저절로 생길지, 구조를 직접 학습하는 방법이 필요할지는 아직 열린 문제로 남겨 둡니다.

4. 진짜 지능이라면 계속 보고, 기억하고, 배워야 한다

Yuki M. Asano는 한 번 대규모로 훈련한 뒤 사실상 고정되는 방식에 문제를 제기합니다.

그가 생각하는 시각 범용지능은 살아가는 동안 시각 경험을 쌓으며 계속 발전하는 시스템이에요. 새로운 것을 배우면서도 과거의 유용한 지식을 유지해야 합니다.

여기서 필요한 요소는 크게 네 가지입니다.

• 지각: 지금 무엇을 보고 있는지 파악하기
• 세계 모델: 공간과 물체의 움직임을 이해하기
• 기억: 과거에 본 것과 현재 관찰을 연결하기
• 행동 연결: 배운 것을 로봇이나 도구의 행동에 활용하기

예를 들어 집 안을 돌아다니는 AI라면, 거실을 떠났다가 돌아왔을 때 가구 배치가 이어져야 해요. 사람이 의자를 옮겼다면 그 변화도 반영해야 하고요.

여기에는 서로 다른 과제가 들어 있습니다. 정보를 기억하는 것과 새 경험을 통해 학습 방식이나 모델 자체를 개선하는 것을 모두 해결해야 합니다.

5. 보기만 하는 것보다 직접 움직여 보면 더 많이 알 수 있다

Yilun Du는 로봇의 행동을 단순한 결과물이 아니라 새로운 지식을 얻는 방법으로 봅니다.

닫힌 상자를 보는 것만으로는 무게나 여는 방식을 알기 어려워요. 하지만 들어 보고, 밀어 보고, 열어 보면 불확실성이 줄어듭니다.

이 관점에서 학습은 다음 과정의 반복입니다.

1. 관찰을 바탕으로 상황을 이해한다.
2. 행동했을 때의 결과를 예상한다.
3. 직접 행동한다.
4. 실제 결과와 예측을 비교한다.
5. 틀린 부분을 수정한다.

따라서 로봇은 지시받은 일을 수행하는 동시에, 무엇을 해 봐야 자신이 모르는 것을 알 수 있는지도 판단해야 한다는 것입니다.

백서는 이런 자기 개선의 초기 사례로 SILVR와 World Action Verifier 등의 선행 연구를 소개해요. 다만 장기간 새로운 경험을 받아들이면서 기존 능력을 잊지 않는 문제는 여전히 과제로 남아 있습니다.

6. 흥미로운 제안: 코딩 AI로 물리적 세계의 모델을 만들자

논문에는 시각과 코딩 능력을 연결하는 아이디어도 나옵니다.

관찰한 물체의 구조를 실행 가능한 코드로 표현하면, 만들어 보고 검증하며 고칠 수 있다는 거예요.

예를 들어 문을 모델링한다면 문짝의 모양뿐 아니라 경첩 위치, 회전축, 열리는 범위 등을 코드로 표현할 수 있습니다. 그 모델을 실행해 움직여 보고, 실제 관찰과 비교하면서 수정하는 것이죠.

이는 코딩 에이전트가 다음 과정을 반복하는 것과 비슷합니다.

코드를 작성한다 → 실행한다 → 오류를 확인한다 → 수정한다.

물리적 모델에서는 실행 결과를 렌더링하거나 시뮬레이션해서 실제 이미지·움직임과 비교합니다.

다만 현재 에이전트는 사람이 미리 제공한 구조와 언어 모델의 사전 지식에 상당히 의존합니다. 그런 도움 없이 관찰만으로 적절한 구조를 발견할 수 있는가가 중요한 미해결 문제예요.

7. 컴퓨팅이 1,000배~10,000배 더 필요할 수 있다는 부분

Zhuang Liu는 일부 시각 지능의 경우 언어 사전학습보다 유효한 계산량과 데이터 처리량이 몇 자릿수 더 필요할 수 있다, 특정 상황에서는 1,000배 또는 10,000배일 수도 있다고 추측합니다.

이유는 텍스트가 이미 사람이 압축하고 정리한 정보이기 때문이에요.

“사람이 방에 들어와 컵을 들었다”는 문장은 짧지만, 그 장면의 영상에는 조명, 그림자, 배경, 손가락 움직임 등 훨씬 많은 정보가 들어 있습니다. 시각 모델은 이 중 무엇을 남기고 무엇을 무시할지도 배워야 합니다.

다만 이 숫자는 실험으로 측정한 필요량이나 저자 전체의 합의가 아닙니다. 특정 연구자가 제시한 가능성입니다.

그 역시 무조건 모든 영상을 최대 해상도로 처리하자는 뜻은 아니에요. 오히려 AI가 언제 보고, 어디를 보고, 얼마나 자세히 봐야 하는지 배워야 한다고 강조합니다. 관련 없는 배경은 대략 파악하고, 행동에 중요한 부분은 세밀하게 보는 식이죠.

8. 다른 연구자들이 강조한 평가 기준

이 백서는 성능을 평가할 때도 단순한 정답률을 넘어가야 한다고 봅니다.

관점	핵심 질문
창의성	조건을 지키면서도 구조적으로 다른, 새로운 해결책을 여러 개 만들 수 있는가?
과학적 발견	정답 데이터가 부족한 상황에서도 다른 관측과 물리 지식으로 결과를 검증할 수 있는가?
공간 지능	제한된 계산량과 메모리로 주변 세계의 상태를 장기간 유지하고 갱신할 수 있는가?
다중 감각	시각뿐 아니라 촉각·소리·몸의 상태 정보를 함께 활용할 수 있는가?
효율성	실제 로봇이나 기기에서 작동할 만큼 빠르고 경제적인가?

특히 과학 분야에서는 실제 현상의 신호와 측정 장비가 만든 오류를 구분하는 능력이 중요합니다. 이미지가 그럴듯하다는 이유만으로 과학적으로 맞다고 할 수 없기 때문이에요.

9. 이 논문을 AGI 관점에서 어떻게 읽으면 될까?

논문 후반의 한 제안은 세 가지 학습을 결합하는 것입니다.

학습	AI가 답하려는 질문
예측	“다음에는 무엇이 일어날까?”
생성·상상	“어떤 다른 상황이 가능할까?”
재구성	“지금 보이는 장면 뒤에는 어떤 숨은 구조가 있을까?”

여기에 기억, 행동, 새로운 경험을 통한 학습을 연결하면 시각 경험에서 더 일반적인 지능으로 나아갈 수 있다는 가설입니다. 다만 이것도 유일한 정답으로 합의된 설계는 아닙니다.

제 해석으로는, 이 백서는 영상 생성의 발전을 ‘현실을 이해하고 행동하는 AI’와 연결해 보자는 연구 의제를 제시합니다. 동시에 영상 품질의 향상이 물리 이해·장기 기억·자율 학습의 해결을 자동으로 보장하지는 않는다고 짚어요.

따라서 2027년 AGI를 입증하거나 반박하는 자료로 쓰기는 어렵습니다. 구체적인 달성 연도나 계산량 임계점을 검증한 연구가 아니기 때문입니다. 이 글의 가치는 AGI를 논할 때 언어 능력 외에 무엇을 확인해야 하는지—공간 이해, 기억, 능동적 관찰, 행동, 지속 학습—를 구체적으로 보여 준다는 데 있습니다.