https://marginalrevolution.com/marginalrevolution/2024/06/nat-friedman-discusses-sora-and-image-wisdom.html

https://stratechery.com/2024/an-interview-with-daniel-gross-and-nat-friedman-about-apple-and-ai

NF: 네, 어제, 그 전날 한 행사 무대에서 소라 크리에이터들을 인터뷰했는데 그들의 관점을 듣는 게 정말 흥미로웠어요. 내 생각에 우리는 소라를 미디어 제작 도구로 보고 있는데, 그것은 그들의 관점이 아니라 부작용입니다. 그들의 견해는 이것이 세계 시뮬레이터이며 실제로 "Ben, Daniel, Nat과 함께 비디오를 만들고 이에 대해 토론하도록 합시다. ” 그런 다음 대화가 어디로 가는지 확인하세요. 그리고 그들의 견해는 오늘날 Sora가 GPT-1 규모이고 데이터도 많지 않고 컴퓨팅도 많지 않기 때문에 단순히 규모를 확장하면 미래에 절대적으로 극적인 개선을 기대해야 한다는 것입니다. 인터넷에 있는 텍스트 데이터보다 비디오 데이터가 훨씬 더 많습니다…

 

그리고 안드레이 카르파티(Andrej Karpathy), 저번에도 그와 얘기를 했었는데, 그가 말하더군요, "뭔가 이상한 일이 벌어지고 있어요-"

 

[Ben Thompson] 그런데 그림 한 장은 천 마디 말보다 가치가 있습니다. 따라서 거기에 있는 토큰의 수는 천문학적으로 더 많습니다.

 

NF: 그는 세계 모델과 이미지 및 비디오 모델이 실제로 텍스트 모델보다 더 나을 수 있다는 아이디어를 탐구하고 있었습니다. 자동차 엔진을 요청하고, 기화기를 고치는 사람과 거기에 있을 수 있는 세부 사항의 수준은 대단합니다. 어쩌면 우리는 Common Crawl에서 추출한 텍스트와 대신 수행해야 할 작업을 교육하여 실수를 했을 수도 있습니다. 나는 그에게 가장 엉뚱한 연구 아이디어를 물었다. 그는 대신 우리가 해야 할 일은 웹 페이지 사진을 훈련하는 것이며, 모델에 질문을 하면 답변이 포함된 웹 페이지 사진을 출력하고 아마도 그로부터 훨씬 더 많은 지능과 더 나은 결과를 얻을 수 있을 것이라고 말했습니다.