다음은 @sama와 @kevinweil 사이의 대화 요약입니다.

 

"o1(그리고 그 전신들)로 2025년에는 에이전트들이 작동할 것이다."

 

AGI(인공 일반 지능)에 얼마나 가까워졌는가? 시스템을 완성한 후 그들은 "이것이 AGI가 아닌 어떤 부분이 있는가?"라고 묻곤 했다. 이 단어는 여러 의미로 사용된다. o1은 레벨 2 AGI이다.

 

과학적 발견의 속도를 높이는 것이 Sam이 AGI를 목표로 하는 북극성이다.

 

"정의가 이만큼 중요해진다는 것은 우리가 가까워지고 있다는 의미이다."

 

"우리가 AGI를 식별하는 것과 관련하여 당분간 혼란스러워 보이는 시기에 있다."

 

"만약 우리가 OpenAI보다 AI 연구에 더 뛰어난 AI 시스템을 만들 수 있다면, 그것이 진정한 이정표처럼 느껴진다."

 

목표: 안전한 AGI 구축. 그 답이 GPU의 랙이라면 그렇게 할 것이다. 그 답이 연구라면 그렇게 할 것이다.

 

"작동하는 것을 복제하는 것은 쉽다. 하지만 처음으로 새로운 것을 하기 위해서는 '새로운 패러다임을 찾아보자'는 것이 우리를 동기부여하는 것이다."

 

정렬(Alignment)에 대해: "우리는 인터넷 포럼과는 다른 정렬에 대한 접근 방식을 가지고 있다." "우리는 점점 더 안전해지는 유능한 모델을 만드는 방법을 찾고 싶다." "우리는 역량이 어디로 향하는지 파악한 다음 안전하게 만들기 위한 접근 방식을 취한다. o1은 우리의 가장 유능한 모델이며, 가장 정렬된 모델이기도 하다."

 

"반복적인 배포는 우리가 가진 최고의 안전 시스템이다."

 

"SF(공상과학)에 대해 걱정하는 것이 우리가 해야 할 가장 중요한 일 중 하나이다."

 

"내부에 아무리 많은 똑똑한 사람들이 있더라도, 벽 밖에는 훨씬 더 많은 똑똑한 사람들이 있다." - 케빈

 

에이전트는 OpenAI의 장기 계획에 어떻게 적합한가? o1 모델과 그 전신 모두가 에이전트가 실제로 작동하게 하는 요소가 될 것이다.

 

"사람들은 새로운 기술에 빨리 익숙해지지만, 이 에이전트는 큰 문제가 될 것이다."

 

"사람들은 한 달이 걸릴 일을 에이전트에게 요청하면 한 시간이 걸릴 것이다. 그런 다음 10배의 에이전트가 있고, 그런 다음 1000배의 에이전트가 있을 것이다."

 

에이전트가 컴퓨터를 제어하는 데 있어서의 차단 요소는 무엇인가? 안전성과 정렬.

 

AI가 오늘날 할 수 있지만 아직 완전히 할 수 없는 것의 경계를 파악하는 것이 핵심이다. 새로운 모델이 나올 때 당신이 선두에 설 수 있기 때문이다.

 

Sam, "기술이 회사를 만든다고 생각하는 사람들이 있는데, 사실이 아니다. 많은 실행력이 필요하다." "AI로 인해 이를 잊어버리기 쉽다."

 

"ChatGPT에게 '부탁합니다/감사합니다'라고 말하는 것은 좋은 일이다. 어떻게 될지 모르니까."

 

연말 이전에 o1은 함수 호출을 지원할 것이다. 시스템 프롬프트와 구조화된 출력도 함께 제공될 것이다.

 

"모델은 매우 빠르게 더 좋아질 것이다. 다음 단계로 가는 방법을 알고 있다." "모델이 빠르게 더 똑똑해질 것으로 예상하라."

 

"구글의 노트북은 정말 멋지다, 뭐라고 부르지?" - Sam

 

"Anthropic은 프로젝트를 잘했다." - 케빈

 

"당신이 o2보다 더 똑똑할 거라고 생각하나요? 아무도 그 내기에 참여하지 않는다."

 

추론에 가장 뛰어난 모델을 만드는 것이 회사에 큰 문제이다.

 

내부 테스트는 모델의 우수성을 측정하는 방법이다.

 

에이전트의 세계로 나아가면서, OpenAI는 가상 직원들을 시도할 것이다.

 

오프라인 모델은 언제 나오나요? - "우리는 열려있지만 현재 로드맵에서는 높은 우선순위가 아니다." Sam이 대답을 케빈에게 넘겼고, 케빈은 다시 Sam에게 넘겼다는 점이 흥미롭다.

 

오픈 소스에 대해 어떻게 생각하나요? "오픈 소스는 정말 멋지다고 생각한다. 우리가 더 많은 대역폭을 가지고 있다면, 그걸 할 것이다. 다른 것들을 우선시해야 했다." "언젠가 우리가 뭔가 (oss) 하길 바란다."

 

왜 노래를 부를 수 없나요? "저작권이 있는 노래를 부를 수 없다. 우리도 노래를 부르길 원하지만, 이를 제대로 하는 것은 미묘한 문제다. 우리도 정말로 모델들이 노래를 부르길 원한다."

 

컨텍스트 윈도우에 대해, 두 가지 견해가 있다. 긴 컨텍스트는 Sam이 생각했던 것보다 사용이 적었다

 

"언제 10조 토큰에 도달할까요?" - Sam, "무한한 컨텍스트 길이는 10년 이내에 일어날 것이다."

Notes from the conversation between @sama and @kevinweil

"With o1 (and it's predecessors) 2025 is when agents will work."

* How close are we to AGI? After finishing a system they would ask, "in what way is this not an AGI?" The word is over loaded. o1 is level two AGI.

* Increasing the rate of scientific discovery is a northstar for AGI Sam aims for

* "The fact that definitions matter this much means we are getting close"

* "We are in this period where is going to feel blurry for a while. (wrt to identifying AGI)

* "If we can make an AI system that is better at AI research than OpenAI is, then that feels like real milestone"

* Mission: Build safe AGI. If the answer is a rack of GPUs, they'll do that. If the answer is research, they'll do that

* "It's easy to copy things you know that work. But to do something new for the first time, 'Let's go find the new paradigm', that is what motivates us."

* On Alignment: "It's true we have a different take on alignment than...whatever that internet forum is..." "We want to figure out how to build capable models that get safer and safer over time" "We have an approach of figure out where the capabilities are going then work to make it safe. o1 is our most capable model, and it's our most aligned model too"

* "Iterative deployment is our best safety system we have"

* "I think worrying about the scifi is one of the most important things we have"

* "No matter how many smart people you have inside your walls, there are way more smart people outside your walls" - Kevin

* How do agents fit into OpenAIs long term plans? o1 models, and all of it's predecessors will be the thing that makes agents actualy happen.

* "People get used to any new tech quickly, but this (agents) will be a big deal"

* "People will ask an agent to do something that would have taken them a month, and it'll take an hour. Then they'll have 10x agents, then they'll have 1000x agents"

* What's the blocker to agents controlling your computer? Safety and alignment

* Figuring out the boundary of what AI can do today, but can't fully do yet is the sweet spot. Cause you'll be the go-to when the new model comes out

* Sam, people thing that technology makes a company, not true, it takes a lot of execution. "It doesn't execuse you from building a good business." "People are tempted to forget that with AI"

* "Saying please/thank you to ChatGPT is a good thing to do, you never know"

* Before the end of the year, o1 will support function calling. Along with system prompts and structured output

* "The model is going to get so much better so fast" We know how to get it to the next level. "Plan for the model to get rapidly smarter"

* "Google's notebook thing is really cool, what's it called again?" - Sam

* "Anthropic did a good job with projects" - Kevin

* "Do you think you'll be smarter than o2? No one wants to take that bet?"

* Making models that are the best at reasoning is a big deal for the company

* Internal dogfooding is the way they measure how good the models are

* As we move the world of agents, OpenAI will try virtual employees

* When're offline models? - "We're open to it, it's not a high priority on the current roadmap." Interesting that Sam pointed to Kevin to answer, then Kevin pointed back and deffered back to Sam

* Where do you sit with open source? "I think open source is awesome, if we had more bandwidth, we would do it. We've had to put other things ahead of it." "I do hope we do something (oss) at some point"

* Why can't it sing, "we can't have it sing copyrighted songs. We want it to sing too, but it's nuanced to getting it right. We really want the models to sing too."

* Context windows, there are two takes on that. Long context has gotten less usage than Sam thought.

* "When will we get to 10T tokens?" - Sam, "infinite context lenght will happen within the decade"