OpenAI 사람들이 계속해서 ‘새 모델’을 너무 자주 암시하고 있어서, 이제는 그게 단순한 RL(강화학습) 런이 아니라 새로운 프리트레이닝 모델이라고 거의 확신하게 됐다.

그렇다면 내 생각에는, OpenAI가 프리트레이닝을 시작한 지 2주도 채 안 된 시점에 이미 Astra보다 더 뛰어났고, 나비에-스토크스 문제까지 풀어낸 모델을 갖고 있다는 뜻이다.

미쳤다.

여기서 핵심은 “new pretrain”이야. 즉 기존 모델에 RL을 더 돌린 정도가 아니라, 완전히 새로운 베이스 모델 세대를 처음부터 학습 중이라는 추측이야. 그리고 그 모델이 학습 초반부터 Astra를 넘었다는 뜻이라면 상당히 강한 주장이지.

 



그들은 그게 RL 런이었다고 명확하게 말했다. 그리고 8월 28일에 ‘시작한’ 게 아니라, 8월 28일에 재개(resumed) 된 거다.

다만 새로운 베이스 모델 위에서 RL을 돌린 것일 가능성은 있다. OpenAI가 Astra 이후의 새로운 베이스 모델을 이미 가지고 있다는 소문도 있긴 한데, 그 소문들이 얼마나 신뢰할 만한지는 잘 모르겠다.

 

답변:

나도 그렇게 깊게 읽어본 건 아니라 잘 모르겠어. 하지만 OpenAI에서 일하는 친구들과 몇 년 동안 지내온 경험을 생각하면 이건 나를 좀 믿어도 돼.

OpenAI 사람들은 “new model”이라는 표현을 명사처럼 쓸 때는 정말 상당한 수준의 업데이트에만 사용한다. 별것도 아닌 0.1 버전 수준의 업데이트를 가지고 그렇게 부르진 않아.

그리고 나는 RL만으로 저 정도의 pass rate 상승을 만들어낼 수 있다고는 생각하지 않는다.

 



정말 그렇게까지 확신해?

“새 모델(new model)”이라는 말이 그냥 다음 모델 출시를 준비하면서 나온 Astra의 후반 포스트트레이닝 체크포인트를 가리키는 걸 수도 있지 않아?

그리고 만약 그들이 나비에-스토크스 문제를 풀기 위해 전력 질주하고 있었다면, 당연히 자신들이 가진 가장 강력한 모델을 쓰고 싶어 했을 텐데, 그건 아마 프리트레이닝을 시작한 지 2주밖에 안 된 모델이 아니라 Astra의 더 후기 체크포인트였을 가능성이 높지 않을까?

답변:

사실 나도 완전히 확신하는 건 아니야.

그런데 최근에 내가 가진 의심을, 샌프란시스코에서 정보를 꽤 잘 아는 것으로 유명한 루머 브로커에게 전달했거든.

그랬더니 놀랍게도 그 사람이 내 추측이 맞다고 하더라.