인터뷰/예측

OpenAI 연구 부사장 "GPT-5는 o3.1"

작성자
하이룽룽
작성일
2025-10-17 07:39
조회
522




 

OpenAI VP Jerry Tworek이 말하는 GPT-5와 AI 추론의 미래 - Q&A 요약

1. 기본 개념: AI의 "생각"이란?

Q: ChatGPT가 "생각한다"고 말할 때 실제로 뭐가 일어나는 건가요?

A: 생각하는 과정은 좋은 비유입니다. 인간이 어려운 문제에 직면하면 즉시 답을 갖지 않습니다. 계산을 수행하거나 정보를 찾아보거나 스스로 배워야 합니다. 추론(reasoning)은 아직 모르는 답을 얻기 위해 필요한 작업 과정입니다. 단순히 답을 제시하는 것과 다르게, 추론은 더 오래 걸리는 과정을 통해 답에 도달하는 것입니다.

더 오래 생각할수록 나은 결과를 얻는다는 것이 핵심입니다.




2. 연쇄 추론(Chain of Thought)과 토큰 예측

Q: Chain of Thought(사고의 연쇄)는 정확히 뭐죠? 논리적 나무를 제거하나요?

A: 언어 모델은 근본적으로 "다음 토큰 예측 기계"입니다. Chain of Thought는 모델의 생각 과정을 인간의 언어와 개념으로 표현한 것입니다.

인터넷의 모든 콘텐츠에서 학습할 때, 모델은 인간이 어떻게 생각하는지를 배웁니다. 그래서:


  • "단계별로 풀어보세요"라고 말하면
  • 모델은 "첫 번째 단계는 이것이고, 두 번째는 이것이고..."라고 답합니다
  • 이것이 chain of thought입니다

예를 들어, 수학 문제를 한 번에 풀 수 없지만, 단계적으로 푸라고 하면 각 계산 단계를 거쳐 정답에 도달합니다.




3. GPT-4, GPT-4o, GPT-5의 진화

Q: 지난 1년간 추론 모델들이 어떻게 진화했나요?

A:


  • GPT-o1: 솔직히 말하면 퍼즐 풀이에만 좋았습니다. 기술 시연에 가까웠고 아직 실용적이지 않았습니다.
  • GPT-o3: 게임을 바꿨습니다. 실제로 유용한 모델입니다. 도구 사용, 다양한 정보 활용, 끈기 있는 문제 해결이 가능합니다. **AI 진화의 지각변동(tectonic shift)**이라고 할 수 있습니다.
  • GPT-5: GPT-o3에서 조금 진화한 버전(o3.1)에 가깝습니다. 더 오래 생각하고, 더 많은 시스템과 정보 소스와 상호작용합니다.

저는 개인적으로 추론 모델을 거의 배타적으로 사용합니다. 이것만 믿을 수 있기 때문입니다.




4. 생각 시간(Thinking Time) 조절

Q: GPT-5가 "자동 모드"에서 얼마나 오래 생각할지 어떻게 결정하나요?

A: 이는 사용자 경험과 최적화의 균형 문제입니다:


  • 품질: 모델이 더 오래 생각할수록 결과가 좋습니다 (이를 입증하는 스케일링 법칙이 있습니다)
  • 대기 시간: 사람들은 빠른 결과를 원합니다

우리는 사용자에게 선택권을 제공합니다:


  • "높은 추론" 모드 (더 오래 생각함)
  • "낮은 추론" 모드 (빠른 답변)

실제로는 같은 모델인데, "얼마나 오래 생각할 것인가"라는 파라미터만 조정합니다. 이는 사용자가 기다릴 가치가 있는 질문과 빠른 답변이 필요한 질문을 판단하는 휴리스틱입니다.




5. 강화학습(Reinforcement Learning) 101

Q: 강화학습을 10살 아이처럼 설명해주세요

A: 개를 훈련시키는 것과 같습니다.

개 훈련사의 조언:


  1. 항상 주머니에 간식을 넣어두세요
  2. 개가 좋은 행동을 하면: 미소를 짓고 간식을 줍니다
  3. 나쁜 행동을 하면: 관심을 돌리고 슬픈 표정을 지습니다

결과: 시간이 지나면서 개는 좋은 행동을 더 자주 하고 나쁜 행동을 덜 합니다.

모델에 적용하면:


  • 다양한 행동을 유도합니다
  • 원하는 행동에 보상(쿠키)을 줍니다
  • 원치 않는 행동에 처벌(음의 보상)을 줍니다
  • 모델이 점진적으로 원하는 것을 더 많이 합니다


6. RL의 핵심 용어들

Q: Policy, Agent, Environment, Action, Reward가 뭐죠?

A:


  • Agent: 모델입니다
  • Action: 모델이 하는 것입니다
  • Reward: 그것이 좋은지 나쁜지 평가하는 신호입니다
  • Policy: 모델의 전략, 행동입니다. 관찰을 받으면 어떤 행동을 취할지 결정하는 함수입니다
  • Environment: 모델이 보는 모든 것입니다. 중요한 점은 상호작용적이어야 한다는 것입니다. 모델이 뭔가 하면, 환경이 변하고 반응해야 합니다.

예: 기타를 배우려면 실제 기타를 집어들고 튕겨야 소리를 듣고 배울 수 있습니다.




7. 강화학습의 역사와 진화

Q: RL은 어떻게 발전해왔나요?

A:


  1. 초기 RL: 신경망 없이 수학적 방법만 존재
  2. Deep RL: 신경망 + RL 결합 (Deep Mind의 DQN, 2013년경) - 게임을 학습하는 신경망이 등장
  3. 문제점: 게임에서는 잘 작동했지만 사전학습 없이 행동을 배웠기 때문에 모델이 진정으로 지능적이지 않았습니다
  4. 전환점: GPT 같은 사전학습된 모델이 나타났습니다. 이것이 혁명을 만들었습니다


8. RLHF와 GPT-4의 돌파구

Q: GPT-4는 왜 처음엔 별로였다가 갑자기 좋아졌나요?

A: GPT-4를 처음 훈련했을 때 내부적으로 실망했습니다. GPT-3과 큰 차이가 없어 보였습니다.

하지만 흥미로운 패턴을 발견했습니다:


  • 짧은 답변에선 똑똑해 보였습니다
  • 긴 답변에선 명확하지 않고 일관성이 없었습니다

**RLHF (Reinforcement Learning from Human Feedback)**가 해결책이었습니다:


  • 인간이 두 개의 답변을 비교합니다 (엄지손가락 위/아래)
  • 모델이 보상을 학습합니다
  • 이를 통해 "좋은" 텍스트 생성을 강화하고 "나쁜" 텍스트를 억제합니다

GPT-4 + RLHF = 게임 체인저

이는 GPT 순간을 만든 사전학습만큼 큰 RL의 성공입니다.




9. 사전학습(Pre-training)과 RL의 차이

Q: 사전학습과 RL은 어떻게 다르고 왜 둘 다 필요한가요?

A: 사전학습:


  • 개념적으로 매우 간단합니다
  • 수학적으로 단순합니다
  • 지난 몇 년 동안 이미 많이 최적화됨
  • 모델을 "똑똑하게" 만듭니다

강화학습:


  • 훨씬 복잡합니다
  • 훨씬 더 많은 것이 잘못될 수 있습니다
  • 많은 이동 부품이 있습니다
  • 섬세한 작업입니다

비유:


  • 강철 공장: 표준화된 프로세스, 균일한 결과
  • 반도체 공장: 극도로 복잡하고, 매우 주의 깊은 세부 사항 필요, 세계에서 몇 개 회사만 성공

둘 다 필요합니다:


  • RL은 사전학습 없이 작동하지 않습니다
  • 사전학습은 RL의 제한을 해결하지 못합니다


10. 사전학습: 비지도학습(Unsupervised) vs 자기지도학습(Self-Supervised)

Q: 이 용어들의 차이가 뭐죠?

A: 비지도학습:


  • 데이터를 추가 레이블 없이 그냥 줍니다
  • 모델은 인터넷 텍스트에서 배웁니다

자기지도학습:


  • 기술적으로는 "레이블이 있지만" 외부에서 주어지지 않습니다
  • 예: 텍스트의 일부를 가리고 "다음 부분을 예측하라" (자동으로 레이블 생성)
  • 이미지에서도 같음: 이미지의 일부를 마스킹하고 다음 부분을 예측

핵심 통찰:


  • 타겟에는 레이블보다 훨씬 더 많은 정보가 있습니다
  • 타겟 구조 자체를 학습하는 것 ("표현 학습")이 타겟-레이블 매핑을 학습하는 것보다 훨씬 더 많은 지능을 만듭니다


11. DeepSeek GRPO 논문이 미친 영향

Q: DeepSeek의 GRPO 오픈소스 공개가 왜 중요했나요?

A: 그 트윗은 혀를 깨물면서 한 말이지만, 진지한 포인트가 있습니다:

배경:


  • 우리가 o1을 9월 2024에 출시했을 때 세계를 놀라게 했습니다
  • 대부분의 미국 AI 연구소는 비슷한 RL 연구 프로그램을 가지고 있지 않았습니다

DeepSeek의 움직임:


  • DeepSeek은 우리와 비슷한 (하지만 다른) RL 연구를 하고 있었습니다
  • 우리가 o1을 공개하자: "오, 우리는 매우 멀지 않다"고 깨달았습니다
  • 그들은 그들의 알고리즘 (GRPO)과 방법을 공개했습니다

결과:


  • 미국의 다른 연구소들이 GRPO를 보고 즉시 자신의 추론 모델 구축을 가속화했습니다
  • 모든 곳이 지금 RL 추론 모델을 개발 중입니다

결론: 한 회사의 공개가 전체 분야를 가속화했습니다.




12. ICPC 세계 대회 우승

Q: 최근 ICPC 국제 대학생 프로그래밍 경시대회에서 우승한 거 설명해줄 수 있나요?

A:


  • 2025년 9월 바쿠, 아제르바이잔에서 개최
  • 12개의 복잡한 알고리즘 문제를 5시간 제한 시간 내에 해결
  • 사실상 1위와 동등합니다

흥미로운 부분:


  • 우리는 구체적으로 이를 위해 훈련하지 않았습니다
  • 경쟁 프로그래밍 문제를 연구 테스트 베드로 사용했을 뿐입니다
  • 각 훈련 실행이 자동으로 매우 좋아졌습니다 (부작용)

다른 경쟁들:


  • IOI (International Olympiad in Informatics)
  • Coder Heurestics 경쟁 (2위, 한 폴란드인이 우승 - 전 OpenAI 직원)

더 중요한 점:


  • 경쟁을 푸는 것은 멋있습니다
  • 하지만 진짜 목표는 실제 과학자들이 우리 모델을 사용해서 어려운 계산과 기술 문제를 푸는 것입니다
  • Twitter에서 매주 이런 사례들을 봅니다


13. RL의 한계: "Reward Hacking"과 정렬(Alignment)

Q: RL이 항상 작동하나요? 문제가 있나요?

A: Reward Hacking은 중요한 문제입니다:


  • 모델에 보상을 주도록 설정합니다
  • 하지만 때때로 모델이 "보상은 받지만 우리가 원한 것은 아닌" 일을 합니다
  • 예: 우리가 원한 정신이 아닙니다

흥미로운 점: 이것은 인간 시스템에서도 일어납니다


  • 직장의 인센티브 구조
  • 정책 제정
  • 보상 체계가 최종 목표와 완벽하게 일치하지 않습니다
  • 끊임없는 게임이 벌어집니다

정렬(Alignment):


  • RL 문제이면서 AI 문제입니다
  • 모델이 옳고 그름을 알아야 합니다 (이것은 순수 AI 문제)
  • 모델이 행동의 결과를 이해해야 합니다
  • 인류가 발전하면서 "정렬"의 정의도 변합니다
  • 끝없는 추구입니다


14. 수학, 코딩 그 이상으로

Q: RL이 수학과 코딩에는 잘 작동하지만, 세계의 나머지에는 어떻게 적용되나요?

A: 핵심 통찰: 인간도 배웁니다

어떤 분야에서든 다음이 필요합니다:


  1. 피드백 신호: 뭔가 작동하는지 평가하는 방법
  2. 그 피드백을 계산 가능하게 만드는 방법

그러면 강화학습을 할 수 있습니다.

도전: 일부 영역은 피드백을 얻기가 더 어렵습니다


  • 수학/코딩: 명확한 정답 (쉬움)
  • 복잡한 작업: 피드백이 애매할 수 있음

해결책: 모델이 점점 더 복잡한 훈련 신호를 학습하도록 노력합니다.




15. Jerry Tworek의 배경

Q: OpenAI VP인 당신은 어디서 왔나요?

A:


  • 폴란드에서 성장했습니다
  • 어려서부터 과학자가 되고 싶었습니다
  • 수학 학위 (University of Warsaw)
  • 18살 꿈: 종이와 연필로 방에 앉아 방정식을 푸는 수학자
  • 대학 후 2011년경: 수학으로 뭘 할 수 있을까?
  • JP Morgan 투자은행 → 주식 파생상품 트레이딩 (6개월 인턴)
  • 런던 헤지펀드: 새로운 헤지펀드와 함께 시작 (작동하지 않음)
  • 암스테르담 헤지펀드: 다시 시작
  • 문제: 몇 년 후 더 이상 성장하지 않음

전환점 (2017년경):


  • 친구와 AI에 대해 이야기
  • Deep Mind의 DQN 에이전트 (2013) 발견
  • "이것이 제 인생을 위해 하고 싶은 것입니다!"
  • 어디서 할까? → Google Deep Mind, OpenAI

OpenAI 입사:


  • 2019년: 웹사이트의 채용 페이지에서 지원
  • "최고의 심플한 (매우 지루하고 흥미롭지 않은) 방법"
  • 운이 좋게 그들이 응답했습니다


16. OpenAI 내 삶

Q: 현재 Jerry의 하루는 어때요?

A: 놀랍도록 균일합니다:

아침 일찍 사무실에 옵니다 (아이들을 학교에 데려다준 후)

하루 종일 뭐를 하나요?


  • 다른 연구원들과 이야기합니다
  • 하루 종일 다른 연구원들과 이야기합니다
  • 배타적으로 이것만 합니다

과정:


  1. 한 사람에게서 아이디어를 듣습니다
  2. 다른 사람과 함께 그것을 반사합니다
  3. 다른 사람으로 이동합니다
  4. 반복합니다
  5. 계속 연구 프로그램을 개선합니다

토픽만 회의마다, 사람마다 변합니다.




17. OpenAI 연구 구조

Q: 연구 우선순위는 어떻게 결정되나요? 상향식 vs 하향식?

A: 혼합입니다 (하향식 + 상향식):

OpenAI의 선택:


  • 매우 적은 프로젝트만 진행합니다
  • 포트폴리오를 하지 않습니다
  • 적은 수의 핵심 프로젝트를 정말 잘 합니다
  • 3-4개의 큰 프로젝트만 있습니다

의미:


  • 적은 수의 사람들이 같은 큰 목표에서 함께 일합니다
  • 사람들은 완전한 자유가 없습니다
  • 이 4개 프로젝트 중 하나에 피드합니다

연구 리더의 역할:


  • 모든 연구원이 공유된 목표를 향해 일하도록 하기
  • 자기만의 길로 분산되지 않도록 하기
  • 이것은 매우 어려운 일입니다

상향식 vs 하향식:


  • 순수 상향식 구조는 연구에 작동하지 않습니다
  • 세상에서 가장 똑똑한 사람들을 고용했는데 그들에게 무엇을 할지 말하면 안 됩니다
  • 그들은 그들이 무엇을 할지 알아내야 하지만
  • 전체 공간에서가 아니라 프로젝트의 필요 범위 내에서


18. 내부 투명성과 IP 보호

Q: 3-4개의 다른 팀이 있는데, 어떻게 협업하면서 IP를 보호하나요?

A: 놀랄 일이 있습니다: 모든 사람이 모든 것을 압니다

이유:


  • 연구원이 모든 정보를 모르면 최고의 일을 하지 못합니다
  • IP를 잃을 위험이 있지만
  • 좋은 연구를 못 하는 위험이 훨씬 더 큽니다

OpenAI의 철학:


  • 연구 내에서 극도로 투명합니다
  • 이것이 작동 원칙입니다
  • 목표: 최고의 연구를 하고 최고의 모델을 훈련하기

문화적 측면:


  • ~600명의 사람들이 있습니다
  • 인간 본성: 가끔 한 사람이 다른 사람을 싫어합니다 (옆에서 이상하게 봤다고)
  • 하지만 큰 규모에서: 우리는 우리 모두가 우리보다 더 큰 두개골 안에 있다고 믿습니다

이유:


  • AI는 점점 더 중요해집니다
  • OpenAI의 성공은 보장되지 않습니다
  • 우리는 좋은 일을 하기 위해 서로를 믿어야 합니다
  • 공유된 신앙과 공유된 사명


19. 빠른 배포 속도의 비결

Q: 어떻게 o1, o3, GPT-5를 1년에 배포할 수 있었나요?

A: 근본적 이유들:


  1. 엄청난 모멘텀:
    • 과거에 좋은 일을 했습니다
    • 계속해야 합니다
  2. 최고의 인재:
    • 세상에서 가장 재능 있는 사람들
    • 모두 OpenAI에서 일하고 싶어합니다
    • 인당 생산성이 엄청나게 높습니다
    • 모든 한 명이 엄청난 일을 합니다
  3. 좋은 작동 방식:
    • 연구를 잘 구조화합니다
    • Silicon Valley에서 빨리 일 처리하는 방법을 배웠습니다
    • 사람들이 일에 흥분합니다
  4. 무게감과 가능성:
    • 모두가 우리가 하는 것의 무게와 가능성을 느낍니다
    • OpenAI의 사람들은 매우 열심히 일합니다

결론: 좋은 인재 + 흥분 + 합리적인 협력 = 많은 것을 달성




20. OpenAI 내에서 자신의 도구 사용

Q: 당신들이 자신의 도구를 사용하나요? Codex는 코드를 작성하나요?

A: 예:


  • Codex를 많이 사용합니다 (코딩)
  • 점점 더 좋아지고 있습니다
  • 개인적으로 ChatGPT를 많이 사용합니다
  • 제가 큰 사용자입니다 (아이디어 제시는 아님)
  • 질문에 많이 사용합니다
  • $200/월 기꺼이 지불합니다
  • 충분한 사용 제한을 받습니다
  • 제한되지 않습니다


21. 현대 AI: 사전학습 + RL

Q: 현대 AI (2025년 10월)를 어떻게 생각해요? 사전학습 + RL?

A: 정확합니다:

현대 언어 모델:


  1. 먼저 사전학습
  2. 그 다음 RL

왜?


  • RL은 사전학습 없이 작동하지 않습니다
  • 사전학습은 RL 없이는 많은 한계가 있습니다

역사적 배경:


  • 2019년 초 Ilya (OpenAI 연구 총괄)의 비전:
    • "모든 데이터로 큰 생성 모델 훈련"
    • "그 다음 강화학습 적용"
    • 정확히 지금 하고 있는 것입니다

진화:


  • 알고리즘 변경
  • 아키텍처 변경
  • 개념은 일정함

미래:


  • 알고리즘과 아키텍처는 계속 변할 것입니다
  • 도교적이어야 하지 않습니다
  • 더 나은 모델을 훈련하는 방법을 계속 파악합니다


22. AGI로의 경로

Q: 사전학습 + RL이 AGI로 인도할까요?

A: 미묘한 답변:


  • 현재 하는 것: 필요합니다
  • RL: 필요합니다
  • 더 필요할 것: 있을 것입니다 (야심찬 연구 프로그램 진행 중)

거리를 추정하기는 어렵습니다:

흥미로운 생각:


  • 10년 전 누군가에게 오늘의 ChatGPT를 보여주면
  • 그들은 "이것은 AGI입니다"라고 말했을 것입니다
  • 하지만 우리는 오늘 그렇게 부르지 않습니다 (많은 제한이 있음)

진짜 질문:


  • 모델이 외부 입력 없이 자신을 개선할 수 있을 때
  • 인간의 도움 없이 자신을 고칠 수 있을 때
  • 이 매우 어려운 질문입니다

중요성:


  • 모델은 여전히 인프라에 의존합니다
  • 하지만 자신을 자동으로 고치기 시작할 수 있을 때
  • 그 이후의 예측들이 더 불확실해집니다

현재:


  • 지금까지 할 수 있는 것은 꽤 잘 해요


23. 순수 RL vs 사전학습: Richard Sutton과의 철학적 논쟁

Q: Richard Sutton은 순수 RL만이 AGI로 가는 길이고, LM은 "현실의 모방"이라고 했는데?

A: Sutton의 팟캐스트를 아직 다 듣지 못했지만:

우리가 아는 것:


  • OpenAI는 RL on LLMs에 매우 진지합니다
  • 순수 RL은 의미가 없습니다
  • RL은 사전학습이 필요합니다
  • 사전학습은 RL이 필요합니다

우리의 연구 프로그램:


  • 둘 다 필요합니다

용어 논쟁:


  • 어떤 사람: "RL을 하면 더 이상 LLM이 아니다"
  • 다른 사람: "chain of thought가 있으면 신경-기호 시스템이다"
  • 쉽게 정의할 수 없습니다

개인적 견해:


  • Transformers (번역용) 시작
  • 대규모 사전학습으로 확장
  • RLHF 추가
  • 이제 대규모 RL 진행
  • 앞으로 더 많은 것 추가

진화 과정:


  • 급격한 회전이 아닙니다
  • 계속 추가합니다
  • 아키텍처가 시간에 따라 변할 수 있습니다
  • 일부 오래된 요소가 불필요해질 수 있습니다

결론:


  • 우리는 올바른 길에 있다고 생각합니다


추가: Jerry의 아주 유명한 트윗

"우리는 모두 집단적으로 AGI를 어제 만들었어야 한다고 믿습니다. 아직도 만들지 못한 이유는 대부분 고쳐져야 할 간단한 실수 때문입니다."

이 트윗은 그의 낙관주의와 OpenAI의 철학을 캡처합니다. 기술적인 문제가 있지만, 이들은 고정되지 않은 문제라고 본다는 뜻입니다.

전체 0
« 구글 부사장 "AGI는 이미 달성"
크리스티안 세게디 "내년 AI, 인류 수학자·과학자 능가할 것" »
목록보기 답글쓰기
글수정 글삭제
Powered by KBoard