루카시 카이저 인터뷰 Q&A 요약

트랜스포머와 AI의 역사

Q: 2017년 "Attention is All You Need" 논문에 참여하셨는데, 당시 상황은 어땠나요?

A: 당시에는 그냥 일상적인 연구처럼 느껴졌습니다. RNN이 주류였고, 우리는 convolution 대신 attention을 시도해보자는 아이디어였죠. 여러 사람들이 각자의 기법(multi-head attention, feed-forward layer, learning rate warm-up 등)을 가져왔고, 이것들이 합쳐져 예상보다 훨씬 잘 작동했습니다. 8명의 저자가 참여했고, 모두 구글과 연결되어 있었습니다.

Q: 트랜스포머를 발명한 건가요, 발견한 건가요?

A: 둘 다라고 생각합니다. self-attention 핵심은 발견에 가깝고, 실제로 작동하게 만든 여러 조정들은 발명에 가깝습니다.

추론 모델(Reasoning Models)

Q: 추론 모델 연구는 언제 시작하셨나요?

A: GPT-4 출시 전, 약 2년 전부터 시작했습니다. 당시 순수한 스케일링만으로는 경제적이지 않다는 것이 명확했기 때문입니다.

Q: 기존 LLM과 추론 모델의 차이는 무엇인가요?

A: 기존 LLM은 다음 단어를 예측합니다. 추론 모델은 사용자에게 보여주지 않는 토큰들을 생성하며 "생각"합니다. 도구를 호출하고, 웹 검색을 하고, 코드를 실행할 수 있습니다. 중요한 것은 강화학습으로 더 나은 사고를 하도록 훈련된다는 점입니다.

Q: 추론 모델이 왜 중요한가요?

A: 완전히 새로운 패러다임입니다. 훨씬 적은 데이터로 학습하고, 실수를 하면 다시 시도하는 등 인간과 유사한 방식으로 학습합니다. 이것은 트랜스포머 이후 가장 큰 패러다임 전환입니다.

AGI와 AI의 미래

Q: AGI가 얼마나 가까이 왔나요?

A: 저는 AGI라는 용어를 좋아하지 않습니다. "평균적인 인간"은 존재하지 않으니까요. AI는 어떤 작업(게임, 수학)은 인간보다 훨씬 잘하지만, 물리적 세계의 작업은 아직 서툽니다. 더 중요한 것은 AI가 실제로 우리 업무의 작업들을 수행하기 시작했다는 점입니다.

Q: AI가 과학을 가속화할 수 있나요?

A: 네, 실험을 더 빠르게 실행하고, 더 많은 아이디어를 테스트할 수 있습니다. 아이디어를 실행하는 것이 과학의 큰 병목인데, AI가 이를 도울 수 있습니다. 하지만 궁극적인 병목은 GPU와 에너지입니다.

기술적 세부사항

Q: 환각(Hallucination) 문제는 해결되었나요?

A: 많이 개선되었습니다. 모델들은 인터넷 텍스트에서 "모른다"는 표현이 드물어서 답변하도록 훈련되었습니다. 이제는 훈련 데이터를 조정하고, 추론 모델이 웹 검색을 하고 확인하도록 하여 "모른다"고 말하는 것이 더 자연스러워졌습니다. GPT-5에서 90% 감소했습니다.

Q: 생각의 연쇄(Chain of Thought)는 실제 모델의 사고인가요?

A: 실제 생각은 길고 지저분합니다. 사용자에게 보여주는 것은 가독성을 위해 요약된 버전입니다. 중요한 것은 훈련 시 생각의 연쇄에는 아무런 압력이나 보상이 없어서, 모델이 숨길 이유가 없다는 점입니다.

Q: 멀티모달 훈련은 어떻게 이루어지나요?

A: 이미 GPT-4부터 텍스트, 이미지, 오디오를 네이티브로 훈련합니다. 오디오는 오디오 토큰으로, 이미지는 패치 토큰으로 인코딩됩니다. 놀랍게도 이것이 매우 잘 작동합니다.

OpenAI와 업계

Q: OpenAI의 비전은 무엇인가요?

A: 유익한 인공지능을 만드는 것입니다. AI를 더 강력하게 만들면서 동시에 해를 끼치지 않도록 하는 것입니다.

Q: 컴퓨팅 자원이 충분한가요?

A: 항상 더 필요합니다. 더 많은 실험을 병렬로 실행할 수 있지만 GPU가 부족합니다. 이것이 모든 연구소의 상황입니다. Sam은 가능한 한 많은 자원을 확보하고 있습니다.

Q: AI의 겨울이 올까요?

A: 아니요. 트랜스포머 스케일링 패러다임은 성숙 단계이지만, 추론 모델이라는 새로운 패러다임은 이제 시작입니다. 오히려 다음 1-2년 내에 급격한 개선이 있을 수 있어서 약간 두렵기도 합니다.

Q: 다른 AI 연구소들에 대한 생각은?

A: 모든 연구소가 매우 유사하다고 생각합니다. 비슷한 정신을 가지고 있고, 조금씩 다른 방향에 베팅하지만 기본적으로 같은 목표를 추구합니다.

사회적 영향

Q: 광고 모델로 가지 않을까요?

A: OpenAI는 구독 모델을 매우 자랑스럽게 생각합니다. 참여도를 최적화하지 않습니다. 직원들과 리더십 중 상당수가 광고 경로로 가지 않겠다는 강한 의지를 가지고 있습니다. 최근 쇼핑 체크아웃 같은 새로운 수익 모델도 개발하고 있습니다.

Q: AI가 우리를 어디로 데려갈까요?

A: 스타트렉 스타일의 세계보다는 일상적인 문제들을 더 잘 해결하는 것을 기대합니다. 더 나은 의학, 환경, 과학 연구 등입니다. 기술이 좋아지는 것은 확실하지만, 이를 우리 삶에 잘 활용하는 것은 사회 전체의 책임입니다. 소셜 미디어처럼 잘못 사용될 위험도 있으니, 회의적으로 접근하되 책임감 있게 사용해야 합니다.

Q: AI가 일자리를 대체할까요?

A: 컴퓨터에서 하는 작업들은 빠르게 AI가 할 수 있게 될 것입니다. 코딩은 이미 큰 진전을 보였습니다. 전체 직업보다는 작업의 일부가 자동화될 가능성이 높습니다. 이는 빠르면 2030년 이전에 일어날 수 있습니다.

개인적 메시지: 기술은 계속 발전할 것입니다. 하지만 그것을 어떻게 사용할지는 우리가 결정해야 합니다. 연구자로서는 기술이 잘 작동한다는 것을 알지만, 사회가 이를 잘 활용하는지에 대해서는 회의적이어야 합니다.