고등학교 중퇴자에서 OpenAI 연구원으로 - Gabriel Petersson 인터뷰 요약

배경 스토리

진행자: Gabriel의 이야기는 정말 흥미롭습니다. 5년 전 스웨덴에서 고등학교를 중퇴하고 엔지니어 경험이 거의 없는 상태로 스타트업에 합류했는데, 지금은 OpenAI의 연구 과학자로 AGI를 개발하고 있죠. 어떻게 여기까지 오게 되셨나요?

Gabriel: 긴 이야기예요. 저는 항상 AI에 관심이 있었어요. 'Super Intelligence'나 'Life 3.0' 같은 책을 읽으면서요. 근데 항상 제가 너무 멍청하다고 생각했어요. 저보다 훨씬 똑똑한 사람들이 많을 거라고 생각했죠. 그래서 몇 년간 그냥 엔지니어로 일했습니다.

고등학교 중퇴 이야기

진행자: 고등학교를 중퇴하게 된 계기는 무엇이었나요?

Gabriel: 사실 제가 결정한 게 아니라 그냥 일어난 일이에요. 사촌이 어느 날 전화해서 "스톡홀름으로 최대한 빨리 와라"고 했어요. AI 기반 제품 추천 시스템을 만드는 스타트업을 시작한다고요. 저는 "오늘 큰 파티가 있는데, 내일 갈게"라고 했는데 사촌은 "안 돼"라고 하더라고요. 그래서 그냥 다음 버스를 타고 스톡홀름으로 갔고, 다시는 돌아가지 않았어요.

진행자: 그때 생활은 어땠나요?

Gabriel: 사촌의 기숙사 방에서 살았는데, 공용 공간에서 주운 쿠션 위에서 1년간 잤어요. 완전 더러운 방이었죠. 하지만 작동은 했어요.

첫 스타트업 경험

Gabriel: 우리는 이커머스 상점을 위한 제품 추천 시스템을 만들었어요. 처음엔 아무것도 몰랐죠. 제가 사용한 영업 방식은 회사 문을 직접 두드리는 거였어요. A3 사이즈 종이를 가지고 다녔는데, 왼쪽엔 그들의 기존 제품 추천을, 오른쪽엔 우리의 새로운 추천을 인쇄해서요.

그들이 항상 감명받았죠. "와, 이거 다 어떻게 했어요?" 그럼 저는 그들의 웹사이트 콘솔에 붙여넣을 스크립트를 가져왔고, 바로 라이브로 전환할 수 있었어요. A/B 테스트도 이미 설정해놨고요. 첫 미팅에서 바로 클로징할 수 있었습니다.

진행자: 무엇이 당신을 계속하게 만들었나요? 대부분의 사람들은 포기하고 학교로 돌아갔을 텐데요.

Gabriel: 저는 항상 현실에 대해 왜곡된 시각을 가지고 있었어요. 이게 저를 억만장자로 만들어줄 거라고 100% 확신했어요. 의심의 여지가 없었죠.

ChatGPT로 학습하는 법

진행자: 코딩을 어떻게 배웠나요?

Gabriel: 실제 문제를 해결해야 했기 때문에 배웠어요. 학교에 가지 않고 어떻게 배우냐고 물어보는데, 실제로 일할 때가 훨씬 쉬워요. 실제 문제가 있으니까요. 제품 추천 시스템을 이커머스 스토어에 통합해야 한다면, 웹 페이지의 요소를 선택하는 방법, 올바르게 삽입하는 방법 등을 단계별로 배울 수 있어요. Stack Overflow에 가서 친구들한테 물어보면 되죠.

진행자: ChatGPT로 수학과 머신러닝을 독학해서 OpenAI에서 일하게 됐는데, 어떻게 하셨나요?

Gabriel: 저는 현재 Sora에서 일하는데, 비디오 모델의 기초를 배우고 싶었어요. ChatGPT에게 "비디오와 이미지 모델의 가장 기본적인 개념이 뭐야?"라고 물었죠. autoencoder, diffusion model 같은 걸 말해주더라고요.

그럼 "diffusion model 코드를 전부 써줘"라고 해요. 처음엔 무슨 코드인지 전혀 모르겠죠. 그럼 함께 디버깅하고, 모든 코드 라인이 무엇을 하는지 이해하기 시작해요.

예를 들어 residual block이 나오면, 처음엔 무슨 소린지 모르잖아요. 계속 ChatGPT에게 후속 질문을 해요. "이게 어떻게 더 효율적으로 학습하게 만드는데?" 그럼 gradient가 어떻게 흐르는지 설명해주고, 그걸 안 쓰면 어디서 막히는지 설명해줘요.

완전히 이해할 때까지 계속 물어봐요. 그리고 이해한 내용을 모델에게 다시 설명해서 맞는지 확인받아요.

AI로 배우는 핵심 기술

Gabriel: 제가 "재귀적 갭 채우기(recursive gap filling)"라고 부르는 거예요. 필요한 기술은 자신의 지식에 어떤 갭이 있는지 아는 거예요. 어떤 부분을 정말로 이해하지 못하는지 아는 게 실제로 꽤 어렵거든요. 연습이 필요해요.

두 번째 신호는 "아하 모먼트"예요. 질문할 때 언제 딸깍 하고 이해되는지 강한 신호가 필요해요. 이 "클릭"을 쫓고, 가능한 한 자주 나타나게 만드는 거죠.

진행자: 현대 사회에서 최상위 성과를 내려면 정보를 쿼리하는 속도가 가장 중요한 기술이라고 할 수 있나요?

Gabriel: 네. 그리고 중요한 건, 머릿속에 질문이 떠오르는 순간 바로 ChatGPT에 물어보는 거예요. 이게 정말 어려워요. 사람들이 함께 일할 때 온갖 질문을 하는데, 저는 "그냥 ChatGPT한테 물어봐"라고 해요. 언제든 질문하고, 뭔가 추측해야 할 때마다 ChatGPT한테 물어보세요. 세상의 모든 지식이 거기 있어요.

대학교육에 대한 도발적 견해

Gabriel: 저는 ChatGPT를 커리큘럼의 일부로 가르치지 않는 대학은 진지하게 받아들일 수가 없어요. 2살부터 가르쳐야 하는 과목인데 말이죠.

대학은 더 이상 기초 지식에 대한 독점권이 없어요. ChatGPT에서 모든 기초 지식을 얻을 수 있어요. 사람들은 문제 해결을 top-down 방식으로 하는 게 어떤 건지 아직 내면화하지 못했어요.

머신러닝을 배우고 싶다면, "어떤 프로젝트를 해야 해?"라고 물어보고, 프로젝트를 작성하게 하고, 버그를 고치면서 작동하게 만들어요. 거기서부터 재귀적으로 내려가요. 더 이상 bottom-up으로 갈 필요가 없어요.

진행자: Diffusion model을 top-down으로 배우면 3일 걸리는데, bottom-up으로 배우려면 6년이 걸린다는 게 완벽한 비유네요.

Gabriel: 정확해요. 대학에서 diffusion model을 배우려면 최소 6년간 공부해야 해요. 미적분학 1, 2, 선형대수학... 그런데 6년 전에 diffusion model이 좋아할지 어떻게 알아요? 이게 대학의 문제예요.

구직 조언

Gabriel: 회사는 그냥 돈을 벌고 싶어 해요. 돈 버는 법을 보여주고, 코딩할 수 있다는 걸 보여주면 당신을 고용해요.

고등학교 중퇴자에게 주는 조언: 데모를 만드세요. 3초 안에 사람들이 당신이 코딩할 수 있다는 걸 이해하게 만드는 정말 멋진 데모요. 이게 정말 어렵지만, 그게 전부예요.

16세였다면 웹사이트에 들어가서 무료로 작업하고, 그걸 게시했을 거예요. "이거 내가 만들었어요"라고요. 이미 일을 했다는 걸 증명하는 거죠. 결정을 훨씬 쉽게 만들어줘요.

샌프란시스코로 오는 법

Gabriel: 첫째, 뭔가에 능숙해지세요. 실제 회사에서 일하기 시작하면 좋아질 거예요.

둘째, 스폰서해줄 회사를 찾으세요. 정말 잘해야 해요. 왜냐하면 비자 과정이 있어서 회사 입장에선 오버헤드가 있거든요. 하지만 세계에는 정말 좋은 소프트웨어 엔지니어가 매우 적고, 미국은 좋은 소프트웨어 엔지니어가 크게 필요해요.

회사에 큰 가치를 제공한다는 걸 증명하는 순간, 샌프란시스코 사람들은 기꺼이 스폰서해줘요.

핵심 메시지

Gabriel: 사람들이 대부분 겪는 문제는 자신이 똑똑하지 않다고 생각한다는 거예요. 저도 바보라고 생각했어요. 하지만 자신이 할 수 있는 걸 과소평가하기 쉬워요.

이걸 듣는 사람들은 이미 상위 1%예요. 뭔가를 하고 싶어서 1시간을 투자해 이걸 듣잖아요. 대부분의 사람들은 그럴 주도성이 없어요. 이 길을 계속 가면 샌프란시스코에 와서 최고의 회사에서 일하거나 최고의 회사를 만들 수 있어요.

진행자: 당신은 세계 최고의 AI 학습자 중 한 명이라고 생각합니다. 더 많은 사람들이 이걸 알아야 해요.

Gabriel: 노력하고 있어요. 어떤 사람들은 저보다 훨씬 잘해서 제가 그들한테 배울 수 있기를 바라요!

AI 발전과 미래 전망

Gabriel: 현재 저는 전통적으로 박사 학위가 필요한 일을 하고 있어요. 5년 전만 해도 누군가 "최고 AI 연구소에서 그 분야를 오래 하지 않은 사람이 고용될 거야"라고 했다면 사람들은 "불가능해"라고 했을 거예요.

하지만 지금은 ChatGPT만 사용해서 전통적으로 박사들이 수년간 해온 일을 할 수 있어요. 이건 미친 일이에요. ChatGPT로 세상이 얼마나 빠르게 발전할지... 생물학 연구를 하고 싶든, 하드웨어를 하고 싶든, 그냥 가서 할 수 있어요.

진행자: 이건 대형 언어 모델만으로도 GDP가 두 자릿수 증가할 수 있다는 거네요. 누구나 할 수 있고요. 한 달에 20달러면 되고, thinking 모델은 코딩이나 이해에 정말 좋아요.

OpenAI에서 ChatGPT로 일하는 법

Gabriel: Sora에서 비디오 모델을 만들 때 꽤 간단해요. 비디오를 보고 "이 부분이 별로네"라고 생각하면, 모델 아키텍처를 약간 바꾸거나 데이터를 바꿔요. 모델을 학습시키고, 결과를 보고, 비디오를 한참 쳐다봐요. "오, 이 비디오들이 더 나아졌네"라고 하면 그걸 배포해요.

그리고 이걸 반복하죠. "다음에 뭘 고쳐볼까? 뭘 시도해볼까?" 여기서 AI가 정말 좋아요. "이 특정 문제가 있어. 안녕, AI. 여기 내 전체 코드베이스야. 이걸 개선하기 위한 아이디어 10개를 말해줘."

그럼 여러 아이디어를 알려주고, 읽을 논문들을 참조해주고, 정말 좋은 것들을 많이 해줘요. 브레인스토밍하기 좋죠. 그 아이디어들을 동료들한테 가져가서 얘기할 수 있어요.

진행자: ChatGPT가 연구 논문을 어떻게 찾나요?

Gabriel: 그냥 알아요. GPT-4.0은 링크를 그냥 출력하고, 링크를 누르면 작동해요. 모델이 링크를 외웠거든요. 작은 논문들은 검색 기능을 사용할 수도 있고요.

저는 논문을 단어 하나하나 읽지 않아요. ChatGPT에게 "이 논문이 다르게 한 것들의 리스트를 줘"라고 해요. 많은 경우 논문은 제가 이미 아는 기술을 가져와서 새로운 걸 추가하거든요. "이전 것과 비교해서 정확히 뭘 다르게 했는지 구체적으로 리스트를 줘"라고 하면 정말 좋은 요약이 나와요.

논문을 깊이 읽는 건 실제로 구현하기로 결정했을 때뿐이에요. 버그가 있으면 그때 읽죠. 그냥 코드를 전부 던져주고 "이걸 내 코드에 구현해줘"라고 하고 복사-붙여넣기해요.

AI가 가져올 변화

Gabriel: 저는 매우 AGI에 열광해요. 제가 지금 하는 일을 할 수 있는 유일한 이유가 AI 때문이에요. 그리고 훨씬 더 많은 사람들이 제가 지금 하는 일을 할 수 있게 될 거예요.

그 말은 삶의 모든 측면에서 훨씬 더 빠른 혁신을 의미해요. 질병 치료든, 실험을 하든... 누군가 우주에 정말 관심이 있다면, 모든 걸 배워서 작은 로켓을 만들기 시작할 수 있어요. 멋진 로켓 회사에 합류할 수도 있고요.

AI가 똑똑해질수록 가능성은 무한해져요. 세계 GDP의 두 자릿수 증가를 보게 될 거예요. 저는 그게 정말 기대돼요.