네, 여러분 감사합니다. 이 자리에 함께하게 되어 기쁩니다. 네, 저는 사실 경제학자 지망생으로서의 과거가 있습니다. 대학 졸업 후 연방준비제도(Federal Reserve)에 가서 몇 년간 일했고, 경제학 박사 과정을 밟을 계획이었죠. 그러다 문득, 저는 실제로 무언가를 만드는 것을 정말 좋아한다는 것을 깨닫고 대신 컴퓨터 과학을 하기로 결정했습니다. 결과적으로 좋은 선택이었다고 생각합니다. 그래서 지금 여러분 모두와 이야기하게 되어 기쁩니다.

먼저 이 AI 시대의 다른 점에 대해 이야기하고 싶습니다. 오랫동안 AI를 지켜보신 분이 계실지 모르겠지만, 오랫동안 AI 분야에서는 멋지고 인상적인 결과들이 많이 있었습니다. 예를 들어, 1997년 IBM의 딥블루가 게리 카스파로프를 이긴 것이나, 2011년 IBM의 왓슨이 제퍼디 퀴즈쇼에서 우승한 것 등이 있죠.

또한 특정 분야에서도 꽤 인상적인 결과들이 많았습니다. 예를 들어, 우편국은 아주 오랫동안 우편물을 분류하기 위해 광학 문자 인식(OCR)을 사용해 왔고, 페이스북의 얼굴 인식 기능도 오랫동안 존재해 왔습니다. 그렇다면 챗지피티(Chachabiti - 역주: ChatGPT를 의미하는 것으로 보임)와 같은 것들과 우리가 살고 있는 오늘날의 AI 시대는 무엇이 다를까요? 그 답은 바로 **일반성(generality)**에 있습니다.

제가 이 강연에서 많은 인상적인 결과들을 보여드리겠지만, 가장 중요하게 이해해야 할 점은 1997년 IBM의 딥블루가 게리 카스파로프를 체스에서 이겼을 때, 그들은 2년 이상, 아니 그보다 더 긴 시간을 오직 세계 챔피언보다 체스를 더 잘 두는 AI를 만드는 데만 쏟아부었다는 것입니다. 제퍼디도 마찬가지였습니다. 그들은 이 AI가 제퍼디 게임을 아주 잘하도록 만드는 방법을 알아내는 데 수년을 보냈고, 그 외에는 아무것도 할 수 없었습니다. 하지만 챗지피티와 오늘날 우리가 보는 AI들이 정말 특별한 점은 바로 일반성, 즉 특정 목표를 위해 만들어지지 않았음에도 불구하고 매우 다양한 일들을 할 수 있다는 사실입니다.

두 가지 패러다임에 대해 이야기하고 싶습니다. 사전 훈련(pre-training) 패러다임과 추론(reasoning) 패러다임입니다. 더 오래된 사전 훈련 패러다임부터 시작하겠습니다. 이것이 초기에 챗지피티를 구동했던 핵심 동력이었고, 2019년 GPT-2와 함께 시작되었다고 할 수 있습니다.

아이디어는 기본적으로 인터넷의 방대한 부분을 포함하여 엄청난 양의 텍스트를 수집하고, 이 AI 모델이 단어 시퀀스에서 다음 단어를 예측하도록 훈련하는 것입니다. 이것은 놀라운 수준의 지능으로 이어집니다. 왜 그럴까요? 제 주장은, 인터넷 전체를 가져와 단어 시퀀스를 만들고, 예를 들어 이처럼 인터넷 어딘가에 체스 게임 기록이 있다고 가정해 봅시다. 모델에게 이 시퀀스에서 다음 단어를 예측하라고 요청하면, 그 다음 단어를 가능한 한 잘 예측하기 위해 모델은 무엇을 이해해야 할까요?

체스를 이해해야 합니다. 체스 전략을 이해해야 합니다. 지금까지 본 수를 바탕으로 이 플레이어들이 얼마나 잘하는지 이해해야 합니다. 체스판의 기하학적 구조와 말을 움직이는 방법을 이해해야 합니다. 따라서 이 다음 수를 예측하기 위해 해야 할 일, 이해해야 할 것들이 많습니다. 일리야 수츠케버(Ilya Sutskever)가 사용했던 또 다른 예시는 정말 좋았다고 생각하는데, 인터넷에 미스터리 소설이 있다고 상상해 보세요. 모델이 미스터리 소설의 모든 텍스트를 보고 맨 마지막에 도달합니다. 맨 끝에서 탐정은 "누가 범인인지 알겠다. 범인은 [빈칸]이다."라고 말합니다. 모델이 그 다음 단어를 예측할 수 있으려면, 책의 전체 줄거리를 이해해야 합니다. 등장인물, 동기, 도끼가 공중을 어떻게 가르는지에 대한 세상 모델 등을 이해해야 합니다. 잘 모르겠지만, 그 다음 단어를 예측하기 위해서는 세상에 대해 너무나 많은 것을 이해해야 합니다.

이것이 이 패러다임의 아름다움입니다. 그리고 또 다른 점은 인터넷 전체에서 훈련되었기 때문에 매우 일반적이라는 것입니다. 그래서 많은 일반성을 얻게 됩니다. 정말 인상적이었던 것은, 이 사전 훈련 패러다임에 더 많은 데이터와 더 많은 컴퓨팅 파워, 더 큰 모델을 투입할수록 다음 단어를 예측하는 이 작업에서 꾸준히 성능이 향상된다는 것을 지속적으로 확인했다는 점입니다. 그리고 실제로, AI 분야에는 매우 유명한 논문들이 있습니다. "신경 언어 모델의 스케일링 법칙(Scaling Laws for Neural Language Models)"과 "컴퓨팅 최적 대규모 언어 모델 훈련(Training Compute-Optimal Large Language Models)" 같은 논문들은 모델 크기, 훈련량, 데이터 양을 늘릴수록 모델이 다음 단어 예측 작업에서 얼마나 더 나아질지를 매우 예측 가능하게 측정할 수 있음을 보여줍니다. 이것이 바로 OpenAI가 이러한 모델 확장에 많은 돈을 투자할 자신감을 갖게 된 근본적인 기반입니다.

이제 다음 단어를 예측하는 것이 반드시 코딩과 같이 우리가 실제로 중요하게 생각하는 것들에서 더 나아진다는 것을 의미하지는 않습니다. 하지만 경험적으로 볼 때, 다음 단어를 예측하는 이 작업에서 더 나아질수록 코딩, 수학, 질문 답변과 같이 우리가 중요하게 생각하는 모든 후속 작업에서도 더 나아진다는 것을 알 수 있습니다. 이것이 바로 GPT-1에서 GPT-2 이후로 전체 GPT 패러다임을 이끌어온 힘입니다. 그리고 모델들이 점점 더 나아지는 것을 볼 수 있습니다.

예를 들어, "모든 사람이 참석할 수 있도록 크리스마스 파티를 언제 조직해야 할까요?"라는 질문과 함께 여러 제약 조건이 주어집니다. 약 5,000달러의 비용이 든 GPT-2에게 이 질문을 하면, 이해하지 못합니다. 합리적인 답변조차 하지 못합니다. GPT-3에게 물으면 답변을 하지만 틀렸습니다. GPT-3.5도 마찬가지입니다. 하지만 GPT-4에게 물으면 실제로 정답을 제시합니다. GPT-4와 이전 모델들 간의 주요 차이점은 GPT-4가 더 많은 데이터로 더 오랫동안 훈련된 더 큰 모델이라는 점이며, 이는 비용을 더 비싸게 만듭니다. 이것은 대단합니다.

솔직히 GPT-3가 나오고 이 추세선이 계속되었을 때, AI 분야의 많은 사람들은 "좋아, 이게 다다. 우리는 초지능에 대한 답을 찾았다. 우리가 해야 할 일은 이것을 계속 확장하는 것뿐이고, 그러면 우리는 임의의 수준의 지능을 얻게 될 것이다"라고 생각했습니다. 그리고 저는 실제로 이론적으로는 그것이 사실이라고 생각합니다. 하지만 핵심적으로 이해해야 할 것은 이것이 매우 빠르게 매우 비싸진다는 것입니다. GPT-2는 측정 방식에 따라 5,000달러에서 50,000달러 정도 비용이 듭니다. 이 웹사이트에서는 GPT-4 비용이 약 5천만 달러라고 말합니다.

이것을 몇 배 더 확장하려면 매우 빠르게 비용이 엄청나게 증가할 것이라고 상상할 수 있습니다. 그리고 또 다른 점은, 네, 더 똑똑해지고는 있지만 여전히 갈 길이 멀다는 것입니다. 이것이 로니(Ronnie)가 말했던, 이 분야가 매우 빠르게 발전하고 있다는 점으로 돌아갑니다. 그래서 LLM과 스케일링 패러다임에 대해 들어봤을 수 있는 많은 비판들이 1년 전에는 사실이었을지 모르지만, 9월 이후로는 사실이 아닐 수 있습니다. 왜냐하면 이제 우리는 **추론 모델(reasoning models)**을 가지고 있기 때문입니다.

이것이 스케일링의 두 번째 패러다임입니다. 이제 추론의 아이디어는 이렇습니다. 제가 사전 훈련 비용이 급격히 증가했다고 말했습니다. 수천만 달러를 넘어섰습니다. 일부 훈련 실행에는 수억 달러가 소요되었습니다. 네, 더 나아갈 수 있습니다. 수십억, 수백억 달러까지 갈 수 있습니다. 하지만 어느 시점에서는 경제적 수익이 따라오지 않습니다. 하지만 핵심적으로 이해해야 할 것은, 이러한 훈련 비용이 급증하는 동안 추론 비용, 즉 실제로 모델에게 질문하는 비용은 상당히 저렴하게 유지되었다는 것입니다. 이제 이것이 스케일링을 위한 새로운 차원입니다.

훈련 비용을 늘리는 대신, 모델이 응답하기 전에 생각하는 양을 늘리는 것은 어떨까요? 이것이 바로 O 시리즈 모델, O1의 아이디어입니다. GPT-4에게 질문하면 대략 1센트 정도의 비용이 듭니다. O1에게 질문하면 오랜 시간 동안 생각할 것입니다. 아마도 1분 정도 생각한 후에 응답할 것입니다. 그리고 답변 하나당 대략 1달러 정도의 비용이 들 수 있습니다. 하지만 그 응답은 1센트짜리 응답보다 훨씬 더 좋을 것입니다.

여기 오른쪽 그래프에서 볼 수 있습니다. 이것은 AME입니다. 미국 수학 올림피아드 팀 선발 자격 시험인 경쟁 수학 문제입니다. y축은 정확도, 즉 이 시험에서의 pass@1(첫 시도 정답률)이고, x축은 모델이 이 질문에 답하기 위해 소비하는 추론 컴퓨팅 양입니다. 맨 왼쪽은 기본적으로 즉시 응답하는 경우이고, 맨 오른쪽은 몇 분이 걸리는 경우입니다. 모델이 더 오래 생각할수록 점수가 꽤 깔끔하게 향상되는 것을 볼 수 있습니다.

이것은 우리에게 스케일링을 위한 새로운 차원을 제공합니다. 그리고 이 차원의 아름다운 점은 거의 활용되지 않았다는 것입니다. 제가 말했듯이, GPT-4는 쿼리당 대략 1센트의 비용이 듭니다. 사람들이 관심을 갖는 많은 질문들 중에는 1센트 이상을 기꺼이 지불할 만한 질문들이 많이 있습니다. 그리고 이제 우리는 이것을 달러, 수십 달러, 어쩌면 그 이상으로 확장할 수 있는 많은 여지가 있습니다.

제가 모델이 추론한다고 말할 때 모델이 무엇을 하는지 예를 들어보겠습니다. 뉴욕 타임스 커넥션(Connections) 퍼즐을 해보신 분 계신가요? 오늘 것 아직 안 하신 분 계신가요? 왜냐하면 이건 오늘 것이기 때문입니다. 스포일러가 될 수 있습니다. 모델이 풀기 전에 정말 빨리 이 문제를 풀어보고 싶다면 30초 정도 시간이 있습니다. 좋아요.

이 퍼즐의 아이디어는 16개의 단어가 있고, 어떤 공유된 의미에 따라 4개씩 4개의 그룹으로 묶어야 한다는 것입니다. 이 단어들을 보고 어떤 연관성을 발견할 수 있는지 시도해 볼 수 있습니다. 이것을 모델에 입력하고 O1에게 물어볼 수 있습니다. 실제로 지금 바로 할 수 있습니다. 챗지피티 플러스(Chat GPT Plus)가 있다면 로그인해서 이 질문들을 주면 됩니다. 실제로 이 스크린샷을 주고 풀라고 요청할 수 있습니다. 그러면 모델은 이렇게 할 것입니다. 추론할 것이고, 자연어로 매우 인간과 유사한 방식으로 추론할 것입니다. 기본적으로 모델이 하는 일은 우리가 사고의 연쇄(chain of thought)라고 부르는 것인데, 이것은 모델이 즉시 응답하는 대신 문제를 해결하는 방법에 대해 스스로에게 말하는 내적 독백과 같습니다. 몇 가지 옵션을 검토하는 것을 볼 수 있습니다. "bites"에서 "frostbite"처럼 단어를 연결하여 구나 복합어를 만드는 것을 생각하고 있습니다. "border", "edge", "fringe", "skirt"와 같은 단어들이 경계와 관련된 의미를 공유하는 방식을 파악하고 있습니다. "French onion"과 같은 것들을 고려하고 있습니다. 그리고 이것을 1분 반 동안 계속할 것입니다. 실제로는 꽤 길어질 것입니다. 그리고 마지막에는 "좋아, 이것에 대해 추론해 보았고 답은 이렇다. border, edge, fringe, skirt는 모두 경계의 동의어이다. bite, clip, file, paint는 모두 손톱(nails)과 관련이 있다." 등등으로 말할 것입니다. 그리고 이것은 실제로 정답이며, 제가 하는 것보다 훨씬 빠르게 해냅니다.

우리가 중요하게 생각하는 벤치마크에서의 성능은 어떤 모습일까요? 맨 왼쪽은 경쟁 수학, AME 2024입니다. GBD4(역주: GPT-4를 의미하는 듯)는 이 벤치마크에서 약 13%를 얻습니다. 9월에 출시한 O1 프리뷰는 약 57%를 얻습니다. 12월에 출시한 O1은 약 83%를 얻습니다. 이것은 빠르게 상승하고 있습니다. 그래서 진행 속도가 빠르다는 점으로 돌아가고 싶습니다. 우리는 9월에 O1 프리뷰를 출시했고, 12월에 O1을 출시했으며, 아직 출시하지 않은 O3도 12월에 발표했습니다. 코딩에 대한 O3의 수치는 잠시 후에 말씀드리겠지만 훨씬 더 높습니다. 그리고 그 이후로 수치는 더 상승했습니다. 경쟁 코딩, 이것은 코드포스(Codeforces)입니다. GBD4(역주: GPT-4를 의미하는 듯)는 11백분위수를 얻습니다. 이것은 진지한 경쟁 코더들, 즉 인간 경쟁 코더들 사이에서의 순위입니다. O1은 89백분위수를 얻습니다. 이것은 매우 인상적인 결과입니다.

박사 수준 과학 문제, GPQA 벤치마크입니다. 이것은 기본적으로 해당 분야의 박사 전문가여야 답할 수 있는 객관식 질문입니다. 인간은 70%를 맞춥니다. GBD4(역주: GPT-4를 의미하는 듯)는 56%를 맞췄는데, 이것도 솔직히 매우 인상적입니다. O1은 78%를 맞춥니다. 다시 한번, 이 수치는 9월에 발표된 이후로 상승했습니다. 우리는 9월에 O1을 발표했고, 9월에 O1 프리뷰를 출시했으며, 12월에 O1을 발표했고, O1을 출시했으며, O3를 발표했습니다. 경쟁 코딩, 코드포스입니다. O1은 1890점, 즉 89백분위수를 얻었습니다. 이것은 엘로(Elo) 점수입니다. O3는 2700점을 얻는데, 이는 인간 전문 경쟁 코더들 중 상위 0.1%에 해당합니다. 세계에서 175번째로 뛰어난 경쟁 코더 정도였던 것 같습니다. 우리는 그 이후로, 샘(Sam)이 강연에서 언급했던 것처럼, 약 한두 달 전에 내부적으로 세계 상위 50위 안에 드는 모델을 갖게 되었다고 발표했습니다. 그리고 이 수치들을 보면, 올해 말까지 우리 모델들이 경쟁 코딩에서 초인적인 수준이 될 것이라고 완전히 예상합니다. 이것은 경쟁 코딩입니다. 다시 말하지만, 역사적으로 인상적인 AI 결과들이 많았습니다. 딥블루는 1997년에 세계 체스 챔피언 게리 카스파로프를 이기는 AI를 만들었습니다. 그래서 제가 초인적인 수준에서 무언가를 하고 있다고 말할 때, 그 자체는 새로운 것이 아닙니다. AI 역사상 그런 결과는 많았습니다. 하지만 O3가 특별한 점은 단지 경쟁 코딩뿐만 아니라 많은 것들을 정말 인상적으로 해낸다는 것입니다. 실제로, 스윗벤치 검증(SWE-bench verified)이라는 벤치마크가 있는데, 여기에는 실제 세계의 코딩 작업들이 포함되어 있습니다. 이 작업들은 인간이 풀 리퀘스트(pull request)를 제출하기 위해 하는 모든 것들을 요구합니다. O1 프리뷰는 41%를 얻었습니다. 이것도 이미 최첨단 수준입니다. O1은 이 벤치마크에서 49%를 얻었습니다. O3는 72%를 얻습니다. 따라서 코딩에만 훈련된 것이 아님에도 불구하고 이 모델에는 많은 실제 경제적 영향력이 있습니다. 로니(Ronnie)가 말했던 것을 다시 강조하자면, AI는 매우 빠르게 움직이고 있습니다. 저는 이것을 강조하고 싶습니다. 왜냐하면 AI 분야의 사람들을 포함하여 AI에 대한 많은 회의론을 보기 때문입니다. 그리고 저는 그러한 비판의 상당 부분이 진행 속도가 너무 빨랐다는 사실 때문이라고 생각합니다. 그들이 결함으로 지적하는 것들의 상당수는 6개월 전에는 사실이었지만 오늘날에는 더 이상 사실이 아니거나, 3개월 또는 6개월 후에는 반드시 사실이 아닐 수도 있는 것들입니다. 예를 들어, 2023년 여름 중반에 열린 자연어 처리 컨퍼런스 기조 강연에서 연사는 어떤 모델도 할 수 없는 예시로 이 프롬프트를 제시했습니다. 블록 C가 블록 A 위에 있고 블록 B가 테이블 위에 별도로 있을 때, 블록 A가 블록 B 위에, 블록 B가 블록 C 위에 오도록 블록 스택을 만들 수 있는 방법을 알려달라는 추론 과제인데, 단 블록 C는 움직이지 않아야 합니다. 정답은 실제로는 불가능하다는 것입니다. 기존의 어떤 언어 모델에게 이 질문을 하면 항상 어떤 종류의 답변을 환각처럼 만들어내며 "오, 네, 이렇게 하면 됩니다"라고 말했지만, 실제 정답은 불가능하다는 것이었습니다. 그런데 이제 O1을 보면 처음부터 이것이 불가능하다는 것을 바로 인식합니다. 사실 이제는 GPT-4.5조차도 이것이 불가능하다는 것을 바로 인식합니다. 그러니 여러분 모두 이것을 명심하시기 바랍니다. 사람들이 "좋아, 이건 불가능해, 언어 모델은 이걸 할 수 없어, 그래서 별일 아닐 거야"라고 말할 때, 첫째로 오늘날 기준으로 사실이 아닐 수도 있고, 설령 오늘 사실이라 하더라도 3개월 또는 6개월 후에는 반드시 사실이 아닐 수도 있다는 점을 염두에 두십시오.

(다른 연사로 전환 - 지정학 그룹 토론 요약)

다시 오신 것을 환영합니다. 이렇게 참여해 주셔서 정말 감사합니다. 지정학 토론은 환상적이었습니다. 많은 참여와 흥미로운 아이디어들이 나왔던 그 토론에서 몇 가지 요약하고 싶은 내용이 있습니다.

하나는 OpenAI의 미션, 즉 모든 인류에게 혜택을 주는 것에서 시작합니다. 제가 그룹에서 말했듯이, 이곳 사람들은 이것을 매우 진지하게 받아들입니다. 따라서 더 분열된 지정학, 강대국 경쟁, 양극화가 현재 우리의 환경을 어떻게 형성하고 있으며 이것이 우리 기술에 어떤 영향을 미칠 것인가 하는 이 아이디어는 OpenAI에서 정말 최우선 순위입니다.

우리는 저에 대한 사람들의 조언에 대해 많이 이야기했습니다. 저는 제 그룹을 일종의 무료 컨설팅처럼 활용했습니다. 괜찮았기를 바랍니다. 그런 다음 그들에게 물었습니다. 우리는 무엇을 해야 할까요? 그리고 그룹은 다양한 아이디어를 내놓았습니다. 어떤 분들은, 그리고 회사 내부의 많은 사람들이 공유하는 생각이라고 생각하는데, 일종의 민주적 AI와 독재적 AI 사이에 선을 긋고, 세계 여러 차원에서 이미 그려지고 있는 분열선을 긋고, 민주적 AI와 함께 오는 가치를 받아들이고 우리 제품에 구현하는 것의 중요성을 정말로 보았습니다. 그리고 여러분은 우리가 하고 있는 일부 작업에서 그것을 보고 있습니다.

하지만 다른 분들은 우리에게 이러한 분열된 세계를 받아들이는 것에 대해 경고했고, 저는 이것을 마음에 새겼습니다. 만약 그렇게 한다면, 우리가 신뢰를 얻으려고 노력하는 주요 시장에서 신뢰를 잃을 수도 있고, 실제로 핵심 인재에 대한 접근성을 잃을 수도 있다는 경고였습니다. 그래서 그것의 균형을 맞추는 것이 토론의 매우 중요한 주제였습니다.

"도대체 수석 경제학자가 이 모든 국가 안보 및 지정학 문제와 무슨 관련이 있는가? OpenAI에 그 일을 담당하는 다른 사람이 있지 않은가?"라는 매우 흥미로운 질문이 있었습니다. 정말 흥미로운 질문이었고, 저는 여기서도 강조하고 싶은 점을 이야기했습니다. 최근 경제학이 이러한 국가 안보 문제에 대해 할 말이 많았는지는 잘 모르겠지만, 제가 행정부에서 정부 일을 할 때, 저는 종종 장군들이나 3글자 약칭의 기관들을 대표하는 사람들과 직접 맞닥뜨렸습니다. 경제학과 국가 안보는 많은 맥락에서 혼합되고 있습니다. 그리고 저는 지금 이런 회사나 정부에서 활동하는 경제학자들이 모든 면에서 이러한 논의에 참여할 도구를 반드시 갖추고 있지는 않을 수도 있지만, 문제들이 우리에게 다가오고 있고 사람들이 우리를 그러한 논의에 참여시키고 있다고 생각합니다.

그래서 OpenAI에는 훌륭한 지정학 팀이 있고, 우리의 가까운 동료들이지만, 그러한 질문들 중 상당수는 근본적으로 경제적인 문제이기도 합니다. 그리고 누군가를 토론에 참여시키고 다른 언어를 가진 사람, 즉 경제학자가 예를 들어 소비자 잉여나 외부 효과에 대해 이야기하고, 국가 안보 담당자가 실존적 위험에 대해 이야기할 때, 그것은 경제학자들이 아직 따라잡고 있을지라도 경제학자들이 어떻게 해야 하는지 배워야 할 대화라고 생각합니다.

세 번째로 제기된 흥미로운 주제는, 파운데이션 모델에 대한 모든 작업과 딥시크(deep-seek)의 개념, 그리고 **빠른 추격자(fast follower)**가 되는 것이 충분히 좋을 수 있다는 개념과 함께, 그것이 지정학을 어떻게 형성하는가 하는 것이었습니다. 그래서 일부 시장에서는, 만약 당신이 빠른 추격자이고 최첨단 모델보다 60% 성능을 내는 훨씬 저렴한 모델을 가지고 있다면, 국가 차원에서 그것을 채택할 것인가, 그리고 그것이 OpenAI에게 무엇을 의미하는가? 다른 한편으로, 당신의 국가가 최첨단 모델의 60% 역량을 가진 모델을 갖기를 정말로 원하는가? 그것이 경쟁력 있는 산업을 구축할 수 있게 해줄 것인가? 제가 말씀드릴 수 있는 것은, 유럽에서는 지금 정확히 그 논의가 이루어지고 있다는 것입니다. 이것이 바로 우리가 파리에 있었을 때 프랑스 대통령 마크롱이 프랑스에 막대한 인프라 투자를 발표한 이유 중 하나입니다. 이 투자는 부분적으로 민간 자본으로 자금을 조달하지만, 걸프 지역의 국부 펀드도 포함됩니다. 그래서 여러분은 이제 프랑스와 중동 국가들 사이에 AI 인프라 구축을 위해 형성된 새로운 동맹을 보고 있습니다.

이러한 것들은 OpenAI 내부 사람들에게 중요합니다. 우리의 슬랙 채널을 보거나 타운홀 미팅을 들으면, 사람들이 이것에 대해 정말 신중하게 생각하고 있다는 것을 알게 될 것입니다. OpenAI에는 매우 국제적인 그룹도 있습니다. 따라서 세계의 다른 지역들이 다른 종류의 기술을 채택하고 초강대국 간의 경쟁이 벌어지는 이 개념은 많은 사람들에게 불안감을 줍니다.

마지막으로, 우리 그룹에는 해군 대학원(Naval Postgraduate School) 출신이 있었습니다. 군사 및 국방 요소는 지정학에서 정말 핵심입니다. 군대는 빠른 속도로 AI를 채택하고 있습니다. 그리고 예를 들어 중국의 더 중앙 집중화된 군대와 비교하여 상당히 분산된 미군과 같은 군대의 구조가 이러한 기술의 확산과 군사 능력 개발에 어떤 의미를 가지는지, 그리고 우리가 모델을 개발하고 보급할 때 그것을 어떻게 고려해야 하는지 생각해 보는 것은 흥미롭습니다. 그래서 훌륭한 토론이었고, 정말 흥미로웠으며, 즐거웠습니다. 제 그룹의 모든 분들과 후속 조치를 취하기를 바랍니다.

이제 그룹 1번에게 넘기고 싶습니다. 목록 순서대로 진행하겠습니다. 그룹 1번?

(그룹 1: 교육 토론 요약)

그룹 1은, 제 생각에, 넓게는 교육에 관한 것이었습니다. 그리고 우리는 정말로 한 가지 주제에 깊이 파고들었던 것 같습니다. 우리는 학생들이 교실에서 AI를 사용하는 것, 교육, 생산 함수, 이것이 평가 방식에 어떤 영향을 미치는지, 그리고 무엇이 필요한지에 대해 이야기하기 시작했습니다. 거기서 약간의 의견 교환이 있었습니다. 누군가가 챗지비티(Chat GBD - 역주: ChatGPT를 의미하는 듯)에 무언가를 복사-붙여넣기 하고 다시 제출하는 것을 평가하기가 얼마나 어려운지에 대한 몇 가지 의견이 있었습니다. 그리고 또 다른 의견으로는, 커리큘럼이 어떻게 적응해야 할지에 대한 약간의 이야기가 있었습니다. 또한 이것이 우리가 아이들에게 곱셈을 시키지만 계산기를 사용하지 못하게 하는 것과 비슷한지에 대한 의견도 있었습니다. 그리고 나서는 계산기 사용에 정말 능숙해져야 합니다. 그래서 우리는 그것에 대해 약간의 대화를 나눴습니다.

그리고 저는 이것이 두 번째 관련 사항을 제기했다고 생각합니다. 즉, 교수 측과 학생 측 모두에서 얼마나 많이 사용되고 있는지, 어떤 유형의 사람들이 이것들을 사용하고 있는지였습니다. 그래서 제 생각에는, 제가 다른 의견들을 모으고 있는 것 같은데, 이것들 중 일부는 이것들을 사용하는 사람들과 사용하는 강도에 이질성이 있다는 것이었습니다. 그래서 모두가 "네, 챗지비티를 사용해요"라고 했지만, 구조화된 방식으로 학습하거나 질문에 답하기 위해 사용하는 것은 같지 않았습니다. 네, 제 생각에는 기본적으로 시간이 다 된 지점이 거기였던 것 같습니다. 5분 정도 지난 것 같았는데 벨이 울리고 끝났다고 했습니다.

(그룹 2: 과업 측정/신흥 시장 토론 요약)

네, 저는 노트를 했습니다. 왜냐하면 우리는 시장 구조, 사회 안전망, 신흥 시장, 불평등, 조세 등 많은 주제에 걸쳐 토론을 했기 때문입니다. 하지만 몇 가지 더 구체적인 것에 초점을 맞추고 싶습니다. 첫 번째는 기존 과업 측정 지표의 확장과 같은 것이었습니다. 논문에서 GPT는 각 과업에 대한 일종의 노출 측정 지표가 있다고 말하지만, 우리는 아마도 다음과 같은 것을 포함하는 일종의 다차원적 과업 측정 지표를 가질 수 있다고 논의했습니다. 첫째, 과업의 경제적 가치입니다. AI가 과업을 잘 수행하면 결과적으로 얼마나 많은 경제적 가치가 창출되는가? 두 번째 차원은 위험 차원입니다. 여기에는 특정 과업에서 AI가 실패할 경우, 그 맥락에서 극단적인 결과가 얼마나 비용이 많이 들 것인가 하는 것이 포함됩니다. 그리고 마지막은 과업 복잡성입니다.

그래서 여기서는 정말로, 이전에 나눴던 대화에서 영감을 얻었다고 생각합니다. 각 과업에는 하위 과업의 분포가 있을 수 있으며, 그중 일부는 꼬리 부분의 맨 끝에 있을 수 있습니다. 따라서 AI가 잘 수행할 가능성이 낮을 수 있습니다. 따라서 기본적으로 이러한 과업 복잡성 측정 지표는 AI가 특정 과업을 얼마나 잘 수행할 가능성이 있는지에 대한 감을 줄 것입니다.

우리가 다뤘던 두 번째 큰 주제는 좀 더 지정학적인 측면으로 들어가는 것이었습니다. 우리는 특히 개발도상국 맥락으로 가면 선진국과는 매우 다른 산업 구성이 있을 수 있다는 점 등 특정 사항에 대해 논의했습니다. 그리고 산업 구성은 해당 맥락에서 AI가 얼마나 잘 수행되는지를 매우 시사할 수 있습니다. 우리는 또한 언어 측면도 논의했습니다. 주로 선진국에서 개발된 AI는 훈련 데이터가 적은 언어에서는 성능이 좋지 않을 수 있습니다.

제 생각에 그 맥락에서 별개의 측면은 신흥 경제에서의 기회는 무엇인가 하는 것이었습니다. 예를 들어, 의료 서비스의 라스트 마일(last mile) 배송을 생각해 봅시다. 휴대폰과 연결성을 가진 모든 사람은 잠재적으로 갑자기 의료 조언을 받을 수 있습니다. 그리고 다시 한번, 우리는 맥락을 염두에 두어야 합니다. 왜냐하면 대안은 기본적으로 아무런 의료 서비스를 받지 못하는 것이기 때문입니다. 따라서 아마도 우리가 달성해야 할 기준치는 그 맥락에서 훨씬 낮을 수 있으며, 실제로 많은 혜택으로 이어질 수 있지만, 잠재적으로 특정 기술의 도약(leapfrogging)으로 이어질 수도 있습니다. 감사합니다.

(그룹 3: 기업 AI 토론 요약)

그룹 3에서는 기업에서의 AI의 경제적 결과와 영향에 대해 이야기했습니다. 높은 수준에서 우리는 AI가 근본적으로 기업 환경을 재편하고 있다는 결론에 도달했습니다. 하지만 변화는 단지 인간이나 기업을 대체하는 것에 관한 것이 아니라, 오히려 **기술화 경쟁(race to technologize)**에 관한 것입니다. 그리고 이것은 기업 내부, 즉 포춘 500대 기업, 중소기업(SMB), 그리고 그 사이의 모든 기업 내에서 일어나고 있습니다.

우리가 논의한 방식은 세 가지 주요 차원으로 나뉩니다. 첫째, AI가 인간을 대체하는 것. 제 생각에 진짜 질문은 AI가 앞으로 인간의 역할을 보강하거나 대체할 것인가가 아니라 어떻게 할 것인가입니다. 둘째, AI가 기업을 대체하는 것. 이것은 한 구성원이 논의한 흥미로운 주제였습니다. AI 스타트업이 기존 기업을 추월하기보다는, 오히려 AI를 효과적으로 채택하고 통합하기 위한 경쟁입니다. 은행과 같은 산업이 이러한 격차를 보여줍니다. 일부는 AI에 투자할 기술 인재를 보유하고 있지만, 다른 일부는 메인프레임과 같은 레거시 시스템에 의존하며 AI를 사용하여 현대화하고 있습니다. 기업은 AI 채택을 주도할 것인지 아니면 뒤처질 것인지를 결정해야 합니다. 셋째, 인간 및/또는 기업의 관점에서 AI를 구현하는 것. 성공은 최신 AI 발전을 이해하고 적용하는 사람들에게 달려 있습니다. 그리고 그 영향은 기술 지원, 운영 효율성, 전략적 의사 결정 전반에 걸쳐 있습니다. 그래서 큰 질문은, AI 여정은 무엇인가? 입니다. 기업은 변화를 계획해야 합니다. 당신은 오늘 어디에 있는가? 그리고 2년 후에는 어디에 있어야 하는가? 이것들이 기업들이 묻고 있는 큰 질문들입니다. 그리고 여정은 단지 AI 도구를 구입하거나 라이선스나 영수증을 사는 것에 관한 것이 아니라, 오히려 가치 사슬 전반에 AI를 내재화하는 것에 관한 것입니다.

그래서 우리는 자문했습니다. 오늘날 AI 리더가 된다는 것은 무엇을 의미하는가? 그리고 그것은 몇 가지로 요약됩니다. 첫째, 팀 역량 강화. 엔지니어나 다른 역할을 위해 AI 기반 코파일럿(co-pilots)을 배포하는 것입니다. 그 코파일럿은 오늘날 단지 비서(assistant)가 되고 있습니다. 정말 좋은 비유가 있습니다. GBT-3(역주: GPT-3)는 도구(tool)였습니다. GBT-4(역주: GPT-4)는 비서(assistant)였습니다. 그리고 GBT-Next(역주: GPT-Next)는 에이전트(agent)입니다. 그래서 오늘날 우리는 코파일럿을 배포하고, 비서를 배포하고 있습니다. 하지만 미래에는 아마도 에이전트를 배포하게 될 것입니다. 둘째, 고객 경험 향상. 이것은 비서 챗봇에서 개인화에 이르기까지 어떤 형태든 될 수 있습니다. 셋째, 전략적 AI 구현. 조직 내에서 AI 배포를 위한 영향력이 큰 영역을 식별하는 것입니다. 그리고 마지막으로 라이선싱을 넘어서는 것. AI 채택은 단지 도구를 구매하는 것에 관한 것이 아니라, 첫째, 상당한 비율의 직원들이 적극적으로 AI를 사용하고 잘 사용하는 것을 보장하는 것입니다. 둘째, 맞춤형 통찰력을 위해 AI 시스템이 사용자 정의되는 것입니다. 그래서 제 생각에, 궁극적으로 AI로 승리하는 기업들은 단지 그것을 사용하는 데 그치지 않고, 그것으로 구축하고, 적응하고, 주도할 것입니다. 기업들에게 질문은, 그들이 리더가 될 것인가 아니면 추종자가 될 것인가입니다.

(그룹 4: 경제학 연구에서의 AI 활용 토론 요약)

안녕하세요, 헤만트입니다. 다른 연사들과 달리 이 마이크는 제 키에 딱 맞네요. 그래서 꽤 좋습니다. AI의 경제학을 이해하는 것의 영향에 대해 많은 이야기가 있었습니다. 그리고 물론 그것은 적어도 저에게는 극히 중요합니다. 하지만 만약 우리가 AI가 어떤 변혁적인 경제 기술이라고 생각한다면, 우리는 그것이 경제학 분야 자체에도 변혁적인 기술이라고 생각해야 합니다. 그리고 적어도, 그것이 경제학이 이 모든 것을 따라잡는 방식일 수 있습니다. 그래서 우리 그룹이 이야기했던 것은 어떻게 AI를 활용하여 이전에는 불가능했던 새로운 유형의 경제 연구를 할 수 있는가에 대해 생각하는 것이었습니다. 그리고 우리는 그것이 다른 산업에 비해 비교 우위를 가질 수 있는 방식에 주로 초점을 맞추었습니다. 왜냐하면 많은 간단한 것들조차도, 텍스트 분석, 즉 많은 자료를 읽고, 텍스트, 이미지 등 무엇이든 이해할 수 있는 이것의 기본 아이디어는, 마치 MTurk(아마존 미케니컬 터크)처럼, 또는 단순한 역할처럼 될 수 있지만, 대규모로 그리고 매우 저렴한 양으로 새로운 유형의 분석을 가능하게 하기 때문입니다. 그래서 우리는 그것에 대해 스펙트럼 전반에 걸쳐 이야기했습니다. 기본적인 것부터, 제 텍스트에 몇 가지 레이블을 분류하는 것, 이 연설이 얼마나 진보적인지 보수적인지 같은 것들, 그리고 신경망, 미세 조정된 언어 모델을 회귀 분석에서 통계 도구로 사용하여 경찰 보고서와 같은 고차원 텍스트와 체포 여부와 같은 저차원 결과 사이의 복잡한 관계를 자체적으로 학습하도록 하는 것까지 말입니다. 그리고 그 중간에서, 언어 모델을 사용하여 텍스트와 결과 사이의 복잡한 관계뿐만 아니라 간결한 관계를 밝혀내기 위해 무엇을 할 수 있는지 이야기했습니다. 텍스트에서 다소 비지도적인 방식으로 가장 중요한 특징들, 그것이 사람의 특정 특성이든 특정 태도나 감정이든, 추출해낼 수 있는지 말입니다.

우리가 이야기한 두 번째 부분은 AI 에이전트가 인간의 선호를 이해하고, 금융 상호작용이나 금융 시장과 같은 인간 상호작용을 시뮬레이션하고, 여론 조사를 시뮬레이션하는 데 얼마나 인간의 역할을 할 수 있는지였습니다. 우리는 그것에 대해 연구가 아직 초기 단계라는 관점에서 이야기했습니다. AI 선호도를 이해하고, 그것이 인간과 어떻게 일치하는지, 다른 성격을 채택하도록 어떻게 프롬프트를 줄 수 있는지, 그럼으로써 사람들의 더 대표적인 행동 표본을 채택할 수 있는지에 대한 연구 말입니다. 우리는 또한 그 반대의 경우에 대해서도 이야기했습니다. 즉, 인터넷을 들여다보고, 소셜 미디어를 포함한 많은 출처로부터 사람들에 대한 훨씬 더 많은 데이터를 보고, 그들의 선호를 이해하고, 그들이 바나나를 더 좋아하는지 오렌지를 더 좋아하는지에 대한 그들의 선택을 이해하는 방법입니다. 이전에는 가능했던 것보다 훨씬 더 많이 말입니다. 그리고 우리가 AI에게 인간을 대표하도록 요청할 수 있는 것만큼이나, 인간의 선호를 드러내기 위해 그것을 어떻게 사용할 수 있는지에 대해서도 이야기했습니다. 이것이 제 그룹이 논의한 내용의 일부였습니다. 감사합니다.

(그룹 5: AI 능력 최전선 토론 요약)

우리는 노암(Noam)의 강연, 에릭(Eric)과 로니(Ronnie)의 발언, 그리고 제 발언에서 나왔던 **AI 능력의 최전선(capability frontier)**을 어떻게 특징지을 것인가에 대해 이야기했습니다. 많은 논의는 LLM이 현재 할 수 없는 작업의 구분을 어떻게 만들 것인가에 관한 것이었습니다. 몇 가지 아름다운 아이디어들이 있었습니다. 인간을 특정 작업에 매우 능숙하게 만드는 진화적 압력에 대한 이러한 지적들, 즉 수백만 년에 걸친 느린 진화적 과정이 우리를 믿을 수 없을 정도로 효율적으로 만든다는 것입니다. 따라서 컴퓨터가 다양한 작업 전반에 걸쳐 상당히 불가지론적인 반면, 인간이 유난히 잘하는 것에 대해 더 많이 이야기했습니다. 두 번째는 훈련 과정에 관한 것으로, 장기적 과업(long horizon tasks)은 본질적으로 우리가 LLM을 훈련하는 방식으로는 더 어렵다는 것입니다. 셋째는 **모호한 과업(fuzzy tasks)**에 관한 것으로, 여러 가지 방식으로 해석될 수 있지만, 특히 긴 형식의 출력에서는 심층 연구가 모호한 과업에서 꽤 잘 수행되는 것처럼 보이지만, 본질적으로 훈련하기 어렵습니다. 부분적으로는 출력을 평가하기 위해 종종 인간이 필요하기 때문이며, 이는 본질적으로 매우 비용이 많이 듭니다. 넷째는 정보가 아직 디지털화되지 않은 작업은 어렵다는 이 질문입니다. 그리고 다섯째는, 많은 경우에 에릭이 고객 서비스의 좋은 예를 들었던 것처럼, 여전히 컴퓨터가 실패하고 인간이 여전히 상당히 신뢰할 수 있는 긴 꼬리(long tail)의 것들, 즉 이례적인 사례를 특징짓는 것이 좋은 방법이라는 감각입니다.

그리고 우리가 가졌던 두 가지 긴 여담이 있었습니다. 하나는 능력 발전의 방향에 영향을 미치는 것이 가능한 정도에 대한 정말 흥미로운 질문입니다. 아니면 진정으로 잠재적인 지능 감각만 존재하고, 지능에서 가장 높은 수익률을 내는 곳 어디에서든 작업하는 것이 합리적인가 하는 것입니다. 그리고 두 번째는 능력에 상한선이 있을 것이라는 좋은 주장이 있는가 하는 것입니다. 분명히 우리는 미친 듯이 성장하고 있고, 역사적으로 상한선이 있다는 많은 주장들이 있었으며, 그중 많은 것들이 틀린 것으로 판명되었습니다. 그리고 미래에 상한선이 있을 것이라고 믿을 만한 좋은 이유가 있는지 여부입니다.

(그룹 6: 의사결정 개선/에이전트 AI 토론 요약)

우리 그룹은 두 가지 주요 질문을 논의했습니다. 첫 번째는, 소비자, 근로자, 조직을 위한 의사결정을 개선할 AI의 잠재력은 무엇이라고 생각하는가? 입니다. 여기서 많은 논의가 있었고, 제 생각에 나온 한 가지 큰 점은, 잠재력이 무엇일 수 있는지는 보았지만, 최상위 잠재력은 어떤 모습일까? 상한선은 무엇일까? 입니다. 정보를 처리할 수 있다는 것을 압니다. 작동 기억이나 일반 기억과 같은 인지적 한계를 돕거나 인지 처리 측면에서 도움이 될 수 있다는 것을 압니다. 하지만 실제로 우리의 선호도가 무엇일지 생각하고 흡수할 수 있을까요? 목표 함수를 재정의하고, 확장하고, 재설계하는 데 도움이 될 수 있을까요? 의사결정 개선이 어떤 모습일지 생각해보면, 정보와 인지를 넘어서는 또 다른 차원은 우리가 생각하는 목표를 개선하는 방법에 관한 것일 수 있습니다.

그리고 우리가 이야기했던 두 번째는 그 과정에서의 마찰(frictions), 즉 장애물이었습니다. AI가 의사결정을 개선할 잠재력이 많다는 것을 안다면, 마찰도 많다는 것을 압니다. 과업 대 의사결정을 생각할 때, 의사결정을 생각할 때 발생하는 독특한 마찰은 무엇일까요? 그것은 우리가 완전히 위임하는 것에 대해 편안하게 느끼는지 여부에 관한 것일 수 있습니다. 신뢰에 관한 것일 수 있습니다. 특정 결정에 도달한 이유를 이해하고 설명하는 것에 관한 것일 수 있습니다. 물론 지금까지 등장한 다른 많은 기술에서 보아온 것과 동일한 유형의 채택 마찰에 관한 것일 수도 있습니다.

그리고 제 생각에 의사결정 개선 잠재력 측면에서 마지막으로 이야기했던 것은 실제로 개선이란 무엇을 의미하는가? 를 생각하는 것입니다. 물론 목표에 대한 부분이 있지만, 단기적 지표 대 장기적 지표에 대한 이 질문도 있습니다. 제 생각에 앞서 우리는 실제로 영향이 어떤 모습일지 어떻게 측정하는지에 대한 논의가 있었습니다. 그리고 그것이 조직이든, 소비자든, 근로자든, 우리가 보고 있는 단기적 효과와 실제로 일치하지 않는다면 장기적 효과가 어떨지 실제로 어떻게 생각할 수 있을까요?

그리고 우리 그룹이 생각했던 두 번째 큰 질문은, AI가 더 주체성을 갖게(agentic) 됨에 따라, 가능성은 무엇이며 이러한 가능성 중 일부를 실현하기 위해 필요한 제도는 무엇인가? 입니다. 제 생각에 여기서 논의할 내용이 너무 많을 것입니다.

우리 대화에서 나온 몇 가지는, 하나는 실제로 에이전트적 가능성, 또는 주체성을 가진 AI에서 오는 가능성에 대해 생각하는 것입니다. 우리가 생각할 수 있는 세 가지 광범위한 범주가 있을 수 있습니다. 첫 번째 범주는 인센티브 측면입니다. 에이전트를 위한 인센티브를 어떻게 설계하는가? 우리는 인간을 위한 대리인 이론(agency theory)을 연구해 왔지만, 에이전트에게는 그것이 어떤 모습일까요? 인간과 상호작용하는 측면에서 그들의 인센티브가 무엇일지 어떻게 생각할 수 있을까요? 따라서 인간이 콘텐츠를 생산하거나 선호를 가지고 있다면, 그러한 선호나 콘텐츠를 실제로 공유할 인센티브는 무엇일까요? 그리고 에이전트가 그러한 선호와 콘텐츠 중 일부를 실제로 통합할 인센티브는 무엇일까요?

제 생각에 두 번째 영역은 실제로 **관리(management)**에 관한 것입니다. 우리 중 많은 사람들이 경영대학원에서 왔습니다. 미래의 관리자는 어떤 모습일지 어떻게 생각할 수 있을까요? 이것이 어떤 수준에서는 정보 처리에 관한 것일까요? 예외 관리(management by exception)에 관한 것일까요? 아니면 다른 것일까요? 관리자가 어떤 모습인지 측면에서 우리가 생각해야 할 새로운 기술 세트가 있을까요? 그리고 그러한 결정 중 일부를 지원하기 위해 그들이 수행해야 할 핵심 과업은 무엇일까요?

그리고 제 생각에 마지막 부분은 실제로 **조직 재설계(organizational redesign)**에 관한 것입니다. 이것은 물론 AI와 의사결정을 생각할 때의 마찰과 연결되지만, AI에 대한 에이전트적 접근 방식을 생각할 때, 미래의 조직은 어떤 모습일지에 대한 완전히 새로운 질문들을 제기합니다. 의사결정 프로세스 흐름을 설계하고, 의사결정 권한을 결정하고, 조직의 핵심 기능이 실제로 어떤 모습인지 어떻게 생각할 수 있을까요? 조직 재설계의 핵심 요소가 무엇인지조차 어떻게 생각할 수 있을까요? 이 세 가지 핵심 부분을 생각하는 것이 가능성을 생각하는 데 중요할 것이라고 생각합니다.

그리고 제도적 측면에서는, 제 생각에 주로 많은 우려가 있습니다. 우리는, 제 생각에 우리가 이야기했던 큰 과제 중 하나는 어떻게 역사로부터 배울 수 있는가? 입니다. 인터넷이든, 이러한 발전을 실제로 어떻게 규제하는지에 관해서든 말입니다. 주체적 접근 방식에서 오는 가능성 중 일부를 실현할 수 있기 위해 필요한 제도는 무엇인지 어떻게 생각할 수 있을까요? 그리고 제 생각에 핵심 과제는, 특히 규제 노력, 정책 노력 뒤에 있는 핵심 인물들 중 상당수가 기술이 무엇인지조차 이해하지 못할 수 있기 때문에, 이러한 기술 중 일부를 개발하는 민간 당사자들 간의 다자간 조정(multilateral coordination)을 얻지 못할 수도 있다는 것입니다. 우리는 여전히 소셜 미디어와 그것이 어떻게 작동하는지에 대해 토론하고 있으며, 우리가 보고 있는 기술 변화의 속도는 말할 것도 없습니다.

따라서 다자간 조정을 얻을 수 없다면, 우리에게 필요한 제도는 무엇일까요? 어떤 핵심 질문들이 제기될까요? 예를 들어, 우리가 에이전트의 전체 경제에 위임하고 있다면, 그것이 위임된 에이전트인지 아닌지를 어떻게 확인할 수 있을까요? 이러한 질문 중 일부를 해결하기 위해 새로운 제도를 설계해야 할 새로운 질문은 무엇일까요?

(마무리 발언)

모든 팀 발표가 끝났나요? 네, 좋습니다. 제가 마무리로 무슨 말을 해야 할지 제 팀에게 물었더니, 사실 제가 제 성대한 인도 결혼식 마지막 날 연설해야 했을 때 받았던 것과 같은 조언을 주었습니다. 그 결혼식은 며칠간의 행사였는데, 조언은 이랬습니다. "사람들이 즐거운 시간을 보낸 것 같으니, 아마 피곤할 것이다. 짧게 해라." 네, 그렇게 하겠습니다. 사실 제 결혼식 때와 같은 세 가지가 있습니다. 저녁 식사, 기념품(swag), 그리고 감사입니다. 아시겠죠? 자, 이 행사가 끝나면 저녁 식사를 하게 됩니다. 바로 밖으로 나가시면 됩니다. 기념품도 좀 있을 겁니다. 결혼식 때처럼 제 얼굴이 박혀 있지는 않지만, 오픈에어(OpenAI) 관련 물품일 겁니다. 그리고 감사의 말씀입니다. 나탈리(Natalie)와 케이틀린(Caitlin)에게 다시 한번 감사드립니다. 또한 훌륭한 일을 해낸 제 경제 연구팀에게도 정말, 정말, 정말 감사합니다.

오늘 저녁 식사를 마치고 나가실 때, 이것을 일회성 행사의 끝으로 생각하지 마시고, 우리가 함께 할 여정의 시작을 만들려는 우리의 진정한 의도로 생각해 주시길 바랍니다. 더 참여하는 방법에 대해 저나 경제 연구팀의 누구든, 나탈리나 케이틀린에게 문의해 주세요. 훌륭한 하루를 만들어 주셔서 정말 감사합니다. 저녁 식사 맛있게 하세요!