1. Transformer 논문의 시초: Aidan Gomez는 2017년 Google 인턴으로 근무하면서 Transformer 논문 작성에 참여했습니다. 이 논문은 생성형 AI의 기초가 되는 기술을 설명하는 중요한 논문이었습니다.

2. 예상보다 빠른 발전: Gomez는 AI 모델의 기술적 발전이 그가 처음 예상했던 것보다 훨씬 빠르게 이루어졌다고 언급했습니다. 그는 현재의 기술 수준을 자신의 경력 말미에나 볼 수 있을 것이라고 생각했지만, 불과 몇 년 만에 이러한 기술들이 등장했다고 설명합니다.

3. Google의 초기 반응: Google은 ChatGPT의 출시로 인해 초기에는 놀랐지만, AI 기술의 대규모 확장을 위한 고위험 투자를 망설였던 이유로 인해 공개 출시에 신중을 기했다는 점을 Gomez는 강조합니다.

4. 초기 AI 프로젝트와 변화: Gomez는 AI가 순수 R&D 프로젝트에서 벗어나 실제로 유용성을 가지게 된 시점을 중요하게 여깁니다. 이는 AI 기술이 실제로 사용되기 시작한 전환점을 의미합니다.

5. AI 채택의 가속화: Gomez는 앞으로 2년 동안 AI 채택이 급속도로 가속화될 것으로 전망합니다. 이는 기업과 소비자 모두가 일상에서 AI 모델을 사용하게 될 시점이라고 설명합니다.

6. Cohere의 설립 및 성장: Cohere는 팬데믹 기간 동안 설립되었으며, 현재 400명 가량의 직원이 있습니다. 회사는 앞으로 시장 진출 측면에서 더욱 성장할 계획입니다.

 

초기 스케일에 대한 믿음

"I think what it required to actually see the future was a perhaps even irrational conviction in this idea of scale. If we make these models larger, if we train them on more data, if we give them more capacity, more computing power, they're going to continue to get smarter and it's not going to slow down."

모델 크기의 비교

"Back then, we were training models that are a thousand times smaller than what we train today. And so to have the conviction to say we're going to spend a thousand times as much to continue scaling this thing up. And, you know, hopefully it continues to get smarter. That's a big and risky bet to make."

스케일 확장의 결과

"I'm glad that we've made that bet. It's proven out over time, and I think it'll continue to to prove out."

 

초기 스케일에 대한 믿음: Gomez는 모델을 더 크게 만들고 더 많은 데이터를 훈련시키고 더 많은 계산 능력을 부여하면 모델이 계속해서 더 똑똑해질 것이라는 믿음이 필요했다고 설명합니다.

모델 크기의 비교: 초기에는 현재 모델보다 1,000배 작은 모델을 훈련했으며, 이를 1,000배 확장하는 것은 큰 리스크를 감수하는 일이었다고 말합니다.

스케일 확장의 결과: 결과적으로 이러한 스케일 확장이 성공을 가져왔으며, 앞으로도 계속해서 성과를 낼 것이라고 믿습니다.