---

좋은 하루입니다, 신사숙녀 여러분. 오늘 여러분과 직접 함께하지 못하고 서로 토론을 주고받지 못하게 되어 아쉽습니다. 하지만 이렇게 녹화 영상을 통해 인공지능의 현재와 미래 상태, 특히 AI와 과학·수학의 관계에 대한 제 고차원적인 생각을 공유할 수 있게 되어 기쁩니다. 제가 이해하기로는 이것이 이번 모임과 사라 재단의 핵심 관심사이기도 합니다.

먼저 오래된 농담 하나로 시작하고 싶습니다. 아마 여러분 모두 들어보셨을 겁니다. 어떤 연구자의 연구가 평가를 받았는데, 심사평이 이렇게 나왔다는 이야기입니다.

“이 연구는 새롭고 좋다. 안타깝게도 좋은 부분은 새롭지 않고, 새로운 부분은 좋지 않다.”

제가 AI에 대해 먼저 말하고 싶은 것은, 이 평가가 오늘날 우리가 아는 AI의 상당 부분에 정확히 들어맞는다는 점입니다.

물론 AI 전체가 그렇다는 뜻은 아닙니다. 하지만 AI의 큰 부분, 특히 우리가 생성형 AI라고 부르는 거의 전부가 그렇습니다. 여기에는 대규모 언어모델, 이미지 모델, 비디오 모델, 심지어 세계 모델을 학습하는 새로운 방법들도 포함됩니다. 이 AI들은 수많은 예시를 학습한 뒤, 그 예시와 비슷하게 행동하는 모델을 만들어냅니다. 즉 사람들이 쓰는 글처럼 글을 만들고, 예술가나 자연의 이미지처럼 이미지를 만들며, 인터넷에서 볼 수 있는 영상처럼 영상을 만들어냅니다.

오해하지는 마십시오. 생성형 AI는 매우 유용할 수 있습니다. 그것은 의심할 여지가 없습니다. 하지만 앞의 농담 속 평가가 여전히 적용됩니다. 이 시스템들은 새롭고 좋은 결과물을 만들어낼 수 있습니다. 그러나 동시에 새롭고 좋지는 않습니다.

많은 경우 이것은 전혀 문제가 되지 않습니다. 우리가 AI에게 인터넷에서 답을 찾아달라고 하거나 문서를 요약해달라고 할 때, 우리는 그것이 새롭기를 원하지 않습니다. 답의 품질, 즉 “좋음”이 원자료에서 나오면 충분합니다. 문서를 쓴 사람들, 인터넷의 글을 쓴 사람들, 그 원천 자료에서 좋은 답이 나오면 되는 것입니다.

AI의 답이 새롭다는 것은 원자료를 넘어선다는 뜻입니다. 원자료에 없는 무언가를 덧붙인다는 뜻입니다. 우리는 이것을 환각, 즉 hallucination이라고 부릅니다. 대부분의 경우 우리는 AI가 무언가를 지어내거나 새로운 것을 덧붙이는 것을 좋아하지 않습니다.

물론 예외도 있습니다. 우리가 사실이나 현실을 찾는 것이 아니라, 허구나 오락을 원할 때입니다. 예를 들어 아이를 위한 잠자리 이야기를 만들어달라고 하거나, 기존 이미지에 기반하지만 그것과는 다르고 독특한 이미지를 만들어달라고 할 수 있습니다.

이런 경우에는 AI가 실제로 얼마나 창의적인지 알기가 결코 쉽지 않습니다. AI가 만든 이야기, 시, 이미지가 원천 자료와 얼마나 가까운지 우리가 알 수 없기 때문입니다. 실용적인 의미에서 우리는 그것을 알 수 없습니다. 인터넷은 너무 크고, AI가 참고했을 수 있는 가능한 원천은 너무 많기 때문입니다.

우리가 허구나 새로움을 요구하면 AI는 그것을 줄 수 있습니다. 왜냐하면 AI의 처리 과정에는 부분적으로 확률적인 요소가 있기 때문입니다. AI가 내리는 모든 결정은 여러 방향으로 갈 수 있고, 매번 다른 방향으로 가면서 다른 궤적을 만들어냅니다.

그 궤적은 무작위적일 수 있고, 그래서 새로울 수 있습니다. 또는 훈련 데이터에 기반할 수 있고, 그래서 좋을 수 있습니다. 훈련 데이터는 사람이나 현실에서 온 좋은 자료이기 때문입니다. 따라서 AI 시스템이 생성한 궤적은 새롭거나 좋습니다. 무작위성에 기반했거나 데이터에 기반한 것입니다.

하지만 둘 다인 것은 아닙니다.

동시에 새롭고 좋은 것은 아닙니다.

그래서 저는 생성형 AI의 출력이 동시에 새롭고 좋지 않아도 괜찮다고 생각합니다. 농담 속 연구자에게는 이것이 치명적인 비판입니다. 하지만 세상의 대부분의 일, 여러분이 하는 대부분의 일에서는 새롭고 좋음을 동시에 갖추지 못하는 것이 그렇게 끔찍한 일은 아닙니다. 특히 생성형 AI의 경우에는 괜찮습니다.

생성형 AI는 모방하기 위해 만들어졌습니다. 이것이 지도학습의 목적입니다. 생성형 AI는 단순히 모방만 하더라도 매우 유용할 수 있습니다. 만약 모방되는 대상보다 더 빠르거나, 더 싸거나, 더 작거나, 더 맞춤화 가능하거나, 더 쉽게 복제될 수 있다면 말입니다.

생성형 AI가 동시에 새롭고 좋을 수 없더라도 괜찮습니다. 그것은 여전히 변혁적인 기술입니다.

하지만 동시에 새롭고 좋을 수 없다는 이 한계는 중요한 한계입니다.

우리가 여기 모인 이유를 기억해봅시다. 우리는 과학과 수학을 위해 AI를 사용하려고 합니다. 그리고 이 분야들에서는 농담 속 심사평이 치명적입니다. 이 분야들에서는 진정한 창의성과 진정한 발견이 필요합니다.

생성형 AI, 제가 때때로 “모방 AI”라고 부르는 것은 우리를 거기까지 데려다주지 못할 것입니다. 이를 위해서는 그 이상의 무언가가 필요합니다.

그리고 실제로 AI의 다른 영역에는 그 이상의 것이 있습니다. 우리에게는 더 많은 것을 줄 수 있는 AI 시스템들이 있습니다. 세계를 바꾼 37수로 유명한 알파고가 있습니다. 독창적이고 뛰어난 체스 스타일을 보여준 알파제로가 있습니다. 시뮬레이션 레이싱에서 사람보다 더 잘 운전하는 GT Sophy가 있습니다.

또한 과학, 수학, 프로그래밍에서 진전을 가져온 AlphaFold, AlphaProof, AlphaCode 같은 시스템들이 있습니다. 차량공유 사업에서 차량을 승객에게 배정하는 문제를 최적화하는 RL 시스템도 있습니다.

이 모든 시스템들은 새롭고도 좋은 것들을 찾아냈습니다.

사실 일부 언어모델들도 단순한 생성형 AI를 넘어서는 방식으로 보강되었습니다. 단지 지도학습에만 기반한 것보다 더 많은 것이 추가된 것입니다. 하지만 그것들이 여전히 지도학습에만 의존하는 한, 앞서 말한 한계가 적용됩니다.

제가 방금 언급한 다른 시스템들은 모두 추가적인 특징을 갖고 있습니다. 바로 진정한 창의성과 진정한 발견을 가능하게 하는 특징입니다.

그리고 우리가 이것을 인식하는 것이 중요합니다. 창조하고 발견하는 능력은 평범한 생성형 AI에는 존재하지 않습니다. 그것은 단순한 지도학습에서 나올 수 없습니다. 예시를 보고 배우는 것만으로는 나올 수 없습니다.

그렇다면 이 추가적인 재료는 무엇일까요?

그것은 단순한 것입니다. 상식적인 것입니다. 사실 새로운 것도 아닙니다. 이름도 많습니다. 하지만 안타깝게도 정말 좋은 이름은 없습니다. 저는 그것을 그냥 “발견”이라고 부르겠습니다.

기본적으로 발견이란 여러 가지를 시도해보고, 무엇이 작동하는지 확인한 다음, 가장 잘 작동한 것을 유지하는 것입니다.

자연선택에 의한 진화도 이런 방식으로 작동합니다. 과학적 방법도 이런 방식으로 작동합니다. 평범한 삶과 학습도 이렇게 작동합니다. 우리는 무언가를 시도하고, 무엇이 효과가 있었는지를 기억합니다.

이보다 더 명백한 것이 있을까요?

행동의 경우, 즉 심리학에서는 이것에 대해 두 가지 이름이 있습니다. 도구적 학습과 조작적 조건형성입니다. 머신러닝에서는 강화학습이라는 이름을 사용합니다.

강화학습은 기본적으로 계산적 학습 에이전트 안에 구현된 이 발견 능력입니다. 우리는 계획이나 조합적 탐색에서도 발견을 봅니다. 본질적으로 “생성하고 시험한 뒤, 가장 좋은 것을 유지한다”는 아이디어가 포함된 모든 것에서 발견을 볼 수 있습니다.

발견의 핵심은 세 단계를 결합하는 것입니다.

변이, 평가, 선택적 보존.

이 세 단계가 핵심입니다.

그리고 이것은 지도학습보다 더 많은 것입니다. 지도학습에는 평가나 선택적 보존이 없습니다.

물론 제가 이 세 가지를 처음으로 지적한 사람은 아닙니다. 제가 발견이라고 부르는 이 세 가지의 조합이 중요하다는 사실은 이미 여러 사람이 말해왔습니다. 그것은 과학, 자연선택, 동물 행동에 중요합니다. 저는 특히 Donald Campbell, Daniel Dennett, Gary Cziko의 논문들을 떠올립니다.

오늘 제 발언에서 새로운 점은, 발견이라는 아이디어를 현대 AI와 직접 연결한다는 점입니다. 그리고 그것이 지도학습과 생성형 AI에는 존재하지 않는다는 점, 특히 발견이 역전파나 경사하강법 안에 존재하지 않는다는 점을 우리가 볼 수 있도록 돕는 것입니다.

조금 더 명시적으로 말해보겠습니다.

생성형 AI에는 무엇이 빠져 있을까요?

앞서 말했듯이 생성형 AI 시스템에는 확률적인 측면이 있습니다. 그래서 다양한 궤적과 행동을 생성합니다.

빠져 있는 것은 평가 단계입니다.

생성형 AI의 생성기는 지도학습으로 사전학습되었습니다. 그 결과 런타임에서 자신이 생성한 것을 평가할 방법이 없습니다.

그리고 평가가 없으면 선택적 보존도 있을 수 없습니다. 따라서 발견도 없습니다.

생성형 AI에는 새로움을 가져올 수 있는 변이는 있습니다. 하지만 평가가 없으면 발견은 없습니다. 그리고 논쟁적으로 말하자면, 창의성도 없습니다.

저는 창의성이란 생성된 것들이 평가되는 것을 필요로 한다고 말하고 싶습니다. 평가와 최선의 것에 대한 보존이 없다면, 실제로 창조된 것은 없습니다.

새로움은 잠깐 존재했다가, 그 가치가 인식되지 않으면 사라져버립니다. 그리고 잃어버리게 됩니다.

우리가 정말로 창의성이라고 부르는 것은 단순한 무작위 생성이나 임의적 생성이 아니라, 가치의 인식과 보존을 필요로 한다고 생각합니다.

많은 경우 우리가 AI를 사용할 때 평가 부분은 인간 사용자가 제공합니다. 예를 들어 생성형 AI로 여러 장의 그림을 만들게 한 뒤, 우리가 가장 마음에 드는 그림을 고르는 경우가 그렇습니다.

이 경우에는 무작위 생성이 있고, 인간의 평가가 있으며, 전체 과정은 하나의 발견이 됩니다. 좋은 그림, 좋은 글, 좋은 시를 발견하는 과정입니다.

하지만 더 중요한 경우는 평가가 명확한 목표에서 나오는 경우입니다.

어떤 수는 다른 수보다 낫습니다. 어떤 수는 체크메이트로 이어집니다. 어떤 수학적 단계는 증명으로 이어지고, 어떤 것은 그렇지 않습니다. 세상에서 취하는 어떤 행동은 높은 보상을 낳고, 어떤 행동은 그렇지 않습니다. 어떤 유전형은 궁극적으로 더 많은 복제를 만듭니다. 어떤 이론은 데이터를 더 잘 설명합니다.

따라서 평가는 그 영역과, 여러분이 하려는 일에서 나옵니다.

이처럼 발견이 있는 중요한 경우에는 시스템이 알고 있는 명확한 목표에서 평가가 나옵니다.

이제 변이 단계에 대해 조금 더 이야기해봅시다.

어떤 사람들은 이것을 “맹목적 변이”라고 부릅니다. 여기서 맹목적이라는 것은 정보가 없는 변이, 어둠 속에서 던지는 시도 같은 것을 뜻합니다.

하지만 변이가 완전히 정보가 없을 필요는 없습니다. 좋은 과학자는 자신이 시험할 이론을 무작위로 고르지 않습니다.

우리는 완전히 정보가 없는 변이를 원하지 않습니다. 하지만 동시에 변이가 완전히 정보에 의해 결정되어서도 안 됩니다. 완전히 결정적이어서는 안 됩니다.

답이 어디에 있는지에 대한 불확실성이 어느 정도 있어야 합니다. 그래야 그것을 찾아냈을 때 발견이 됩니다.

따라서 실제로 변이는 항상 부분적으로는 정보에 기반하고, 부분적으로는 맹목적입니다. 하지만 발견에 해당하는 것은 바로 그 맹목적인 부분입니다.

이제 현대 딥러닝, 특히 역전파 알고리즘으로 가보겠습니다.

처음에는 역전파가 제가 정의한 의미의 발견을 할 수 없는 것처럼 보일 수 있습니다. 왜냐하면 역전파는 결정론적이고, 따라서 변이를 만들 수 없기 때문입니다.

하지만 이것이 완전히 맞는 말은 아닙니다.

역전파의 가중치 업데이트는 결정론적입니다. 하지만 가중치는 처음에 작은 무작위 값으로 초기화됩니다. 이것이 시작 단계에서 약간의 변이를 제공합니다.

이 무작위 초기화 과정은 종종 과소평가됩니다. 하지만 사실 이것은 역전파의 필수적인 부분이며, 좋은 결과를 얻기 위해서는 제대로 수행되어야 합니다.

역전파에서는 변이가 네트워크가 초기화될 때 한 번 일어납니다. 그래서 그 효과는 일시적입니다. 이후 네트워크는 학습 능력, 즉 가소성을 잃는 경향이 있습니다.

이것은 딥러닝의 약점입니다. 그리고 몇 년 전 제 연구그룹이 Nature에 발표한 새로운 알고리즘은 이 약점을 완화했습니다.

우리의 continual backpropagation 알고리즘은 작은 변화 하나를 만들었습니다. 가끔씩 덜 사용되는 뉴런을 작은 무작위 가중치로 다시 초기화하는 것입니다. 이것은 변이가 계속되도록 하고, 가소성이 유지되도록 합니다.

물론 창의성과 발견에 대해 할 말은 훨씬 더 많습니다. 하지만 이제 마무리해야겠습니다.

핵심 요점을 강조하겠습니다.

창의성과 발견은 지도학습으로 할 수 있는 것보다 더 많은 것입니다. 패턴 인식이나 예측으로 할 수 있는 것보다 더 많은 것입니다. 심지어 세계 모델링으로 할 수 있는 것보다도 더 많은 것입니다.

이 모든 것들은 매우 중요합니다. 하지만 그것들만으로는 우리를 발견에 이르게 하지 못합니다.

발견은 사람으로부터의 평가, 또는 명시적인 목표로부터의 평가를 필요로 합니다.

그리고 후자의 경우, 즉 시스템에게 명시적으로 제공된 목표가 있을 때에만 우리는 완전히 자율적인 AI에 도달할 수 있습니다.

그래서 이것이 제 행동 촉구입니다.

우리가 AI 과학자의 온전한 힘을 원한다면, 우리는 그들과 목표를 공유해야 합니다. 그래야 그들이 창조하고, 평가하고, 발견하며, 그런 방식으로 목표 달성에 온전히 참여할 수 있습니다.

대담해집시다.

창의성과 발견을 자동화합시다.

경청해주셔서 대단히 감사합니다.