Yann LeCun은 일반 지능이라는 것은 존재하지 않는다고 말한다.

인간 지능은 물리적 세계에 극도로 특화되어 있으며, 우리가 느끼는 ‘일반성’은 하나의 착각에 불과하다는 것이다.

우리가 스스로를 일반적인 존재처럼 느끼는 이유는, 우리가 아예 인식조차 하지 못하는 문제들이 무엇인지 상상할 수 없기 때문이다.

그의 말에 따르면 “그런 개념은 완전히 헛소리(complete BS)다.”

---

여기서 Yann은 명백히 틀렸다. 그는 일반 지능(general intelligence)과 보편 지능(universal intelligence)을 혼동하고 있다.

뇌는 우리가 현재까지 알고 있는 우주에서 가장 정교하고 복잡한 현상이며, 실제로 극도로 일반적인 시스템이다.

물론 ‘공짜 점심은 없다 정리(no free lunch theorem)’를 회피할 수는 없으므로, 현실적이고 유한한 시스템에서는 학습 대상 분포(target distribution)를 중심으로 어느 정도의 특화가 반드시 존재해야 한다.

하지만 일반성의 핵심은, 이론적으로—튜링 머신의 의미에서—그러한 일반적 시스템의 구조는 충분한 시간과 메모리(그리고 데이터)만 주어진다면 계산 가능한 모든 것을 학습할 수 있다는 점이다. 인간의 뇌와 AI 파운데이션 모델은 이러한 의미에서 근사적인 튜링 머신이다.

마지막으로 체스 선수에 대한 Yann의 발언과 관련해 말하자면, 인간이 애초에 체스를 발명했다는 사실 자체가 놀랍다. 더 나아가 과학에서부터 747 같은 항공기에 이르기까지 현대 문명의 모든 측면을 만들어냈다는 점은 경이롭기까지 하다. Magnus 같은 인물이 체스에서 그 정도의 경지에 도달했다는 것도 마찬가지다. 그는 엄밀한 의미에서 최적은 아닐지 모른다(유한한 기억 용량과 제한된 의사결정 시간이 있으니까). 그럼에도 불구하고, 수렵·채집을 위해 진화한 뇌로 우리가—그리고 그가—이 정도까지 해낼 수 있다는 사실은 정말 놀라운 일이다.

얀 르쿤 반박

내 생각에 이 논쟁의 핵심은 대부분 용어 사용의 차이에 있다.
나는 “일반적(general)”이라는 말을 “인간 수준(human-level)”을 지칭하는 데 사용하는 것에 반대한다. 왜냐하면 인간은 극도로 특화된 존재이기 때문이다.

인간의 마음이 특화되어 있다는 주장에 동의하지 않을 수도 있지만, 실제로 그렇다. 이는 단순히 이론적 계산 능력의 문제가 아니라, 실질적인 효율성의 문제이기도 하다.
분명히, 적절히 훈련된 인간의 뇌는 무한한 양의 펜과 종이가 주어진다면 튜링 완전(Turing complete)하다. 그러나 대부분의 계산 문제에 대해 인간의 뇌는 끔찍할 정도로 비효율적이며, 이는 자원이 제한된 상황(예를 들어 체스 한 판을 두는 상황)에서는 매우 비최적이라는 뜻이다.

비유를 하나 들어보자. 이론적으로는 2층 신경망만으로도 어떤 함수든 원하는 정확도로 근사할 수 있다. 하지만 실제로는, 거의 모든 의미 있는 함수들이 은닉층에 비현실적으로 많은 수의 유닛을 요구한다. 그래서 우리는 다층 신경망을 사용한다. 이것이 바로 딥러닝이 존재하는 이유(raison d’être)다.

또 다른 논거를 제시해보자. 시신경에는 약 100만 개의 신경 섬유가 있다. 단순화를 위해 신호가 이진(binary)이라고 가정하자. 그러면 시각 과제는 100만 비트를 입력으로 받아 1비트를 출력하는 불리언 함수가 된다.
이러한 모든 가능한 함수들 중에서, 뇌가 구현할 수 있는 함수의 비율은 얼마나 될까?
정답은 ‘무한히 작은 비율’이다.

100만 비트에 대한 불리언 함수의 개수는 2^(2^1,000,000)개다. 이는 상상조차 할 수 없을 정도로 큰 수로, 대략 2^(10^301030), 또는 10^(3×10^301029)에 해당한다.

이제 인간의 뇌에 약 10^11개의 뉴런과, 아마도 10^14개의 시냅스가 있고, 각 시냅스가 예를 들어 32비트로 표현된다고 가정해 보자. 그러면 전체 커넥톰(connectome)을 지정하는 데 필요한 비트 수는 최대 약 3.2×10^15비트다. 이는 인간의 뇌 전체가 표현(계산)할 수 있는 불리언 함수의 총 개수가 많아야 2^(3.2×10^15)개라는 뜻이다.

이 수는 2^(10^301030)에 비하면 정말 미미한 수준이다.
우리는 단지 일반적이지 않은 정도가 아니라, 터무니없이 특화되어 있다.

가능한 함수들의 공간은 극도로 방대하다.
우리가 이를 실감하지 못하는 이유는, 그 대부분의 함수들이 우리에게는 도저히 이해할 수 없을 정도로 복잡하고, 완전히 무작위처럼 보이기 때문이다.

나는 알베르트 아인슈타인의 이 말을 정말 좋아한다.
“이 세계에서 가장 이해할 수 없는 점은, 이 세계가 이해 가능하다는 사실이다.”

세상이 무작위적으로 구성될 수 있는 모든 가능한 방식들 중에서, 우리가 그중 아주 작은 일부라도 이해할 수 있다는 사실은 정말 놀랍다.
그리고 우리가 이해하지 못하는 부분을 우리는 ‘엔트로피’라고 부른다.
우주의 정보량 대부분은 엔트로피다. 즉, 우리의 빈약한 정신으로는 도저히 이해할 수 없어서 그냥 무시해버리는 것들이다.