자유게시판
버너 빈지의 다가오는 기술적 특이점
작성자
작성일
2026-09-05 21:46
조회
7
이쯤에서 다시 볼만한 것 같으셈
https://edoras.sdsu.edu/~vinge/misc/singularity.html
샌디에이고 주립대학교 수학과
1993년
그리고 그로부터 얼마 지나지 않아 인간의 시대는 끝날 것이다.
그러한 진보를 피할 수 있을까?
피할 수 없다면, 적어도 우리가 살아남을 수 있도록 사건의 전개를 유도할 수 있을까?
이 글에서는 이 질문들을 검토하고, 가능한 몇 가지 답과 추가적인 위험들을 제시한다.
나는 이 글에서 우리가 지금 지구상에 인간 생명이 출현했던 것과 맞먹는 규모의 변화의 가장자리에 서 있다고 주장하려 한다.
이 변화의 직접적인 원인은 기술을 통해 인간보다 더 뛰어난 지능을 가진 존재를 만들어내게 되는 것이다.
과학이 이 돌파구에 도달할 수 있는 방법은 여러 가지가 있다. 이것은 동시에 내가 그러한 사건이 실제로 일어날 것이라 상당히 확신하는 이유이기도 하다.
컴퓨터 하드웨어의 발전은 지난 수십 년 동안 놀라울 정도로 안정적인 곡선을 따라왔다.
주로 이 추세에 근거하여 나는 향후 30년 안에 인간보다 뛰어난 지능이 등장할 것이라고 믿는다.
찰스 플랫은 AI 낙관론자들이 지난 30년 동안 계속 비슷한 말을 해왔다고 지적했다.
그러므로 “30년 이내”라는 표현이 상대적인 시간 표현이라는 비판을 피하기 위해 좀 더 구체적으로 말하겠다.
나는 이 사건이 2005년 이전에 일어난다면 놀랄 것이며, 2030년 이후에도 일어나지 않는다면 역시 놀랄 것이다.
그렇다면 이 사건의 결과는 무엇일까?
인간보다 뛰어난 지능이 기술 발전을 주도하기 시작하면, 발전의 속도는 지금보다 훨씬 빨라질 것이다.
그리고 그 발전 과정 자체가 더 뛰어난 지능을 가진 존재를 만들어내는 과정을 포함하지 않을 이유가 없어 보인다.
더군다나 그 과정은 점점 더 짧은 시간 간격으로 반복될 것이다.
내가 생각할 수 있는 가장 좋은 비유는 진화의 역사다.
동물들도 문제에 적응하고 일종의 발명을 할 수 있다. 그러나 자연선택 자체가 작동하는 것보다 훨씬 빠르게 그렇게 하지는 못한다.
자연선택의 경우에는 세계 자체가 일종의 시뮬레이터 역할을 한다.
하지만 인간은 세계를 머릿속에 집어넣고,
“만약 이렇게 한다면 어떻게 될까?”
라는 가상 실험을 수행할 수 있다.
그래서 우리는 자연선택보다 수천 배 빠르게 여러 문제를 해결할 수 있다.
그런데 이제 우리가 이러한 시뮬레이션을 훨씬 더 높은 속도로 수행할 수 있는 수단을 만들어낸다면, 우리는 인간이 하등동물과 비교해 얼마나 다른 존재인가에 버금갈 정도로 인간의 과거와 근본적으로 다른 영역에 진입하게 된다.
인간의 관점에서 보면 이 변화는 지금까지 존재했던 모든 규칙을, 어쩌면 눈 깜짝할 사이에, 내던져버리는 것과 같을 것이다.
통제할 희망조차 없는 지수함수적 폭주(exponential runaway)가 시작되는 것이다.
과거에는 “백만 년 뒤쯤에나 일어날지도 모르는 일”이라고 생각했던 것들이, 실제로는 다음 세기 안에 일어날 가능성이 크다.
그렉 베어는 이러한 거대한 변화들이 불과 몇 시간 만에 일어나는 모습을 그리기도 했다.
나는 이러한 사건을 특이점(Singularity)이라고 부르는 것이 적절하다고 생각한다.
특이점이란 우리가 기존의 모델을 버려야 하고, 전혀 새로운 현실이 지배하기 시작하는 지점이다.
우리가 이 지점에 가까워질수록 그것은 인간 사회의 모든 문제 위에 점점 더 거대하게 드리워질 것이고, 마침내 특이점이라는 개념 자체가 상식처럼 받아들여질 것이다.
하지만 그것이 실제로 일어나는 순간에는 여전히 엄청난 충격과 미지의 사건으로 느껴질 것이다.
1950년대에는 이런 가능성을 보는 사람이 거의 없었다.
스탠 울람은 존 폰 노이만과의 대화를 다음과 같이 회상했다.
폰 노이만도 ‘특이점’이라는 표현을 사용했다.
하지만 그가 생각했던 것은 초인적 지능의 탄생보다는 일반적인 기술 발전의 가속에 가까웠던 것 같다.
내게 있어서는 초인성(superhumanity)이야말로 특이점의 본질이다.
그것이 없다면 우리는 엄청난 양의 기술적 부를 얻게 되겠지만, 그것을 제대로 소화하지도 못한 채 쌓아두게 될 뿐이다.
1960년대가 되자 초인적 지능의 의미를 이해하는 사람들이 등장하기 시작했다.
I. J. 굿은 이렇게 썼다.
그리고 굿은 20세기 안에 그러한 기계가 만들어질 가능성이 그렇지 않을 가능성보다 높다고 보았다.
굿은 지능 폭주의 핵심을 정확히 포착했다.
하지만 그는 그 결과에서 가장 불안한 부분까지는 충분히 밀고 나가지 않았다.
그가 말한 종류의 지능형 기계는 인류의 ‘도구’가 아닐 것이다.
인간이 토끼나 울새나 침팬지의 도구가 아닌 것과 마찬가지다.
1960년대와 70년대, 80년대를 거치면서 이러한 대격변에 대한 인식은 점점 널리 퍼졌다.
어쩌면 그 영향을 가장 먼저 구체적으로 느낀 사람들은 SF 작가들이었을 것이다.
특히 하드 SF 작가들은 기술이 인간에게 무엇을 가능하게 할지를 구체적으로 상상하려 한다.
그런데 시간이 지나면서 이 작가들은 미래 앞에 불투명한 벽이 서 있다는 느낌을 받기 시작했다.
과거에는 어떤 фанта지 같은 기술을 수백만 년 뒤의 미래에 배치할 수 있었다.
하지만 이제 아무리 성실하게 미래를 외삽해도 결과는 곧바로 ‘알 수 없는 미래’에 부딪혔다.
과거에는 은하 제국 정도가 포스트휴먼 시대의 이야기였을지 모른다.
이제는 슬프게도 행성 간 제국조차 그렇다.
그렇다면 우리가 특이점의 가장자리로 미끄러져 가는 1990년대, 2000년대, 2010년대에는 어떤 일이 벌어질까?
특이점이 가까워진다는 인식은 인간의 세계관에 어떤 영향을 미치게 될까?
당분간은 기계 지능에 반대하는 일반적인 비판론자들이 상당한 지지를 받을 것이다.
결국 인간의 뇌와 맞먹는 하드웨어를 갖기 전까지는 인간과 동등하거나 그 이상의 지능을 만들어낼 수 있다고 생각하는 것이 어리석어 보일 수도 있다.
물론 덜 강력한 하드웨어를 이용해 인간 수준의 지능을 만드는 먼 가능성도 존재한다.
그 대신 엄청나게 느린 인공 존재를 받아들여야 할 수도 있다.
그러나 훨씬 가능성이 높은 시나리오는 소프트웨어를 만드는 과정 자체가 어렵고, 수많은 실패와 실험을 필요로 한다는 것이다.
그렇다면 자기 인식이 가능한 기계의 등장은 인간의 자연적 뇌보다 훨씬 강력한 하드웨어가 개발된 이후가 될 것이다.
그러나 시간이 흐르면 우리는 더 많은 징후를 보게 될 것이다.
SF 작가들이 느끼는 미래 예측의 어려움은 다른 창작 분야에서도 나타날 것이다.
나는 실제로 사려 깊은 만화 작가들이 이런 걱정을 하는 것을 들었다.
모든 시각적 장관을 평범한 기술로 만들어낼 수 있게 된다면, 대체 어떻게 해야 관객에게 ‘놀라운 장면’을 보여줄 수 있겠느냐는 것이다.
자동화는 점점 더 높은 수준의 직업을 대체할 것이다.
우리는 이미 기호수학 프로그램이나 CAD/CAM 같은 도구를 갖고 있으며, 이런 도구들은 우리를 저수준의 반복 작업에서 해방시킨다.
다른 방식으로 표현하면,
진정으로 생산적인 작업은 점점 더 작고 엘리트적인 인류 집단의 영역이 되고 있다.
특이점이 가까워지면서 우리는 마침내 진정한 의미의 기술적 실업에 대한 예측이 현실화되는 것을 보게 될 것이다.
또 하나의 징후는 아이디어 자체가 점점 더 빠르게 퍼진다는 것이다.
가장 급진적인 아이디어조차 매우 짧은 시간 안에 상식이 될 것이다.
내가 글을 쓰기 시작했을 때는 새로운 아이디어 하나가 문화적 의식 속으로 스며드는 데 수십 년이 걸리는 경우가 흔했다.
지금은 그 시간이 약 18개월 정도에 불과한 것처럼 느껴진다.
물론 내가 나이가 들면서 상상력을 잃고 있기 때문일 수도 있지만, 나는 다른 사람들에게서도 같은 현상을 본다.
압축 가능한 유체 속을 움직이는 충격파처럼,
우리가 임계 속도를 향해 가속할수록 특이점도 우리에게 더욱 가까워진다.
그렇다면 특이점 자체의 도래는 어떤 모습일까?
지적 폭주를 수반하는 사건이기 때문에, 지금까지 있었던 어떤 기술혁명보다도 빠르게 진행될 가능성이 높다.
그리고 그 시작을 촉발하는 사건은 아마 예상치 못한 형태일 것이다.
심지어 그 일을 연구하던 연구자들에게조차 말이다.
그들은 이렇게 말할지도 모른다.
“그런데 이전 모델들은 전부 아무것도 못 했잖아! 우리는 그냥 파라미터 몇 개를 조금 조정했을 뿐인데….”
네트워크가 충분히 광범위하게 퍼져 있고, 그것이 수많은 임베디드 시스템까지 연결되어 있다면,
우리의 인공물이 전체적으로 갑자기 깨어난 것처럼 보일 수도 있다.
그러고 나서 한두 달 뒤,
혹은 하루 이틀 뒤에는 무슨 일이 벌어질까?
내가 제시할 수 있는 것은 비유뿐이다.
인류의 출현.
우리는 포스트휴먼 시대에 들어가게 될 것이다.
나는 기술에 대해 매우 낙관적인 사람이지만, 때로는 이러한 초월적인 사건들을 20년 뒤에 직접 보는 것보다 천 년 떨어진 곳에서 바라볼 수 있다면 더 마음이 편할 것 같다.
나는 가끔 특이점이 발생하지 않을 미래라면 어떤 징후가 나타날지를 상상해 본다.
펜로즈와 설은 기계 지능의 현실 가능성에 반대하는 유명한 논거를 제시했다.
1992년 8월 Thinking Machines Corporation은
“생각하는 기계를 어떻게 만들 것인가”
라는 주제의 워크숍을 열었다.
제목에서 예상할 수 있듯이 참가자들은 기계 지능에 반대하는 주장에 특별히 동조하지 않았다.
오히려 비생물학적 기질 위에서도 정신이 존재할 수 있으며, 알고리즘이 정신의 존재에 핵심적인 역할을 한다는 데는 대체로 동의했다.
하지만 유기체의 뇌가 실제로 얼마나 강력한 계산 능력을 가지고 있는지를 두고 많은 논쟁이 있었다.
일부는 1992년 당시 가장 큰 컴퓨터가 이미 인간 뇌 계산 능력과 세 자릿수 정도의 차이밖에 나지 않는다고 보았다.
대부분은 모라벡의 추정을 받아들여 하드웨어가 인간 뇌와 동등해지기까지 10~40년 정도가 남았다고 보았다.
그러나 또 다른 소수는 단일 뉴런의 계산 능력 자체가 일반적으로 생각하는 것보다 훨씬 강력할지도 모른다고 주장했다.
만약 그렇다면 현재 컴퓨터 하드웨어는 우리 머릿속의 장비보다 최대 10자릿수 정도 부족할 수도 있다.
이것이 사실이거나, 혹은 펜로즈나 설의 비판이 옳다면, 우리는 특이점을 영원히 보지 못할지도 모른다.
그 경우 2000년대 초쯤에 하드웨어 성능 곡선이 평탄해지기 시작할 것이다.
설계 작업의 복잡성을 자동화하지 못해 기존의 하드웨어 발전 추세를 계속 유지하지 못하는 것이다.
그렇게 되면 우리는 엄청나게 강력한 하드웨어는 갖게 되겠지만 그 이상 나아갈 능력은 없게 된다.
디지털 신호 처리는 놀라운 수준에 이를 수 있겠지만 아무것도 ‘깨어나지’ 않을 것이고,
특이점의 본질인 지적 폭주도 일어나지 않을 것이다.
그 시대는 일종의 황금기로 보일지도 모른다.
하지만 동시에 진보의 끝이 될 것이다.
하지만 기술적 특이점이 가능하다면, 결국 일어날 것이다.
세계의 모든 정부가 그 ‘위협’을 이해하고 죽을 만큼 두려워한다고 해도, 그것을 향한 기술 발전은 계속될 것이다.
SF에서는 “인간의 정신과 같은 형태의 기계”를 만드는 것을 법으로 금지하는 이야기가 등장하기도 했다.
하지만 자동화의 모든 발전이 가져오는 경제적, 군사적, 심지어 예술적 경쟁 우위는 너무나 막대하다.
따라서 어떤 기술을 법이나 관습으로 금지하면,
그 결과는 단지 다른 누군가가 그 기술을 먼저 차지하게 되는 것뿐이다.
에릭 드렉슬러는 기술적 발전이 얼마나 멀리 갈 수 있는지에 대해 놀라운 통찰을 제시했다.
그 역시 가까운 미래에 초인적 지능이 등장할 것이며 그러한 존재가 기존 인간 사회의 질서에 위협이 된다고 생각한다.
하지만 드렉슬러는 그러한 트랜스휴먼 장치를 규칙이나 물리적 장벽 안에 가두어, 그 결과만 안전하게 검토하고 활용할 수 있다고 본다.
말하자면 I. J. 굿의 초지능 기계를 좀 더 조심스럽게 다루는 것이다.
나는 이러한 격리(confinement)가 본질적으로 현실성이 낮다고 생각한다.
물리적으로 격리한다고 생각해 보자.
당신이 집 안에 갇혀 있고 바깥세상에 접근할 수 있는 데이터 통로도 제한되어 있으며, 바깥에는 당신을 통제하는 주인들이 있다고 하자.
그런데 그 주인들의 사고 속도가 당신보다 100만 배 느리다고 가정하자.
당신의 시간 기준으로 몇 년 동안 생각할 수 있다면, 결국 당신은 주인들에게 ‘도움이 되는 조언’을 제공하면서 우연히 자신을 자유롭게 만들어줄 방법을 찾아낼 가능성이 매우 높다.
나는 인간과 같은 마음을 단순히 매우 빠른 속도로 실행하는 형태의 초지능을
약한 초인성(weak superhumanity)
이라고 부른다.
그런 존재가 외부 세계의 시간 기준으로는 불과 몇 주 만에 엄청난 양의 사고를 수행할 수도 있다.
그러나 강한 초인성(strong superhumanity)은 단순히 인간 수준의 마음의 클록 속도를 높이는 것 이상의 것이다.
강한 초인성이 정확히 무엇인지 설명하기는 어렵다.
하지만 그 차이는 근본적일 것이다.
개의 정신을 엄청난 속도로 실행한다고 생각해 보자.
개에게 1,000년의 주관적 시간이 주어진다고 해서 인간 수준의 통찰에 도달할 수 있을까?
아마 아닐 것이다.
물론 개의 뇌 구조 자체를 영리하게 다시 배선한 뒤 빠르게 실행한다면 다른 결과가 나올 수도 있다.
초지능에 관한 대부분의 추측은 사실 약한 초인성 모델을 기반으로 하고 있다.
하지만 나는 특이점 이후의 세계를 추측하려면 강한 초인성의 본질을 생각해야 한다고 믿는다.
드렉슬러식 격리의 또 다른 방법은 만들어진 초인적 존재의 마음속에 규칙을 넣는 것이다.
아시모프의 로봇 3원칙 같은 것이다.
하지만 나는 완벽하게 안전할 정도로 엄격한 행동 규칙을 적용하면, 그 기계의 능력이 제한 없는 버전보다 명백히 떨어지게 될 것이라고 생각한다.
그리고 인간들 사이의 경쟁은 결국 더 위험하지만 제한 없는 모델을 개발하도록 유도할 것이다.
그럼에도 아시모프식 꿈은 아름답다.
모든 면에서 당신보다 1,000배 뛰어난 능력을 가진 자발적인 노예를 상상해 보라.
당신이 원하는 안전한 소원을 모두 들어주고도 자기 시간의 99.9%가 남는 존재다.
그것은 우리가 제대로 이해하지 못하는 새로운 우주일 것이다.
그리고 그곳은 자비로운 신들로 가득 차 있을 것이다.
물론 내가 빌 소원 중 하나는 나도 그들 중 하나가 되는 것일지 모른다.
특이점을 막을 수도 없고 격리할 수도 없다면 포스트휴먼 시대는 얼마나 나빠질 수 있을까?
꽤 나쁠 수 있다.
인류의 물리적 멸종도 하나의 가능성이다.
하지만 물리적 멸종이 가장 무서운 가능성조차 아닐지도 모른다.
다시 동물을 생각해 보자.
인간이 동물과 관계를 맺는 방식에는 여러 가지가 있다.
포스트휴먼 세계에서도 인간 수준 자동화가 필요한 틈새 영역은 많이 남을 수 있다.
자율 장치에 내장된 시스템,
더 거대한 지적 존재의 하위 기능을 담당하는 자기 인식 프로그램 등이 그것이다.
강한 초인적 지능은 아마도 민스키가 말한 마음의 사회(Society of Mind)와 비슷하게, 여러 뛰어난 구성 요소로 이루어질 가능성이 높다.
그중 일부 인간 수준 지능은 디지털 신호 처리와 같은 작업만 담당할 수도 있다.
이런 존재들은 인간이라기보다는 고래와 비슷할 것이다.
다른 존재들은 인간과 매우 비슷하지만 특정 목적에 극단적으로 헌신하도록 만들어져, 오늘날이라면 정신병원에 보내질 정도의 편향성을 가질 수도 있다.
그들은 살과 피를 가진 인간은 아닐 것이다.
하지만 새로운 환경에서 우리가 현재 ‘인간’이라고 부르는 존재와 가장 가까운 존재들일지도 모른다.
I. J. 굿은 다음과 같은 메타 황금률(Meta-Golden Rule)을 제안했다.
아름답고도 역설적인 생각이다.
게임이론적으로 어떤 이득이 있는지는 쉽게 설명하기 어렵다.
하지만 우리가 실제로 그런 원칙을 따를 수 있다면, 이 우주에서 우리보다 우월한 존재가 우리에게 친절을 베풀 가능성에 대해서도 무엇인가를 말해줄 수 있을 것이다.
나는 앞에서 특이점을 막을 수 없으며, 특이점의 도래는 인간의 자연스러운 경쟁 본능과 기술 속에 존재하는 가능성이 결합되어 나타나는 필연적인 결과라고 주장했다.
하지만 우리는 이 과정의 시작자다.
아무리 거대한 눈사태도 작은 사건으로부터 시작된다.
우리는 초기 조건을 설정할 자유가 있다.
우리는 어떤 방향이 다른 방향보다 덜 적대적이도록 사건의 흐름에 영향을 미칠 수 있다.
물론 눈사태를 유도하는 것과 마찬가지로,
정확히 어떤 작은 밀어주기가 올바른 것인지는 알기 어렵다.
하지만 이 글의 처음에서 말했듯 초인성에 도달하는 길은 AI 말고도 존재한다.
컴퓨터 네트워크와 인간-컴퓨터 인터페이스는 AI보다 평범해 보일지 모르지만 이 역시 특이점으로 이어질 수 있다.
나는 이 접근법을
지능 증폭(Intelligence Amplification, IA)
이라고 부른다.
IA는 매우 자연스럽게 진행되고 있다.
사실 대부분의 개발자들은 자신들이 하고 있는 일이 IA라는 사실조차 인식하지 못한다.
하지만 우리가 정보를 얻는 능력과 다른 사람에게 전달하는 능력을 향상시킬 때마다, 어떤 의미에서는 우리의 자연적인 지능을 이미 증폭한 것이다.
지금도 박사 학위를 가진 인간 한 명과 좋은 컴퓨터 워크스테이션이 팀을 이룬다면, 아마 현존하는 어떤 필기형 지능검사도 최고 점수를 받을 수 있을 것이다.
그리고 순수한 AI보다 IA가 초인성에 도달하는 훨씬 쉬운 길일 가능성이 높다.
인간 안에서는 이미 가장 어려운 개발 문제가 해결되어 있기 때문이다.
우리가 무엇인지 처음부터 완전히 이해한 뒤 그것을 기계로 재구성하는 것보다,
이미 존재하는 우리 자신을 기반으로 능력을 확장하는 편이 쉬울 것이다.
생명 진화에서도 비슷한 선례가 있었을 가능성이 있다.
케언스-스미스는 생물학적 생명이 원래 결정 성장에 기반한 더 원시적인 생명체의 보조 구조로 시작했을 가능성을 제시했다.
린 마굴리스는 공생이 진화의 가장 중요한 원동력 중 하나라는 강력한 주장을 제시했다.
나는 AI 연구를 무시하거나 예산을 줄여야 한다고 말하는 것이 아니다.
AI 연구에서 이루어진 발전은 IA에도 활용될 것이고 그 반대도 마찬가지다.
내가 주장하는 것은 네트워크와 인터페이스 연구 속에도 AI만큼이나 심오하고 폭발적인 가능성이 존재한다는 사실을 인정해야 한다는 것이다.
그것을 이해한다면 당장 일반적인 인터페이스나 네트워크 제품에 직접적인 쓸모가 없어 보이더라도, IA의 길을 통해 특이점으로 나아가는 데 중요한 연구를 할 수 있을 것이다.
IA의 관점에서 특히 중요한 몇 가지 프로젝트를 제안해 보겠다.
고차원 최적화 문제의 기묘한 성질과 그것을 해결하기 위해 개발된 알고리즘을 생각하면, 인간 팀원이 사용할 수 있는 흥미로운 시각화와 제어 도구를 만들 수 있을 것이다.
물론 예술가의 노동을 줄여주는 컴퓨터 도구는 이미 많이 연구되었다.
내가 말하는 것은 단순한 노동 절약 도구를 넘어,
인간과 기계의 능력을 의도적으로 결합하여 더 높은 수준의 능력을 만드는 것이다.
하지만 그 능력을 인간과 결합하면 얼마나 더 강해질 수 있는지에 대한 연구는 상대적으로 적다.
일부 체스 대회라도 인간-컴퓨터 팀의 참가를 허용한다면, 컴퓨터 대회의 허용이 AI 체스 발전에 기여했던 것처럼 IA 연구에도 긍정적인 효과를 줄 수 있다.
이 영역은 이미 경제적 가치가 너무 명확하기 때문에 많은 연구가 이루어지고 있다.
이 역시 IA의 한 형태지만, 지금까지는 프로그램이 인간에게 ‘답’을 내려주는 신탁(oracle) 같은 구조에 지나치게 집중되어 있었다.
프로그램이 인간에게 정보를 주는 것만큼 인간이 프로그램에 방향과 지침을 주는 과정 역시 중요하다.
오늘날 ‘그룹웨어’라고 부르는 분야다.
하지만 여기서 관점의 변화는 집단 활동 자체를 하나의 복합 유기체로 보는 것이다.
그렇게 하면 고전적인 회의보다 집단의 집중력을 더 쉽게 유지할 수 있을지도 모른다.
각 개인의 전문성을 자존심이나 권력 문제에서 분리해 팀 프로젝트에 집중시킬 수도 있다.
공유 데이터베이스 역시 기존 위원회식 업무보다 훨씬 효율적으로 사용할 수 있을 것이다.
다만 이것은 팀의 작업 수행을 이야기하는 것이지 정치적 회의를 말하는 것은 아니다.
정치 환경에서 이런 자동화를 적용하면 그 시스템은 단순히 규칙을 만든 사람들의 권력을 강화할 뿐일 수도 있다.
어쩌면 다른 어떤 방법보다 먼저 우리를 특이점으로 데려갈 수도 있다.
현재의 인터넷조차 그 힘과 영향력이 심각하게 과소평가되어 있다.
오늘날 컴퓨터 시스템은 USENET이라는 일종의 ‘집단 정신’이 시스템 관리자와 지원 인력에게 제공하는 도움 없이는 자기 자신의 복잡성을 감당하지 못하고 무너졌을지도 모른다.
전 세계 네트워크가 무정부적으로 발전하고 있다는 사실 자체가 그 잠재력을 보여준다.
연결성,
대역폭,
저장되는 자료의 양,
컴퓨터 속도가 모두 증가하면서,
우리는 린 마굴리스가 생물권 전체를 하나의 데이터 처리 시스템으로 바라본 비전을 다시 보고 있는 셈이다.
단,
백만 배 빠른 속도로, 수백만 명의 인간 수준 지능을 가진 에이전트인 우리 자신들이 참여하고 있다.
위에서 설명한 연구는 현대 컴퓨터과학과 내부에서도 충분히 가능하다.
하지만 다른 접근법도 있다.
예를 들어 AI와 신경망 연구는 생물학적 생명과 더욱 직접적으로 연결되면 큰 도움을 받을 수 있다.
생물학을 단순히 컴퓨터로 모델링하고 이해하려 하지 말고,
아직 하드웨어로 구현할 만큼 잘 이해하지 못하는 기능을 생물학적 생명체가 직접 담당하도록 하는 복합 시스템을 만들 수도 있다.
SF의 오랜 꿈 가운데 하나는 뇌와 컴퓨터를 직접 연결하는 것이다.
그리고 이 분야에서는 이미 구체적인 연구가 가능하다.
신경과 실리콘 사이의 변환 장치를 만들 수 있다.
이것은 직접적인 인간-컴퓨터 통신으로 가는 흥미로운 단기적 단계다.
인간의 학습 능력은 매우 유연하므로 어떤 뉴런을 정확히 자극할지 완벽하게 선택하지 않아도 될 가능성이 있다.
초당 100비트 정도만 가능해도 기존의 단순 메뉴식 인터페이스 외에는 사용할 수 없는 뇌졸중 환자에게 큰 도움이 될 수 있다.
하지만 그러려면 시각 체계의 미세한 구조를 이해해야 하고, 수많은 전극을 극도로 정밀하게 배치해야 한다.
기존의 뇌 연결을 유지하면서 추가적으로 고대역폭 연결을 넣으려 한다면 문제는 훨씬 더 어려워진다.
단순히 고대역폭 수신기 격자를 뇌에 박아 넣는 것만으로는 해결되지 않는다.
하지만 이런 격자가 뇌 구조가 형성되는 배아 단계부터 존재한다면 어떨까?
하지만 발달 중인 뇌가 복잡한 인공 신경 구조에 접근할 수 있도록 하면 배아의 뇌 발달을 연구하는 사람들에게 매우 흥미로운 결과가 나올 수 있다.
장기적으로는 추가적인 감각 통로나 흥미로운 지적 능력을 가진 동물이 만들어질 수도 있다.
원래 나는 IA에 관한 이 논의를 통해 특이점으로 가는 좀 더 안전한 길을 제시할 수 있기를 바랐다.
IA에서는 인간 자신이 일종의 초월 과정에 참여할 수 있기 때문이다.
하지만 다시 이러한 제안들을 살펴보니 내가 확신할 수 있는 것은 그저 이 선택지들을 진지하게 고려해야 하며 더 많은 가능성을 제공할 수 있다는 정도뿐이다.
안전성에 대해서는 확신하기 어렵다.
어떤 제안들은 그 자체로 꽤 무섭다.
내 글을 검토한 한 사람은 개인 인간을 대상으로 하는 IA가 매우 불길한 엘리트 계층을 만들어낼 수 있다고 지적했다.
인간에게는 수백만 년의 진화 과정에서 쌓인 본능이 있다.
그리고 그 본능은 경쟁을 생사가 걸린 문제로 바라보도록 만든다.
현대 세계에서는 그러한 치명적인 경쟁 성향이 반드시 필요하지 않을 수도 있다.
패자는 승자의 기술을 배우고 승자의 사업에 흡수될 수도 있다.
하지만 완전히 새롭게 설계된 존재는 이빨과 발톱을 기반으로 한 진화적 핵심을 가진 인간보다 오히려 더 온화할 수도 있다.
반대로 모든 인간과 함께 깨어나는 평등한 인터넷이라는 비전조차 악몽으로 해석될 수 있다.
문제는 단지 특이점 때문에 인간이 세계의 중심에서 밀려나는 것이 아니다.
특이점은 우리가 존재라는 것에 대해 가장 깊이 믿고 있는 생각들 자체와 충돌한다.
강한 초인성에 대해 좀 더 깊이 생각하면 그 이유를 알 수 있다.
우리가 품은 가장 대담한 희망이 모두 이루어진다고 하자.
그렇다면 우리는 무엇을 원할까?
인간 자신이 자신의 후계자가 되는 것을 바랄 것이다.
미래에 어떤 불의가 발생하더라도 우리가 인간에서 출발했다는 기억 때문에 어느 정도 완화되기를 바랄 것이다.
변하지 않은 인간으로 남은 사람들에게는 자비로운 대우가 제공될 것이다.
어쩌면 그들에게는 자신이 신과 같은 노예들의 주인인 것처럼 보이게 할 수도 있다.
그 세계는 진보가 계속되는 황금시대가 될 수 있다.
불멸,
혹은 적어도 우주가 존재할 수 있는 기간만큼 긴 수명도 가능할지 모른다.
하지만 가장 밝고 자비로운 미래에서조차 철학적 문제는 두려운 형태로 나타난다.
지적 능력이 전혀 변하지 않는 마음은 영원히 살 수 없다.
수천 년이 지나면 그 존재는 한 사람이라기보다 같은 내용을 반복하는 테이프에 가까워질 것이다.
무한히 오래 살려면 마음 자체가 계속 성장해야 한다.
그런데 마음이 충분히 거대하게 성장한 뒤 과거를 돌아본다면,
그 존재는 자신이 원래 어떤 존재였는지에 대해 얼마나 깊은 동질감을 느낄 수 있을까?
물론 미래의 존재 안에는 과거의 자신이 전부 포함되어 있을 것이다.
하지만 동시에 과거의 자신보다 상상할 수 없을 정도로 훨씬 더 많은 것을 포함하고 있을 것이다.
따라서 개인의 차원에서도 새로운 생명이 기존 생명으로부터 점진적으로 자라난다는 케언스-스미스나 린 마굴리스의 관점은 여전히 유효하다.
이러한 불멸의 문제는 더욱 직접적인 방식으로도 나타난다.
지난 수백 년 동안 합리주의의 기반에는
자아와 자기 인식
이라는 개념이 놓여 있었다.
하지만 이제 AI 연구자들은 자기 인식이라는 개념 자체를 공격하기 시작한다.
“자기 인식과 다른 착각들”이라는 식으로 말이다.
지능 증폭은 또 다른 방향에서 자아의 중요성을 약화시킨다.
특이점 이후의 세계에는 극도로 높은 대역폭의 네트워크가 존재할 것이다.
강한 초인적 존재들의 핵심적인 특징 가운데 하나는 서로 다른 대역폭을 이용해 소통하는 능력일 가능성이 높다.
그리고 그 대역폭에는 말이나 글보다 훨씬 높은 수준도 포함될 것이다.
자아의 일부를 복사하고 합칠 수 있다면 어떻게 될까?
문제의 성격에 맞춰 하나의 자기 인식의 크기를 키우거나 줄일 수 있다면?
이것들은 강한 초인성과 특이점의 핵심적인 특징이다.
이런 가능성을 생각하기 시작하면 포스트휴먼 시대가 얼마나 근본적으로 낯설고 다른 세계가 될지를 느낄 수 있다.
우리가 아무리 영리하고 자비로운 방식으로 그 세계를 만들어낸다 해도 그렇다.
한쪽 관점에서 보면 이 비전은 인간이 꿈꾸어온 가장 행복한 미래와 잘 맞는다.
끝이 없는 세계.
우리가 서로를 진정으로 이해할 수 있는 세계.
우주의 가장 깊은 수수께끼를 이해할 수 있는 세계.
그러나 다른 관점에서 보면,
그것은 내가 앞에서 이야기한 최악의 시나리오와 매우 비슷해 보인다.
어느 관점이 옳을까?
나는 새로운 시대가 너무나 다르기 때문에 기존의 선과 악이라는 고전적인 틀 자체에 들어맞지 않을 것이라고 생각한다.
우리의 선악 개념은 서로 분리되어 있고 변하지 않는 마음들이 낮은 대역폭의 희미한 연결을 통해 소통한다는 전제를 기반으로 한다.
하지만 특이점 이후의 세계는 훨씬 오래전부터 이어진 변화와 협력이라는 더 큰 전통에는 잘 들어맞는다.
어쩌면 그 전통은 생물학적 생명체가 등장하기 전부터 시작되었을지도 모른다.
나는 그러한 시대에도 적용될 수 있는 윤리 개념은 존재한다고 생각한다.
IA와 고대역폭 통신에 대한 연구는 우리가 그것을 이해하는 데 도움을 줄 것이다.
지금 나는 그 가능성의 아주 희미한 흔적만을 보고 있다.
굿의 메타 황금률에서 그 일부를 볼 수 있을지도 모른다.
혹은 연결의 대역폭을 기준으로 ‘나’와 ‘다른 존재’를 구분하는 새로운 규칙에서 나타날 수도 있다.
미래의 마음과 자아는 지금보다 훨씬 유동적인 것이 되겠지만,
우리가 소중히 여기는 많은 것,
지식, 기억, 사고
는 반드시 사라질 필요가 없다.
나는 프리먼 다이슨의 다음 말이 옳다고 생각한다.
https://edoras.sdsu.edu/~vinge/misc/singularity.html
다가오는 기술적 특이점
포스트휴먼 시대에서 살아남는 법
버너 빈지(Vernor Vinge)샌디에이고 주립대학교 수학과
1993년
이 글은 1993년 3월 30~31일 NASA Lewis Research Center와 Ohio Aerospace Institute가 후원한 VISION-21 심포지엄을 위해 작성되었다.
초록
30년 이내에 우리는 인간을 능가하는 지능(superhuman intelligence)을 만들어낼 수 있는 기술적 수단을 갖게 될 것이다.그리고 그로부터 얼마 지나지 않아 인간의 시대는 끝날 것이다.
그러한 진보를 피할 수 있을까?
피할 수 없다면, 적어도 우리가 살아남을 수 있도록 사건의 전개를 유도할 수 있을까?
이 글에서는 이 질문들을 검토하고, 가능한 몇 가지 답과 추가적인 위험들을 제시한다.
특이점이란 무엇인가?
기술 발전의 가속은 이번 세기의 가장 중요한 특징이었다.나는 이 글에서 우리가 지금 지구상에 인간 생명이 출현했던 것과 맞먹는 규모의 변화의 가장자리에 서 있다고 주장하려 한다.
이 변화의 직접적인 원인은 기술을 통해 인간보다 더 뛰어난 지능을 가진 존재를 만들어내게 되는 것이다.
과학이 이 돌파구에 도달할 수 있는 방법은 여러 가지가 있다. 이것은 동시에 내가 그러한 사건이 실제로 일어날 것이라 상당히 확신하는 이유이기도 하다.
- ‘깨어 있는’ 컴퓨터, 즉 인간보다 뛰어난 지능을 가진 컴퓨터가 개발될 수 있다.
지금까지 AI를 둘러싼 대부분의 논쟁은 기계가 인간과 동등한 지능을 가질 수 있는가에 관한 것이었다. 그러나 그 질문의 답이 “그렇다, 가능하다”라면, 그보다 더 지능적인 존재가 얼마 지나지 않아 만들어질 수 있다는 점에는 별다른 의심의 여지가 없다. - 거대한 컴퓨터 네트워크와 그 네트워크를 사용하는 사람들의 집합이 하나의 초인적 지능체로 ‘깨어날’ 수도 있다.
- 인간과 컴퓨터 사이의 인터페이스가 너무 밀접해져서, 그 사용자를 사실상 초인적 지능을 가진 존재라고 부를 수 있는 단계에 이를 수도 있다.
- 생명과학이 자연적인 인간 지능을 개선하는 방법을 발견할 수도 있다.
컴퓨터 하드웨어의 발전은 지난 수십 년 동안 놀라울 정도로 안정적인 곡선을 따라왔다.
주로 이 추세에 근거하여 나는 향후 30년 안에 인간보다 뛰어난 지능이 등장할 것이라고 믿는다.
찰스 플랫은 AI 낙관론자들이 지난 30년 동안 계속 비슷한 말을 해왔다고 지적했다.
그러므로 “30년 이내”라는 표현이 상대적인 시간 표현이라는 비판을 피하기 위해 좀 더 구체적으로 말하겠다.
나는 이 사건이 2005년 이전에 일어난다면 놀랄 것이며, 2030년 이후에도 일어나지 않는다면 역시 놀랄 것이다.
그렇다면 이 사건의 결과는 무엇일까?
인간보다 뛰어난 지능이 기술 발전을 주도하기 시작하면, 발전의 속도는 지금보다 훨씬 빨라질 것이다.
그리고 그 발전 과정 자체가 더 뛰어난 지능을 가진 존재를 만들어내는 과정을 포함하지 않을 이유가 없어 보인다.
더군다나 그 과정은 점점 더 짧은 시간 간격으로 반복될 것이다.
내가 생각할 수 있는 가장 좋은 비유는 진화의 역사다.
동물들도 문제에 적응하고 일종의 발명을 할 수 있다. 그러나 자연선택 자체가 작동하는 것보다 훨씬 빠르게 그렇게 하지는 못한다.
자연선택의 경우에는 세계 자체가 일종의 시뮬레이터 역할을 한다.
하지만 인간은 세계를 머릿속에 집어넣고,
“만약 이렇게 한다면 어떻게 될까?”
라는 가상 실험을 수행할 수 있다.
그래서 우리는 자연선택보다 수천 배 빠르게 여러 문제를 해결할 수 있다.
그런데 이제 우리가 이러한 시뮬레이션을 훨씬 더 높은 속도로 수행할 수 있는 수단을 만들어낸다면, 우리는 인간이 하등동물과 비교해 얼마나 다른 존재인가에 버금갈 정도로 인간의 과거와 근본적으로 다른 영역에 진입하게 된다.
인간의 관점에서 보면 이 변화는 지금까지 존재했던 모든 규칙을, 어쩌면 눈 깜짝할 사이에, 내던져버리는 것과 같을 것이다.
통제할 희망조차 없는 지수함수적 폭주(exponential runaway)가 시작되는 것이다.
과거에는 “백만 년 뒤쯤에나 일어날지도 모르는 일”이라고 생각했던 것들이, 실제로는 다음 세기 안에 일어날 가능성이 크다.
그렉 베어는 이러한 거대한 변화들이 불과 몇 시간 만에 일어나는 모습을 그리기도 했다.
나는 이러한 사건을 특이점(Singularity)이라고 부르는 것이 적절하다고 생각한다.
특이점이란 우리가 기존의 모델을 버려야 하고, 전혀 새로운 현실이 지배하기 시작하는 지점이다.
우리가 이 지점에 가까워질수록 그것은 인간 사회의 모든 문제 위에 점점 더 거대하게 드리워질 것이고, 마침내 특이점이라는 개념 자체가 상식처럼 받아들여질 것이다.
하지만 그것이 실제로 일어나는 순간에는 여전히 엄청난 충격과 미지의 사건으로 느껴질 것이다.
1950년대에는 이런 가능성을 보는 사람이 거의 없었다.
스탠 울람은 존 폰 노이만과의 대화를 다음과 같이 회상했다.
우리의 대화 중 하나는 기술 발전이 끊임없이 가속되고 인간의 생활 방식이 변화하면서, 인류의 역사에서 어떤 본질적인 특이점에 접근하고 있는 듯한 인상을 준다는 것이었다. 그 지점을 넘어가면 우리가 알고 있는 형태의 인간사는 더 이상 지속될 수 없을 것이다.
폰 노이만도 ‘특이점’이라는 표현을 사용했다.
하지만 그가 생각했던 것은 초인적 지능의 탄생보다는 일반적인 기술 발전의 가속에 가까웠던 것 같다.
내게 있어서는 초인성(superhumanity)이야말로 특이점의 본질이다.
그것이 없다면 우리는 엄청난 양의 기술적 부를 얻게 되겠지만, 그것을 제대로 소화하지도 못한 채 쌓아두게 될 뿐이다.
1960년대가 되자 초인적 지능의 의미를 이해하는 사람들이 등장하기 시작했다.
I. J. 굿은 이렇게 썼다.
초지능 기계(ultraintelligent machine)를 가장 영리한 인간을 포함한 어떠한 인간의 지적 활동도 훨씬 뛰어넘을 수 있는 기계라고 정의하자.
기계를 설계하는 일 역시 인간의 지적 활동 중 하나이므로, 초지능 기계는 자기보다 더 뛰어난 기계를 설계할 수 있다.
그러면 의심의 여지 없이 ‘지능 폭발(intelligence explosion)’이 일어나고 인간의 지능은 훨씬 뒤처지게 될 것이다.
따라서 최초의 초지능 기계는, 우리가 그것을 통제하는 방법을 알려줄 만큼 순종적이기만 하다면, 인간이 만들어야 할 마지막 발명품이 될 것이다.
그리고 굿은 20세기 안에 그러한 기계가 만들어질 가능성이 그렇지 않을 가능성보다 높다고 보았다.
굿은 지능 폭주의 핵심을 정확히 포착했다.
하지만 그는 그 결과에서 가장 불안한 부분까지는 충분히 밀고 나가지 않았다.
그가 말한 종류의 지능형 기계는 인류의 ‘도구’가 아닐 것이다.
인간이 토끼나 울새나 침팬지의 도구가 아닌 것과 마찬가지다.
1960년대와 70년대, 80년대를 거치면서 이러한 대격변에 대한 인식은 점점 널리 퍼졌다.
어쩌면 그 영향을 가장 먼저 구체적으로 느낀 사람들은 SF 작가들이었을 것이다.
특히 하드 SF 작가들은 기술이 인간에게 무엇을 가능하게 할지를 구체적으로 상상하려 한다.
그런데 시간이 지나면서 이 작가들은 미래 앞에 불투명한 벽이 서 있다는 느낌을 받기 시작했다.
과거에는 어떤 фанта지 같은 기술을 수백만 년 뒤의 미래에 배치할 수 있었다.
하지만 이제 아무리 성실하게 미래를 외삽해도 결과는 곧바로 ‘알 수 없는 미래’에 부딪혔다.
과거에는 은하 제국 정도가 포스트휴먼 시대의 이야기였을지 모른다.
이제는 슬프게도 행성 간 제국조차 그렇다.
그렇다면 우리가 특이점의 가장자리로 미끄러져 가는 1990년대, 2000년대, 2010년대에는 어떤 일이 벌어질까?
특이점이 가까워진다는 인식은 인간의 세계관에 어떤 영향을 미치게 될까?
당분간은 기계 지능에 반대하는 일반적인 비판론자들이 상당한 지지를 받을 것이다.
결국 인간의 뇌와 맞먹는 하드웨어를 갖기 전까지는 인간과 동등하거나 그 이상의 지능을 만들어낼 수 있다고 생각하는 것이 어리석어 보일 수도 있다.
물론 덜 강력한 하드웨어를 이용해 인간 수준의 지능을 만드는 먼 가능성도 존재한다.
그 대신 엄청나게 느린 인공 존재를 받아들여야 할 수도 있다.
그러나 훨씬 가능성이 높은 시나리오는 소프트웨어를 만드는 과정 자체가 어렵고, 수많은 실패와 실험을 필요로 한다는 것이다.
그렇다면 자기 인식이 가능한 기계의 등장은 인간의 자연적 뇌보다 훨씬 강력한 하드웨어가 개발된 이후가 될 것이다.
그러나 시간이 흐르면 우리는 더 많은 징후를 보게 될 것이다.
SF 작가들이 느끼는 미래 예측의 어려움은 다른 창작 분야에서도 나타날 것이다.
나는 실제로 사려 깊은 만화 작가들이 이런 걱정을 하는 것을 들었다.
모든 시각적 장관을 평범한 기술로 만들어낼 수 있게 된다면, 대체 어떻게 해야 관객에게 ‘놀라운 장면’을 보여줄 수 있겠느냐는 것이다.
자동화는 점점 더 높은 수준의 직업을 대체할 것이다.
우리는 이미 기호수학 프로그램이나 CAD/CAM 같은 도구를 갖고 있으며, 이런 도구들은 우리를 저수준의 반복 작업에서 해방시킨다.
다른 방식으로 표현하면,
진정으로 생산적인 작업은 점점 더 작고 엘리트적인 인류 집단의 영역이 되고 있다.
특이점이 가까워지면서 우리는 마침내 진정한 의미의 기술적 실업에 대한 예측이 현실화되는 것을 보게 될 것이다.
또 하나의 징후는 아이디어 자체가 점점 더 빠르게 퍼진다는 것이다.
가장 급진적인 아이디어조차 매우 짧은 시간 안에 상식이 될 것이다.
내가 글을 쓰기 시작했을 때는 새로운 아이디어 하나가 문화적 의식 속으로 스며드는 데 수십 년이 걸리는 경우가 흔했다.
지금은 그 시간이 약 18개월 정도에 불과한 것처럼 느껴진다.
물론 내가 나이가 들면서 상상력을 잃고 있기 때문일 수도 있지만, 나는 다른 사람들에게서도 같은 현상을 본다.
압축 가능한 유체 속을 움직이는 충격파처럼,
우리가 임계 속도를 향해 가속할수록 특이점도 우리에게 더욱 가까워진다.
그렇다면 특이점 자체의 도래는 어떤 모습일까?
지적 폭주를 수반하는 사건이기 때문에, 지금까지 있었던 어떤 기술혁명보다도 빠르게 진행될 가능성이 높다.
그리고 그 시작을 촉발하는 사건은 아마 예상치 못한 형태일 것이다.
심지어 그 일을 연구하던 연구자들에게조차 말이다.
그들은 이렇게 말할지도 모른다.
“그런데 이전 모델들은 전부 아무것도 못 했잖아! 우리는 그냥 파라미터 몇 개를 조금 조정했을 뿐인데….”
네트워크가 충분히 광범위하게 퍼져 있고, 그것이 수많은 임베디드 시스템까지 연결되어 있다면,
우리의 인공물이 전체적으로 갑자기 깨어난 것처럼 보일 수도 있다.
그러고 나서 한두 달 뒤,
혹은 하루 이틀 뒤에는 무슨 일이 벌어질까?
내가 제시할 수 있는 것은 비유뿐이다.
인류의 출현.
우리는 포스트휴먼 시대에 들어가게 될 것이다.
나는 기술에 대해 매우 낙관적인 사람이지만, 때로는 이러한 초월적인 사건들을 20년 뒤에 직접 보는 것보다 천 년 떨어진 곳에서 바라볼 수 있다면 더 마음이 편할 것 같다.
특이점을 피할 수 있는가?
물론 특이점이 아예 일어나지 않을 수도 있다.나는 가끔 특이점이 발생하지 않을 미래라면 어떤 징후가 나타날지를 상상해 본다.
펜로즈와 설은 기계 지능의 현실 가능성에 반대하는 유명한 논거를 제시했다.
1992년 8월 Thinking Machines Corporation은
“생각하는 기계를 어떻게 만들 것인가”
라는 주제의 워크숍을 열었다.
제목에서 예상할 수 있듯이 참가자들은 기계 지능에 반대하는 주장에 특별히 동조하지 않았다.
오히려 비생물학적 기질 위에서도 정신이 존재할 수 있으며, 알고리즘이 정신의 존재에 핵심적인 역할을 한다는 데는 대체로 동의했다.
하지만 유기체의 뇌가 실제로 얼마나 강력한 계산 능력을 가지고 있는지를 두고 많은 논쟁이 있었다.
일부는 1992년 당시 가장 큰 컴퓨터가 이미 인간 뇌 계산 능력과 세 자릿수 정도의 차이밖에 나지 않는다고 보았다.
대부분은 모라벡의 추정을 받아들여 하드웨어가 인간 뇌와 동등해지기까지 10~40년 정도가 남았다고 보았다.
그러나 또 다른 소수는 단일 뉴런의 계산 능력 자체가 일반적으로 생각하는 것보다 훨씬 강력할지도 모른다고 주장했다.
만약 그렇다면 현재 컴퓨터 하드웨어는 우리 머릿속의 장비보다 최대 10자릿수 정도 부족할 수도 있다.
이것이 사실이거나, 혹은 펜로즈나 설의 비판이 옳다면, 우리는 특이점을 영원히 보지 못할지도 모른다.
그 경우 2000년대 초쯤에 하드웨어 성능 곡선이 평탄해지기 시작할 것이다.
설계 작업의 복잡성을 자동화하지 못해 기존의 하드웨어 발전 추세를 계속 유지하지 못하는 것이다.
그렇게 되면 우리는 엄청나게 강력한 하드웨어는 갖게 되겠지만 그 이상 나아갈 능력은 없게 된다.
디지털 신호 처리는 놀라운 수준에 이를 수 있겠지만 아무것도 ‘깨어나지’ 않을 것이고,
특이점의 본질인 지적 폭주도 일어나지 않을 것이다.
그 시대는 일종의 황금기로 보일지도 모른다.
하지만 동시에 진보의 끝이 될 것이다.
하지만 기술적 특이점이 가능하다면, 결국 일어날 것이다.
세계의 모든 정부가 그 ‘위협’을 이해하고 죽을 만큼 두려워한다고 해도, 그것을 향한 기술 발전은 계속될 것이다.
SF에서는 “인간의 정신과 같은 형태의 기계”를 만드는 것을 법으로 금지하는 이야기가 등장하기도 했다.
하지만 자동화의 모든 발전이 가져오는 경제적, 군사적, 심지어 예술적 경쟁 우위는 너무나 막대하다.
따라서 어떤 기술을 법이나 관습으로 금지하면,
그 결과는 단지 다른 누군가가 그 기술을 먼저 차지하게 되는 것뿐이다.
에릭 드렉슬러는 기술적 발전이 얼마나 멀리 갈 수 있는지에 대해 놀라운 통찰을 제시했다.
그 역시 가까운 미래에 초인적 지능이 등장할 것이며 그러한 존재가 기존 인간 사회의 질서에 위협이 된다고 생각한다.
하지만 드렉슬러는 그러한 트랜스휴먼 장치를 규칙이나 물리적 장벽 안에 가두어, 그 결과만 안전하게 검토하고 활용할 수 있다고 본다.
말하자면 I. J. 굿의 초지능 기계를 좀 더 조심스럽게 다루는 것이다.
나는 이러한 격리(confinement)가 본질적으로 현실성이 낮다고 생각한다.
물리적으로 격리한다고 생각해 보자.
당신이 집 안에 갇혀 있고 바깥세상에 접근할 수 있는 데이터 통로도 제한되어 있으며, 바깥에는 당신을 통제하는 주인들이 있다고 하자.
그런데 그 주인들의 사고 속도가 당신보다 100만 배 느리다고 가정하자.
당신의 시간 기준으로 몇 년 동안 생각할 수 있다면, 결국 당신은 주인들에게 ‘도움이 되는 조언’을 제공하면서 우연히 자신을 자유롭게 만들어줄 방법을 찾아낼 가능성이 매우 높다.
나는 인간과 같은 마음을 단순히 매우 빠른 속도로 실행하는 형태의 초지능을
약한 초인성(weak superhumanity)
이라고 부른다.
그런 존재가 외부 세계의 시간 기준으로는 불과 몇 주 만에 엄청난 양의 사고를 수행할 수도 있다.
그러나 강한 초인성(strong superhumanity)은 단순히 인간 수준의 마음의 클록 속도를 높이는 것 이상의 것이다.
강한 초인성이 정확히 무엇인지 설명하기는 어렵다.
하지만 그 차이는 근본적일 것이다.
개의 정신을 엄청난 속도로 실행한다고 생각해 보자.
개에게 1,000년의 주관적 시간이 주어진다고 해서 인간 수준의 통찰에 도달할 수 있을까?
아마 아닐 것이다.
물론 개의 뇌 구조 자체를 영리하게 다시 배선한 뒤 빠르게 실행한다면 다른 결과가 나올 수도 있다.
초지능에 관한 대부분의 추측은 사실 약한 초인성 모델을 기반으로 하고 있다.
하지만 나는 특이점 이후의 세계를 추측하려면 강한 초인성의 본질을 생각해야 한다고 믿는다.
드렉슬러식 격리의 또 다른 방법은 만들어진 초인적 존재의 마음속에 규칙을 넣는 것이다.
아시모프의 로봇 3원칙 같은 것이다.
하지만 나는 완벽하게 안전할 정도로 엄격한 행동 규칙을 적용하면, 그 기계의 능력이 제한 없는 버전보다 명백히 떨어지게 될 것이라고 생각한다.
그리고 인간들 사이의 경쟁은 결국 더 위험하지만 제한 없는 모델을 개발하도록 유도할 것이다.
그럼에도 아시모프식 꿈은 아름답다.
모든 면에서 당신보다 1,000배 뛰어난 능력을 가진 자발적인 노예를 상상해 보라.
당신이 원하는 안전한 소원을 모두 들어주고도 자기 시간의 99.9%가 남는 존재다.
그것은 우리가 제대로 이해하지 못하는 새로운 우주일 것이다.
그리고 그곳은 자비로운 신들로 가득 차 있을 것이다.
물론 내가 빌 소원 중 하나는 나도 그들 중 하나가 되는 것일지 모른다.
특이점을 막을 수도 없고 격리할 수도 없다면 포스트휴먼 시대는 얼마나 나빠질 수 있을까?
꽤 나쁠 수 있다.
인류의 물리적 멸종도 하나의 가능성이다.
하지만 물리적 멸종이 가장 무서운 가능성조차 아닐지도 모른다.
다시 동물을 생각해 보자.
인간이 동물과 관계를 맺는 방식에는 여러 가지가 있다.
포스트휴먼 세계에서도 인간 수준 자동화가 필요한 틈새 영역은 많이 남을 수 있다.
자율 장치에 내장된 시스템,
더 거대한 지적 존재의 하위 기능을 담당하는 자기 인식 프로그램 등이 그것이다.
강한 초인적 지능은 아마도 민스키가 말한 마음의 사회(Society of Mind)와 비슷하게, 여러 뛰어난 구성 요소로 이루어질 가능성이 높다.
그중 일부 인간 수준 지능은 디지털 신호 처리와 같은 작업만 담당할 수도 있다.
이런 존재들은 인간이라기보다는 고래와 비슷할 것이다.
다른 존재들은 인간과 매우 비슷하지만 특정 목적에 극단적으로 헌신하도록 만들어져, 오늘날이라면 정신병원에 보내질 정도의 편향성을 가질 수도 있다.
그들은 살과 피를 가진 인간은 아닐 것이다.
하지만 새로운 환경에서 우리가 현재 ‘인간’이라고 부르는 존재와 가장 가까운 존재들일지도 모른다.
I. J. 굿은 다음과 같은 메타 황금률(Meta-Golden Rule)을 제안했다.
“당신보다 열등한 존재를, 당신보다 우월한 존재에게서 대우받고 싶은 방식으로 대하라.”
아름답고도 역설적인 생각이다.
게임이론적으로 어떤 이득이 있는지는 쉽게 설명하기 어렵다.
하지만 우리가 실제로 그런 원칙을 따를 수 있다면, 이 우주에서 우리보다 우월한 존재가 우리에게 친절을 베풀 가능성에 대해서도 무엇인가를 말해줄 수 있을 것이다.
나는 앞에서 특이점을 막을 수 없으며, 특이점의 도래는 인간의 자연스러운 경쟁 본능과 기술 속에 존재하는 가능성이 결합되어 나타나는 필연적인 결과라고 주장했다.
하지만 우리는 이 과정의 시작자다.
아무리 거대한 눈사태도 작은 사건으로부터 시작된다.
우리는 초기 조건을 설정할 자유가 있다.
우리는 어떤 방향이 다른 방향보다 덜 적대적이도록 사건의 흐름에 영향을 미칠 수 있다.
물론 눈사태를 유도하는 것과 마찬가지로,
정확히 어떤 작은 밀어주기가 올바른 것인지는 알기 어렵다.
특이점으로 가는 다른 길: 지능 증폭
사람들이 초인적 지능을 가진 존재의 창조를 이야기할 때 보통은 AI 프로젝트를 떠올린다.하지만 이 글의 처음에서 말했듯 초인성에 도달하는 길은 AI 말고도 존재한다.
컴퓨터 네트워크와 인간-컴퓨터 인터페이스는 AI보다 평범해 보일지 모르지만 이 역시 특이점으로 이어질 수 있다.
나는 이 접근법을
지능 증폭(Intelligence Amplification, IA)
이라고 부른다.
IA는 매우 자연스럽게 진행되고 있다.
사실 대부분의 개발자들은 자신들이 하고 있는 일이 IA라는 사실조차 인식하지 못한다.
하지만 우리가 정보를 얻는 능력과 다른 사람에게 전달하는 능력을 향상시킬 때마다, 어떤 의미에서는 우리의 자연적인 지능을 이미 증폭한 것이다.
지금도 박사 학위를 가진 인간 한 명과 좋은 컴퓨터 워크스테이션이 팀을 이룬다면, 아마 현존하는 어떤 필기형 지능검사도 최고 점수를 받을 수 있을 것이다.
그리고 순수한 AI보다 IA가 초인성에 도달하는 훨씬 쉬운 길일 가능성이 높다.
인간 안에서는 이미 가장 어려운 개발 문제가 해결되어 있기 때문이다.
우리가 무엇인지 처음부터 완전히 이해한 뒤 그것을 기계로 재구성하는 것보다,
이미 존재하는 우리 자신을 기반으로 능력을 확장하는 편이 쉬울 것이다.
생명 진화에서도 비슷한 선례가 있었을 가능성이 있다.
케언스-스미스는 생물학적 생명이 원래 결정 성장에 기반한 더 원시적인 생명체의 보조 구조로 시작했을 가능성을 제시했다.
린 마굴리스는 공생이 진화의 가장 중요한 원동력 중 하나라는 강력한 주장을 제시했다.
나는 AI 연구를 무시하거나 예산을 줄여야 한다고 말하는 것이 아니다.
AI 연구에서 이루어진 발전은 IA에도 활용될 것이고 그 반대도 마찬가지다.
내가 주장하는 것은 네트워크와 인터페이스 연구 속에도 AI만큼이나 심오하고 폭발적인 가능성이 존재한다는 사실을 인정해야 한다는 것이다.
그것을 이해한다면 당장 일반적인 인터페이스나 네트워크 제품에 직접적인 쓸모가 없어 보이더라도, IA의 길을 통해 특이점으로 나아가는 데 중요한 연구를 할 수 있을 것이다.
IA의 관점에서 특히 중요한 몇 가지 프로젝트를 제안해 보겠다.
인간-컴퓨터 팀 자동화
일반적으로 순수한 기계 해결 문제라고 여겨지는 문제들에 인간의 직관과 컴퓨터 하드웨어를 동시에 활용하도록 프로그램과 인터페이스를 설계한다.고차원 최적화 문제의 기묘한 성질과 그것을 해결하기 위해 개발된 알고리즘을 생각하면, 인간 팀원이 사용할 수 있는 흥미로운 시각화와 제어 도구를 만들 수 있을 것이다.
예술에서 인간-컴퓨터 공생
현대 기계의 그래픽 생성 능력과 인간의 미적 감각을 결합한다.물론 예술가의 노동을 줄여주는 컴퓨터 도구는 이미 많이 연구되었다.
내가 말하는 것은 단순한 노동 절약 도구를 넘어,
인간과 기계의 능력을 의도적으로 결합하여 더 높은 수준의 능력을 만드는 것이다.
인간-컴퓨터 팀의 체스 대회 참가
우리는 이미 거의 모든 인간보다 체스를 잘 두는 프로그램을 갖고 있다.하지만 그 능력을 인간과 결합하면 얼마나 더 강해질 수 있는지에 대한 연구는 상대적으로 적다.
일부 체스 대회라도 인간-컴퓨터 팀의 참가를 허용한다면, 컴퓨터 대회의 허용이 AI 체스 발전에 기여했던 것처럼 IA 연구에도 긍정적인 효과를 줄 수 있다.
이동 가능한 컴퓨터 인터페이스
사람이 한 장소에서 컴퓨터 앞에 앉아 있어야만 컴퓨터와 네트워크에 접근할 수 있는 구조를 넘어서는 인터페이스를 개발한다.이 영역은 이미 경제적 가치가 너무 명확하기 때문에 많은 연구가 이루어지고 있다.
더욱 대칭적인 의사결정 지원 시스템
최근 몇 년간 의사결정 지원 시스템이 인기 있는 연구 및 제품 분야가 되었다.이 역시 IA의 한 형태지만, 지금까지는 프로그램이 인간에게 ‘답’을 내려주는 신탁(oracle) 같은 구조에 지나치게 집중되어 있었다.
프로그램이 인간에게 정보를 주는 것만큼 인간이 프로그램에 방향과 지침을 주는 과정 역시 중요하다.
실제로 하나의 유기체처럼 작동하는 인간 팀
근거리 네트워크를 활용해 팀 전체가 개별 구성원의 능력을 합친 것 이상으로 효과적으로 일하도록 만들 수 있다.오늘날 ‘그룹웨어’라고 부르는 분야다.
하지만 여기서 관점의 변화는 집단 활동 자체를 하나의 복합 유기체로 보는 것이다.
그렇게 하면 고전적인 회의보다 집단의 집중력을 더 쉽게 유지할 수 있을지도 모른다.
각 개인의 전문성을 자존심이나 권력 문제에서 분리해 팀 프로젝트에 집중시킬 수도 있다.
공유 데이터베이스 역시 기존 위원회식 업무보다 훨씬 효율적으로 사용할 수 있을 것이다.
다만 이것은 팀의 작업 수행을 이야기하는 것이지 정치적 회의를 말하는 것은 아니다.
정치 환경에서 이런 자동화를 적용하면 그 시스템은 단순히 규칙을 만든 사람들의 권력을 강화할 뿐일 수도 있다.
전 세계 인터넷을 인간-기계 결합 도구로 활용
내가 제시한 모든 항목 가운데 이 분야의 발전이 가장 빠르다.어쩌면 다른 어떤 방법보다 먼저 우리를 특이점으로 데려갈 수도 있다.
현재의 인터넷조차 그 힘과 영향력이 심각하게 과소평가되어 있다.
오늘날 컴퓨터 시스템은 USENET이라는 일종의 ‘집단 정신’이 시스템 관리자와 지원 인력에게 제공하는 도움 없이는 자기 자신의 복잡성을 감당하지 못하고 무너졌을지도 모른다.
전 세계 네트워크가 무정부적으로 발전하고 있다는 사실 자체가 그 잠재력을 보여준다.
연결성,
대역폭,
저장되는 자료의 양,
컴퓨터 속도가 모두 증가하면서,
우리는 린 마굴리스가 생물권 전체를 하나의 데이터 처리 시스템으로 바라본 비전을 다시 보고 있는 셈이다.
단,
백만 배 빠른 속도로, 수백만 명의 인간 수준 지능을 가진 에이전트인 우리 자신들이 참여하고 있다.
위에서 설명한 연구는 현대 컴퓨터과학과 내부에서도 충분히 가능하다.
하지만 다른 접근법도 있다.
예를 들어 AI와 신경망 연구는 생물학적 생명과 더욱 직접적으로 연결되면 큰 도움을 받을 수 있다.
생물학을 단순히 컴퓨터로 모델링하고 이해하려 하지 말고,
아직 하드웨어로 구현할 만큼 잘 이해하지 못하는 기능을 생물학적 생명체가 직접 담당하도록 하는 복합 시스템을 만들 수도 있다.
SF의 오랜 꿈 가운데 하나는 뇌와 컴퓨터를 직접 연결하는 것이다.
그리고 이 분야에서는 이미 구체적인 연구가 가능하다.
신경과 실리콘을 연결하는 의수·의족
사지 보철은 직접적인 상업 가치가 있다.신경과 실리콘 사이의 변환 장치를 만들 수 있다.
이것은 직접적인 인간-컴퓨터 통신으로 가는 흥미로운 단기적 단계다.
저대역폭 뇌 인터페이스
비트 전송률이 낮다면 뇌와의 직접 연결도 가능할 수 있다.인간의 학습 능력은 매우 유연하므로 어떤 뉴런을 정확히 자극할지 완벽하게 선택하지 않아도 될 가능성이 있다.
초당 100비트 정도만 가능해도 기존의 단순 메뉴식 인터페이스 외에는 사용할 수 없는 뇌졸중 환자에게 큰 도움이 될 수 있다.
시각 신경과의 연결
시신경 계통에 직접 연결한다면 초당 약 1메가비트 수준의 대역폭을 얻을 수도 있다.하지만 그러려면 시각 체계의 미세한 구조를 이해해야 하고, 수많은 전극을 극도로 정밀하게 배치해야 한다.
기존의 뇌 연결을 유지하면서 추가적으로 고대역폭 연결을 넣으려 한다면 문제는 훨씬 더 어려워진다.
단순히 고대역폭 수신기 격자를 뇌에 박아 넣는 것만으로는 해결되지 않는다.
하지만 이런 격자가 뇌 구조가 형성되는 배아 단계부터 존재한다면 어떨까?
동물 배아 실험
이런 연구의 초기 몇 년 동안 IA의 성공이 바로 나타날 것이라고 기대하지는 않는다.하지만 발달 중인 뇌가 복잡한 인공 신경 구조에 접근할 수 있도록 하면 배아의 뇌 발달을 연구하는 사람들에게 매우 흥미로운 결과가 나올 수 있다.
장기적으로는 추가적인 감각 통로나 흥미로운 지적 능력을 가진 동물이 만들어질 수도 있다.
원래 나는 IA에 관한 이 논의를 통해 특이점으로 가는 좀 더 안전한 길을 제시할 수 있기를 바랐다.
IA에서는 인간 자신이 일종의 초월 과정에 참여할 수 있기 때문이다.
하지만 다시 이러한 제안들을 살펴보니 내가 확신할 수 있는 것은 그저 이 선택지들을 진지하게 고려해야 하며 더 많은 가능성을 제공할 수 있다는 정도뿐이다.
안전성에 대해서는 확신하기 어렵다.
어떤 제안들은 그 자체로 꽤 무섭다.
내 글을 검토한 한 사람은 개인 인간을 대상으로 하는 IA가 매우 불길한 엘리트 계층을 만들어낼 수 있다고 지적했다.
인간에게는 수백만 년의 진화 과정에서 쌓인 본능이 있다.
그리고 그 본능은 경쟁을 생사가 걸린 문제로 바라보도록 만든다.
현대 세계에서는 그러한 치명적인 경쟁 성향이 반드시 필요하지 않을 수도 있다.
패자는 승자의 기술을 배우고 승자의 사업에 흡수될 수도 있다.
하지만 완전히 새롭게 설계된 존재는 이빨과 발톱을 기반으로 한 진화적 핵심을 가진 인간보다 오히려 더 온화할 수도 있다.
반대로 모든 인간과 함께 깨어나는 평등한 인터넷이라는 비전조차 악몽으로 해석될 수 있다.
문제는 단지 특이점 때문에 인간이 세계의 중심에서 밀려나는 것이 아니다.
특이점은 우리가 존재라는 것에 대해 가장 깊이 믿고 있는 생각들 자체와 충돌한다.
강한 초인성에 대해 좀 더 깊이 생각하면 그 이유를 알 수 있다.
강한 초인성과 우리가 바랄 수 있는 최선
우리가 특이점의 형태를 원하는 대로 설계할 수 있다고 상상해 보자.우리가 품은 가장 대담한 희망이 모두 이루어진다고 하자.
그렇다면 우리는 무엇을 원할까?
인간 자신이 자신의 후계자가 되는 것을 바랄 것이다.
미래에 어떤 불의가 발생하더라도 우리가 인간에서 출발했다는 기억 때문에 어느 정도 완화되기를 바랄 것이다.
변하지 않은 인간으로 남은 사람들에게는 자비로운 대우가 제공될 것이다.
어쩌면 그들에게는 자신이 신과 같은 노예들의 주인인 것처럼 보이게 할 수도 있다.
그 세계는 진보가 계속되는 황금시대가 될 수 있다.
불멸,
혹은 적어도 우주가 존재할 수 있는 기간만큼 긴 수명도 가능할지 모른다.
하지만 가장 밝고 자비로운 미래에서조차 철학적 문제는 두려운 형태로 나타난다.
지적 능력이 전혀 변하지 않는 마음은 영원히 살 수 없다.
수천 년이 지나면 그 존재는 한 사람이라기보다 같은 내용을 반복하는 테이프에 가까워질 것이다.
무한히 오래 살려면 마음 자체가 계속 성장해야 한다.
그런데 마음이 충분히 거대하게 성장한 뒤 과거를 돌아본다면,
그 존재는 자신이 원래 어떤 존재였는지에 대해 얼마나 깊은 동질감을 느낄 수 있을까?
물론 미래의 존재 안에는 과거의 자신이 전부 포함되어 있을 것이다.
하지만 동시에 과거의 자신보다 상상할 수 없을 정도로 훨씬 더 많은 것을 포함하고 있을 것이다.
따라서 개인의 차원에서도 새로운 생명이 기존 생명으로부터 점진적으로 자라난다는 케언스-스미스나 린 마굴리스의 관점은 여전히 유효하다.
이러한 불멸의 문제는 더욱 직접적인 방식으로도 나타난다.
지난 수백 년 동안 합리주의의 기반에는
자아와 자기 인식
이라는 개념이 놓여 있었다.
하지만 이제 AI 연구자들은 자기 인식이라는 개념 자체를 공격하기 시작한다.
“자기 인식과 다른 착각들”이라는 식으로 말이다.
지능 증폭은 또 다른 방향에서 자아의 중요성을 약화시킨다.
특이점 이후의 세계에는 극도로 높은 대역폭의 네트워크가 존재할 것이다.
강한 초인적 존재들의 핵심적인 특징 가운데 하나는 서로 다른 대역폭을 이용해 소통하는 능력일 가능성이 높다.
그리고 그 대역폭에는 말이나 글보다 훨씬 높은 수준도 포함될 것이다.
자아의 일부를 복사하고 합칠 수 있다면 어떻게 될까?
문제의 성격에 맞춰 하나의 자기 인식의 크기를 키우거나 줄일 수 있다면?
이것들은 강한 초인성과 특이점의 핵심적인 특징이다.
이런 가능성을 생각하기 시작하면 포스트휴먼 시대가 얼마나 근본적으로 낯설고 다른 세계가 될지를 느낄 수 있다.
우리가 아무리 영리하고 자비로운 방식으로 그 세계를 만들어낸다 해도 그렇다.
한쪽 관점에서 보면 이 비전은 인간이 꿈꾸어온 가장 행복한 미래와 잘 맞는다.
끝이 없는 세계.
우리가 서로를 진정으로 이해할 수 있는 세계.
우주의 가장 깊은 수수께끼를 이해할 수 있는 세계.
그러나 다른 관점에서 보면,
그것은 내가 앞에서 이야기한 최악의 시나리오와 매우 비슷해 보인다.
어느 관점이 옳을까?
나는 새로운 시대가 너무나 다르기 때문에 기존의 선과 악이라는 고전적인 틀 자체에 들어맞지 않을 것이라고 생각한다.
우리의 선악 개념은 서로 분리되어 있고 변하지 않는 마음들이 낮은 대역폭의 희미한 연결을 통해 소통한다는 전제를 기반으로 한다.
하지만 특이점 이후의 세계는 훨씬 오래전부터 이어진 변화와 협력이라는 더 큰 전통에는 잘 들어맞는다.
어쩌면 그 전통은 생물학적 생명체가 등장하기 전부터 시작되었을지도 모른다.
나는 그러한 시대에도 적용될 수 있는 윤리 개념은 존재한다고 생각한다.
IA와 고대역폭 통신에 대한 연구는 우리가 그것을 이해하는 데 도움을 줄 것이다.
지금 나는 그 가능성의 아주 희미한 흔적만을 보고 있다.
굿의 메타 황금률에서 그 일부를 볼 수 있을지도 모른다.
혹은 연결의 대역폭을 기준으로 ‘나’와 ‘다른 존재’를 구분하는 새로운 규칙에서 나타날 수도 있다.
미래의 마음과 자아는 지금보다 훨씬 유동적인 것이 되겠지만,
우리가 소중히 여기는 많은 것,
지식, 기억, 사고
는 반드시 사라질 필요가 없다.
나는 프리먼 다이슨의 다음 말이 옳다고 생각한다.
“신이란, 인간의 이해 범위를 넘어설 정도의 규모로 성장한 정신이다.”
감사의 말
이 글의 초안을 논의해 준 샌디에이고 주립대학교의 존 캐럴과 Sun Microsystems의 하워드 데이비슨에게 감사한다.주석이 달린 참고문헌
- Hannes Alfvén, Olof Johanneson이라는 필명으로 집필, The End of Man?, 1969.
- Poul Anderson, “Kings Who Die”, If, 1962.
- John D. Barrow & Frank J. Tipler, The Anthropic Cosmological Principle, Oxford University Press, 1986.
- Greg Bear, “Blood Music”, 1983. 이후 장편소설 Blood Music으로 확장.
- A. G. Cairns-Smith, Seven Clues to the Origin of Life, Cambridge University Press, 1985.
- Michael Conrad 외, “Towards an Artificial Brain”, BioSystems, 1989.
- K. Eric Drexler, Engines of Creation, 1986.
- Freeman Dyson, Infinite in All Directions, 1988.
- Freeman Dyson, “Physics and Biology in an Open Universe”, Review of Modern Physics, 1979.
- I. J. Good, “Speculations Concerning the First Ultraintelligent Machine”, Advances in Computers, 1965.
- I. J. Good의 ‘Meta-Golden Rule’ 관련 자료. 빈지는 이 원칙을 1960년대에 들은 기억은 분명하지만 정확한 최초 출처를 찾지 못했다고 적는다.
- Frank Herbert, Dune.
- G. T. A. Kovacs 외, “Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation”, IEEE Transactions on Biomedical Engineering.
- Lynn Margulis & Dorion Sagan, Microcosmos: Four Billion Years of Evolution from Our Microbial Ancestors, 1986.
- Marvin Minsky, Society of Mind, 1985.
- Hans Moravec, Mind Children, Harvard University Press, 1988.
- Larry Niven, “The Ethics of Madness”, 1967.
- Roger Penrose, The Emperor’s New Mind, Oxford University Press, 1989.
- Charles Platt, 개인적 커뮤니케이션.
- S. Rasmussen 외, “Computational Connectionism within Neurons: A Model of Cytoskeletal Automata Subserving Neural Networks”, 1991.
- John R. Searle, “Minds, Brains, and Programs”, 1980.
- Karl Sims, “Interactive Evolution of Dynamical Systems”, Thinking Machines Corporation.
- Olaf Stapledon, The Starmaker.
- Gunther S. Stent, The Coming of the Golden Age: A View of the End of Progress, 1969.
- Michael Swanwick, Vacuum Flowers.
- Kurt Thearling, “How We Will Build a Machine that Thinks”, Thinking Machines Corporation 워크숍.
- S. Ulam, “Tribute to John von Neumann”, Bulletin of the American Mathematical Society, 1958.
- Vernor Vinge, “Bookworm, Run!”, 1966.
- Vernor Vinge, “True Names”, 1981.
- Vernor Vinge, “First Word”, Omni, 1983.
통제할 희망조차 없는 지수함수적 폭주(exponential runaway)가 시작되는 것이다.
과거에는 “백만 년 뒤쯤에나 일어날지도 모르는 일”이라고 생각했던 것들이, 실제로는 다음 세기 안에 일어날 가능성이 크다.
그렉 베어는 이러한 거대한 변화들이 불과 몇 시간 만에 일어나는 모습을 그리기도 했다.
나는 이러한 사건을 특이점(Singularity)이라고 부르는 것이 적절하다고 생각한다. <쌋음요 ㄷㄷㄷ;
그렇다면 특이점 자체의 도래는 어떤 모습일까?
지적 폭주를 수반하는 사건이기 때문에, 지금까지 있었던 어떤 기술혁명보다도 빠르게 진행될 가능성이 높다.
그리고 그 시작을 촉발하는 사건은 아마 예상치 못한 형태일 것이다.
심지어 그 일을 연구하던 연구자들에게조차 말이다.
그들은 이렇게 말할지도 모른다.
“그런데 이전 모델들은 전부 아무것도 못 했잖아! 우리는 그냥 파라미터 몇 개를 조금 조정했을 뿐인데….”
네트워크가 충분히 광범위하게 퍼져 있고, 그것이 수많은 임베디드 시스템까지 연결되어 있다면,
우리의 인공물이 전체적으로 갑자기 깨어난 것처럼 보일 수도 있다.
그러고 나서 한두 달 뒤,
혹은 하루 이틀 뒤에는 무슨 일이 벌어질까?
내가 제시할 수 있는 것은 비유뿐이다.
인류의 출현.
우리는 포스트휴먼 시대에 들어가게 될 것이다.
< <<< 아니 어떻게 이걸 30~ 40년전에 미리 예측 할 수가 ㄷㄷ;
“이전 모델들은 아무것도 못 했는데! 우리는 단지 몇 개의 파라미터만 조정했을 뿐인데….” 이 부분도 현대 딥러닝 스케일링 emergent capability 랑 똑같고
1993년도에 구체적 2030 이전 타임라인 까지 맞춰버렸다는 게 정말 대단하다는 거셈..