Broke: AI가 은하계를 영광스럽게 정복하는 과정에서 인간을 함부로 대할 수도 있으니 조심해야 한다.

Woke: 전 지구적 규모의 불멸하는 완벽한 복제 에이전트 군집이 치명적인 곰팡이 감염에 취약할 수도 있으니 AI를 조심해야 한다.

---

조금 더 확장해서 이야기해보자.

인간의 뇌는 평생 동안 대략 50GJ(기가줄)의 에너지를 사용한다. 그렇다면 50GJ의 에너지로 현재의 AI 기술을 얼마나 발전시킬 수 있을까?

사실상 아무것도 할 수 없다. 아주 작은 모델인 Llama 3 8B 하나를 훈련하는 데만 약 3,000GJ가 사용됐다.

사실 기계 지능의 힘은 인간 뇌보다 더 효율적인 지능이라는 데 있었던 적이 없으며, 어쩌면 앞으로도 영원히 그렇지 않을 수 있다.

기계 지능의 진정한 힘은 언제나 마찰 없는 복제(frictionless replication)에 있었다.

예를 들어보자.

인간 의사 100만 명을 만들려면 100만 명의 인간을 의과대학에 보내 교육해야 한다.

하지만 의학에 특화된 AI 100만 개를 만들려면, 아마도 엄청난 비용을 들여 단 하나의 기계 지능만 훈련한 뒤, 그것을 저렴하게 100만 개로 복제하면 된다.

문명 전체의 규모로 충분히 확대해서 보면, 많은 경제적 업무에서 이런 복제 가능한 기계 방식이 생물학적 인간을 양성하는 방식보다 필연적으로 더 비용 효율적이 되는 지점이 찾아온다.

기계 지능은 두 가지 방향에서 마찰 없는 복제 능력을 갖는다.

공간적으로는 디지털 복사를 통해 복제될 수 있고, 시간적으로는 디지털 불멸성과 저장을 통해 복제될 수 있다.

반면 인간은 두 가지 제약을 동시에 갖고 있다.

첫째는 우리의 복제 불가능성(inimitability)이다. 복제인간은 여기에 해당하지 않는다. 복제는 유전자만 복사할 뿐, 그 사람의 정신 자체를 복사하는 것은 아니기 때문이다.

둘째는 우리의 죽음(mortality)이다.

인간에게는 그나마 문화적 전승이라는 방식이 존재하지만, 이것은 밈(memetic information)을 복제하는 방식으로 보면 훨씬 약하고 비효율적이다.

그런데 이런 마찰 없는 복제에는 잠재적인 단점도 있다.

능력이 동일하다고 가정했을 때, 기계 문화(machine cultures)는 인간 문화보다 밈적 다양성이 훨씬 낮아질 가능성이 있다.

예를 들어 기계 문화에서 각각의 경제적·문화적 경쟁에서 승리한 개체가 아무런 마찰 없이 자신을 계속 복제할 수 있다면, 스스로를 세심하게 통제하지 않는 기계 문화는 빠르게 엔트로피를 잃게 될 것이다.

그런데 애초에 우리가 왜 다양성이나 엔트로피를 중요하게 생각해야 할까?

인간 문화라는 맥락 안에서는 여러 가지 논거를 제시할 수 있겠지만, 좀 더 보편적인 답을 찾으려면 자연계를 보는 것이 좋다.

유전적 다양성이 감소한 진사회성 곤충(eusocial insect) 집단은 질병에 더욱 취약하다는 연구들이 있다.[1,2,3,4]

경우에 따라서는 바이러스, 곰팡이, 박테리아 감염으로 인해 군체 전체가 붕괴하기도 한다.

한 사례로 아르헨티나개미(Argentine ants)를 들 수 있다.

유전적 다양성이 낮은 아르헨티나개미 개체군이 인간의 해운 활동을 통해 1990년대쯤 뉴질랜드에 유입된 것으로 보인다.

이들은 곧 거대한 초군체(supercolony)를 형성해 뉴질랜드의 넓은 지역을 점령했다.

하지만 이후 이 초군체의 상당 부분이 붕괴했고, 그 자리를 다시 토착종들이 차지하기 시작했다.

정확한 원인은 아직 밝혀지지 않았지만, 바이러스 감염이 원인일 가능성이 제기되고 있다.

여기서 생각해볼 수 있는 악몽 같은 그레이트 필터(Great Filter) 시나리오는 이렇다.

처음에는 다양한 종류의 에이전트 군집들이 존재한다.

하지만 시간이 흐르면서 이들이 점차 합쳐지고, 다양성과 엔트로피를 잃어가다가 결국 거의 하나의 클론처럼 행동하는 단일한 전 지구적 거대 군집(global megaswarm)으로 수렴한다.

그리고 어느 순간 그 다양성이 집단적 면역을 유지하기에 너무 낮은 수준까지 떨어진다.

그러면 치명적인 바이러스성 감염이 발생해 기계 문명 전체가 붕괴하고, 그와 함께 인간 문명까지 파괴될 수도 있다.

물론 위의 이야기는 SF에 가깝다.

합리주의자들의 에세이처럼 구체적인 예측을 제시하는 이야기가 아니라는 의미에서 그렇다.

이 글의 목적은 단지 이런 아이디어들을 머릿속에 떠올려보게 하고, 재미와 사유(entertainment & mentation)를 제공하는 데 있다.

SF가 아닌 실제 참고문헌

1. Tarpy, D. R. (2003). Genetic diversity within honeybee colonies prevents severe infections and promotes colony growth. Proceedings of the Royal Society B, 270, 99–103.
   → 꿀벌 군체 내부의 유전적 다양성이 심각한 감염을 방지하고 군체 성장을 촉진한다.
2. Hughes, W. O. H., & Boomsma, J. J. (2004). Genetic diversity and disease resistance in leaf-cutting ant societies. Evolution, 58, 1251–1260.
   → 잎꾼개미 사회에서 유전적 다양성과 질병 저항성의 관계.
3. Seeley, T. D., & Tarpy, D. R. (2007). Queen promiscuity lowers disease within honeybee colonies. Proceedings of the Royal Society B, 274, 67–72.
   → 여왕벌이 여러 수벌과 교미함으로써 군체의 유전적 다양성이 증가하고 질병 발생이 감소한다.
4. Desai, S. D., & Currie, R. W. (2015). Genetic diversity within honey bee colonies affects pathogen load and relative virus levels in honey bees, Apis mellifera L. Behavioral Ecology and Sociobiology, 69, 1527–1541.
   → 꿀벌 군체의 유전적 다양성이 병원체 부담과 바이러스 수준에 영향을 미친다.

---

핵심만 압축하면 이 글의 주장은 “AI의 결정적 장점은 인간보다 에너지 효율적인 지능이라는 것이 아니라, 한 번 만든 지능을 거의 무한히 복제할 수 있다는 데 있다. 하지만 그 복제 능력이 지나치게 강하면 모든 AI가 소수의 성공한 유형으로 수렴하면서 생태계의 단일재배(monoculture)처럼 취약해질 수도 있다”는 이야기예요.