인류 역사의 중대한 전환점

지금은 인류 역사에서 중대한 전환점이다. 인간의 뇌가 지닌 모든 인지 능력을 갖춘 시스템인 범용인공지능(AGI)은 아마 불과 몇 년 앞으로 다가왔을 것이다. 수십 년 뒤 우리가 이 시대를 되돌아볼 때, 나는 우리가 특이점의 산기슭에 서 있었다는 사실을 깨닫게 될 것이라고 생각한다. 이는 다름 아닌 인류에게 새로운 시대가 밝아오는 순간이다.

나는 평생을 AGI 연구에 바쳐왔다. AGI가 책임감 있게 개발되고 배치된다면, 인류가 발명한 기술 가운데 가장 유익하고 혁신적인 기술 중 하나가 될 것이라는 깊은 확신이 언제나 있었기 때문이다. AGI는 일반적인 기술적 돌파구와 비교할 수 없다. 인터넷이나 모바일처럼 엄청난 영향을 미친 기술과도 차원이 다르다. 오히려 전기나 불의 발견에 훨씬 더 가깝다. 잠시 생각해보면, 우리는 본질적으로 모래가 생각하도록 만드는 방법을 발견한 셈이다. 기적과도 같은 일이다.

이 기술이 미칠 영향의 규모는 전례가 없을 것이다. 어쩌면 산업혁명보다 10배 큰 변화가 10배 빠른 속도로 전개될지도 모른다. AGI는 신약 개발을 가속하고, 새로운 청정에너지원을 개발하며, 혁신적인 첨단 소재를 만들어내는 등 사회가 직면한 가장 거대한 문제들을 해결하는 데 도움을 줄 것이다. 심지어 자원이 더 이상 인류 발전의 제약 요인이 되지 않는 지점에 도달해, 놀라운 풍요의 새 시대를 열 수도 있다.

최전선에서 마주하게 될 과제

AI는 이미 현실 세계에 실질적인 혜택을 제공하기 시작했다. 그러나 그 엄청난 가능성을 실현하기 위해서는 이 중대한 발전 시기를 신중하고 사려 깊게 헤쳐 나가야 한다. AGI에 가까워질수록 발생할 수 있는 위험에 대응하기 위해서는 긴급한 행동이 필요하다.

우리는 이미 최첨단 모델이 사이버보안에 제기하는 문제를 목격했다. 역량이 계속 발전함에 따라 핵이나 생물학적 위험을 비롯한 다른 위협들도 머지않아 등장할 수 있다. 앞으로는 점점 더 자율적으로 행동하고 재귀적으로 자기개선하는 시스템에 대한 통제력을 유지하기 위해 강력한 안전장치가 필요하다. 또한 시간이 지나야 비로소 분명해질 미지의 문제들에도 대응해야 한다.

나는 어떤 문제든 해결할 수 있는 인간의 독창성과 창의성을 언제나 믿어왔다. AI와 관련된 기술적 위험을 완화하는 일 역시 우리가 공동으로 해결할 수 있는 과제라고 확신한다. 그러나 그러기 위해서는 다음의 결정적인 단계를 올바르게 수행할 수 있도록 충분한 시간과 여유를 확보해야 한다. 현재 AI 분야도, 사회 전체도 그렇게 하고 있지 못하다.

지금 우리는 극도로 치열하고 다층적인 상업적·지정학적 경쟁에 갇혀 있다. 이러한 경쟁 역학은 빠른 발전을 촉진하고 엄청난 혜택이 실현되는 시점을 앞당기지만, 최전선의 기술 발전 속도는 우리가 그 기술을 이해하는 속도를 앞지르고 있다.

앞으로 어떤 일이 벌어질지 확실하게 아는 사람은 세계 어디에도 없다. 전문가들 사이에서도 의견이 엇갈린다. 불확실성이 크고 걸린 것이 이토록 많을 때는 신중한 낙관주의를 바탕으로 전진하는 것이 합리적이고 올바른 전략이다.

이를 위해서는 혁신을 촉진하면서도 책임과 보안을 장려하고, 핵심 안전 문제에 관한 국제 협력을 강화하며, AI가 사회 전체의 이익을 위해 어떻게 배치되어야 하는지 신중하게 검토하도록 유도하는 공공정책이 필요하다.

최첨단 AI 표준기구를 위한 프레임워크

우리가 목격하고 있는 AI의 급속한 발전에 대응하려면, 최첨단 AI 모델의 역량을 시험하는 새로운 방식이 필요하다. 이 방식은 역동적이고 적응 가능하며 엄격해야 한다.

미국은 경제적·기술적 지위를 고려할 때 이러한 프레임워크를 개발하는 첫걸음을 내딛기에 적합한 위치에 있다. 미국은 연방정부가 감독하는 민관 협력체나 자율규제기구를 모델로 새로운 표준기구를 설립할 수 있다. 금융산업규제국(FINRA)과 유사한 형태가 될 수 있으며, 이사회에는 독립적인 최고 수준의 기술 전문가와 오픈소스 진영의 대표가 포함되어야 한다.

세계적 수준의 기술 인재를 유치하고 대규모 시험에 필요한 컴퓨팅 자원을 확보하려면 상당한 규모의 자금이 필요하며, 재원 대부분은 업계가 부담하게 될 가능성이 크다.

표준기구는 평가 절차를 개발하고, 관련 연방기관 및 미국 국립연구소와 협력해 국가안보와 관련된 영역에서 시험을 수행할 책임을 맡게 된다.

표준기구가 정하고 AI 역량의 변화에 맞춰 정기적으로 갱신하는 일련의 벤치마크에서 일정 기준을 충족하는 모델은 ‘최첨단급 모델’로 분류된다. 이러한 벤치마크에 따라 ‘최첨단 모델’을 보유한 기관은 ‘최첨단 연구소’로 지정된다.

최첨단 연구소는 기술적 세부 정보를 담은 모델 카드를 공개하고, 강력한 내부 사이버보안 체계를 유지하며, 핵심 인력을 검증하고, 안전 및 보안 연구에 충분한 자원을 제공하는 등의 모범 관행을 채택하도록 권고받게 된다.

초기에는 최첨단 연구소들이 모델 출시 최대 30일 전에 자발적으로 표준기구에 모델을 제출해 검토받게 된다. 평가 절차가 효과적이고 견고하다는 사실이 입증되면 신속하게 공식 제도로 전환할 수 있다. 이후에는 최첨단 모델이 미국 시장에 배치되기 위해 반드시 해당 평가를 통과하도록 요구할 수 있다. 연구소들은 출시 이후 발견되는 중대한 취약점을 해결하기 위해서도 표준기구와 협력하게 된다.

모델 평가에는 사이버보안, 생물학적 위협 및 기타 고위험 영역에서의 역량을 검증하는 엄격하고 과학적인 평가가 포함되어야 한다. 자율적 AI를 대상으로 한 구체적인 시험에서는 안전장치를 우회하려는 시도나 기만의 징후를 탐지할 수 있다.

AI가 생성한 이미지에 디지털 워터마크를 삽입하고, 모델의 추론 과정을 이해할 수 있도록 사람이 읽을 수 있는 출력 토큰을 생성하는 것과 같은 모범 관행이 지켜지는지도 확인해야 한다.

이러한 평가는 처음에는 분기별로 정기적으로 갱신될 수 있다. 시대에 뒤처지거나 변별력을 잃은 벤치마크는 폐기하고 새로운 벤치마크로 대체해야 한다.

초기에는 최첨단 연구소들과 협의해 평가 기준을 개발하겠지만, 장기적으로는 모델이 시험에 과도하게 맞춰지는 것을 방지하기 위해 표준기구가 연구소와 독립적으로 비공개 시험을 설계할 수 있는 기술적 역량을 구축해야 한다.

또한 미국 정부와 협력해 제3자 감사기관 생태계를 조성하고, 이들이 평가 수행과 새로운 벤치마크 및 평가체계 개발을 지원하도록 할 수 있다.

이 접근법의 강점은 기술적 문제에 초점을 맞추면서도 혁신을 지원하고 책임감 있는 행동을 장려한다는 데 있다. AI 분야의 가속 속도를 따라가고, 위험이 발견되는 즉시 가장 중대한 위험에 맞춰 적응하도록 설계된 체계다.

상황의 심각성이 요구한다면 규제를 단계적으로 강화할 수 있으며, 필요하다고 판단될 경우 최첨단 연구소들 사이의 개발 속도 조절을 조율하는 것까지 포함할 수 있다.

최첨단 연구소로 지정되는 것은 상당한 명예와 위상을 갖게 될 것이다. 벤치마크 기준을 충족하는 모델을 개발한 기관이라면 어디든 그 지위를 얻을 수 있어야 한다.

이 프레임워크는 모델이 어느 국가에서 개발되었는지, 오픈소스인지 비공개 모델인지와 관계없이 모든 최첨단급 모델에 적용될 수 있다. 반면 스타트업이나 학계가 개발하는 비최첨단 모델은 이 절차에서 제외될 것이다.

미국이 주도하는 이러한 노력은 최첨단 AI에 관한 공통된 국제 표준을 마련하는 강력한 출발점이 될 수 있다. 이 기술은 전 세계에 영향을 미칠 것이므로, 이상적으로는 이 프레임워크가 국제사회로 하여금 가장 심각한 위험을 어떻게 관리할 것인지에 대한 합의를 도출하도록 촉진해야 한다.

동시에 모든 사람이 AI가 제공하는 기회에 접근하고 그 혜택을 누릴 수 있도록 해야 한다.

미래는 아직 정해지지 않았다

AGI는 과학과 의학을 발전시키는 궁극적인 도구가 되고, 막대한 생산성 향상과 경제성장을 이끌 잠재력을 지니고 있다.

그러나 이를 실현하려면 엄격한 과학적 방법을 활용하고, 최고의 인재들을 모아 우리가 직면한 문제를 해결하며, 공통된 글로벌 프레임워크를 중심으로 협력함으로써 기술적 토대를 올바르게 구축해야 한다.

이 어려운 기술적 문제를 해결하더라도, 앞으로는 더욱 복잡한 경제적·철학적 질문과 마주하게 될 것이다.

희소성이 사라진 세계에서 모든 사람이 번영하려면 어떤 새로운 경제모델이 필요할까? 우리는 어떤 가치를 추구하며 살아가야 할까? 삶의 의미와 목적은 무엇이 될까? 인간이라는 존재의 조건 자체는 어떻게 변화할까?

이러한 질문을 해결하는 일을 기술자들에게만 맡겨서는 안 되며, 그렇게 할 수도 없다. 사회의 모든 구성원이 함께 모여 이 새로운 장을 어떻게 써 내려갈지 결정해야 한다.

AI를 둘러싸고 엄청난 기대와 불확실성이 동시에 존재하며, 둘 다 충분히 타당하다. 그러나 미래는 아직 정해지지 않았다.

우리는 AGI가 도래하기 전의 이 소중한 시간을 활용해, 이 기술이 모든 인류의 이익을 위해 발전하도록 만들어야 한다. 우리가 지금 공동으로 무엇을 하느냐에 따라 문명의 다음 단계가 어떻게 펼쳐질지가 결정될 것이다.

AGI가 안전하게 세상에 도입되도록 책임 있게 이끌어간다면, 우리는 과학적 발견과 진보의 새로운 황금시대로 진입하고, 인류가 경이롭게 번영하는 밝은 미래를 열 수 있을 것이다.