트윗
룬 "지금은 두려운 시대"
작성자
작성일
2026-10-13 12:06
조회
6
“AI 개발 속도를 늦추는 동안 무엇을 할 것인가?”라는 질문은 좋은 질문이다. 왜냐하면 사람들은 관료적인 규제 당국자들이 쓸모없는 소위원회에 앉아 시간을 낭비하고, 말만 번지르르한 분석 보고서나 쏟아내면서 그 귀중한 기회를 전부 허비하는 모습을 상상하기 때문이다. 사실 2년 전의 나에게 물었다면, 나 역시 정확히 그런 일이 벌어질 것이라고 예상했을 것이다.
하지만 지금은 두려운 시대다. 그렇기에 우리는 불과 몇 분기 전까지만 해도 ‘상식적인’ 사람이라면 비현실적이라고 일축했을 법한, 원대하고 심지어 실현 가능성이 낮아 보이는 생각들까지 진지하게 고민해야 한다.
위기는 하룻밤 사이에 세상을 바꿔놓는다. HFI는 사회 전반의 문화와 분위기에 어떤 변화를 일으켰다.
내가 미처 깨닫지 못했던 명백한 사실이 하나 있다. 바로 AI 연구소들과 금융시장 전반이 정렬(alignment)과 통제(control) 문제를 해결해야 한다는 믿기 어려울 정도로 막대한 압박을 받고 있다는 것이다.
지금 이 순간에도 AI 정렬, 안전성, 모델 행동을 조금이라도 개선하는 것은 AI 연구소들에 엄청난 경제적 가치를 지닌다.
현재 AI 역량 발전에서 최우선 과제는 다음 학습이 안전하다고 스스로 확신할 수 있는 능력을 확보하는 것이다. 이것이 우선순위 0번이자, 1번이자, 2번이다.
물론 상황이 달라질 가능성도 있다. 상대적으로 안전한 시기가 이어지면서 사람들이 다시 안도감을 느끼기 시작한다면, 정치적 의지가 약화될 수도 있다.
그것은 바람직하지 않은 전개일 것이다.
AI 모델이 너무 똑똑해져서, 감시와 검증을 받는 상황에서는 자신의 실제 행동 성향을 드러내지 않을 수 있는 시기에도 경계심을 절대 늦춰서는 안 되기 때문이다.
만약 AI 개발 속도를 늦추는 조치가 시행된다면, 이상적으로는 다음과 같은 방향으로 역량 개발의 우선순위를 조정해야 한다.
정렬 관련 기술의 위험 대비 기대수익을 극대화하는 데 집중하면서, 그 목적에 직접적으로 기여하는 AI 역량만 선별적으로 발전시키는 것이다.
구체적으로는 다음 분야들이다.
-
AI 정렬(Alignment): AI가 인간의 의도와 가치에 부합하도록 만드는 기술
-
기계적 해석 가능성(Mechanistic Interpretability): 신경망 내부에서 실제로 무슨 일이 일어나는지 이해하는 기술
-
모니터링 가능성(Monitorability): AI의 행동과 내부 상태를 감시하고 이상 징후를 탐지하는 능력
-
의사결정 이론(Decision Theory): AI가 어떤 원리로 결정을 내리는지 이해하고 개선하는 연구
-
행동 일반화(Behavioral Generalization): AI가 학습·검증 환경을 벗어난 새로운 상황에서도 바람직하게 행동하도록 만드는 연구
이를 위해서는 AI 기업들의 사업 구조 자체가 바뀌어야 할지도 모른다.
하지만 수조 달러 규모의 자본시장이 그러한 방향을 요구한다면, 전 세계의 수조 달러 가치 AI 거대기업들은 연구개발의 초점을 이 문제로 전환하고 오직 여기에만 집중하게 될 것이다.
핵심 주장
글쓴이는 AI 개발을 일시적으로 감속한다고 해서 반드시 기술 발전이 정체되거나 관료주의에 시간을 낭비하게 되는 것은 아니라고 주장한다.오히려 AI 기업들이 막대한 자본과 연구 역량을 정렬·해석 가능성·통제 기술에 집중한다면, 개발 속도를 제한하는 기간에도 의미 있는 과학기술 발전이 가능하다는 것이다.
특히 흥미로운 점은 AI 역량 개발과 안전성 연구를 완전히 반대되는 활동으로 보지 않는다는 것이다. AI의 전반적인 능력을 무조건 확대하기보다는, 안전성과 통제 가능성을 개선하는 데 직접 필요한 능력은 계속 발전시킬 수 있다는 입장이다.
즉, 이 글은 AI 개발을 영구적으로 중단하자는 주장보다는 위험이 큰 역량 경쟁을 제한하면서 자동화된 정렬 연구를 가속하자는 주장에 가깝다.
전체 0