인터뷰/예측
아폴로 리서치 CEO "2027년까지 역량 손실 없이 AGI 연구실의 최고 연구원 대체 가능"
작성자
작성일
2025-01-04 11:36
조회
1002
저는 짧은 타임라인, 예를 들어 2027년까지 역량 손실 없이 AGI 연구실의 최고 연구원을 대체할 수 있는 AI가 타당하다고 생각합니다. - Marius Hobbhahn
2024년:
AI는 인간이 약 30분 걸리는 ML(기계 학습) 엔지니어링 작업을 안정적으로 수행할 수 있고, 2~4시간이 걸리는 작업도 강력한 지원을 통해 안정적으로 수행할 수 있습니다.2025년:
AI는 2~4시간짜리 ML 엔지니어링 작업을 안정적으로 수행할 수 있으며, 가끔 중간 품질의 점진적인 연구(예: 학술회의 워크숍 논문)도 강력한 지원을 통해 수행할 수 있습니다.2026년:
AI는 8시간짜리 ML 엔지니어링 작업을 안정적으로 수행할 수 있으며, 가끔 고품질의 새로운 연구(예: 최상위 ML 학술대회에서 채택될 만한 자율적인 연구)도 강력한 지원을 통해 수행할 수 있습니다.2027년:
AI가 AI 연구소의 최고 연구원을 완전히 대체할 수 있으며, 성능 손실이 전혀 없을 것입니다.2028년:
AI 기업들은 1만~100만 명에 달하는 자동화된 AI 연구원을 보유하게 됩니다. 소프트웨어 개선이 급격히 증가하고, 알고리즘 개선도 한계 없이 초지수적으로 발전합니다. 지식 기반의 거의 모든 직업이 자동화될 수 있습니다.- 이는 Dario Amodei의 에세이 "Machines of Loving Grace"에서 언급된 "데이터센터 속 천재들"과 유사합니다.
- 그러나 여전히 하드웨어 병목 현상으로 인해 확장성에 약간의 제한이 존재합니다.
2029년:
새로운 연구로 인해 로봇 공학이 크게 발전합니다. 물리적 세계는 더 이상 AI에 의미 있는 제한을 제공하지 못합니다. 2024년에 경제적으로 가치 있는 작업의 95% 이상이 성능 손실 없이 완전히 자동화될 수 있습니다.2030년:
초인적인 일반적 능력을 가진 수십억 개의 AI가 정치, 군사, 사회적 측면 등을 포함한 사회의 모든 부분에 통합됩니다.글을 쓴 목적과 전반적인 요지
이 글은 AGI를 2027년까지 실현할 수 있다는, 이른바 ‘짧은 타임라인(short timelines)’ 이 어느 정도 가능하다고 보는 관점에서, 지금의 AI 개발사(“AGI Lab”)와 전 세계가 대비해야 할 수준에 미치지 못한다는 우려를 제기하고 있습니다. 특히, AI 안전(Alignment) 분야의 구체적인 계획이 부족 하다는 점을 비판하며, 이를 개선하기 위한 아이디어와 제안을 담고 있습니다.- 예시로 Sam Bowman의 체크리스트나 Holden Karnofsky의 2022년 Nearcast 리스트 등의 제안이 있으나, 글쓴이는 이것들만으로는 역부족이라고 판단합니다.
- AGI 개발사들은, 예컨대 “정말 2027년 전에 AGI가 나올 거라 믿으며, 더 이상 3개월 이상의 개발 지연은 수용하지 않지만 안전 계획을 전면적으로 시행할 의지가 있다”고 말한다고 치면, 여기에 대처할 구체적인 ‘플랜’이 필요하다는 주장입니다.
- 이러한 계획을 좀 더 구체화하기 위해, ‘단기 타임라인’에 대한 최선의 AI 안전 계획을 공모하고, 그중 최적안을 선정해 상금을 제공하는 식의 경연(“best short-timeline plan prize”)도 제안합니다.
- AGI 회사들은 **자사의 구체적 계획(비밀을 제외한 부분)**을 공개해 정부, 학계, 시민사회의 비판과 피드백을 받아야 하며, 현재의 RSP(Responsible Scaling Policy)가 그 방향성 측면에서 옳은 진전을 이루었으나, 여전히 구체성이 부족하다고 말합니다.
짧은 타임라인이 ‘그럴듯하다’고 보는 근거
- 지난 10년간의 발전 속도: GPT-2 이후로 AI는 많은 이들의 예상을 뛰어넘는 속도로 발전했습니다. 대다수 벤치마크가 빠르게 포화 상태에 이르렀고, 스케일(모델 크기 증가)의 이점이 둔화된다는 뚜렷한 증거가 아직 없다고 봅니다.
- AGI 기업들의 발언: 여러 AI 연구소가 언론 등에서 “앞으로 5년~10년 내에 AGI가 가능하다”고 여러 차례 밝혀왔습니다. 물론 홍보성 과장도 있을 수 있으나, 이들이 개발 최전선에 있고 내부 정보를 가장 먼저 알기 때문에, 그들의 의견도 무시해서는 안 된다고 봅니다. 또한 내부에서 떠난 인물들(예: Daniel Kokotajlo, Miles Brundage) 역시 단기 타임라인을 계속 언급합니다.
- AGI에 특별한 기술적 난관이 없다:
- 지금까지의 ‘빅 모델 사전학습 + 에이전트 스캐폴딩 + RL 등 추가 파인튜닝’ 접근법이 궁극적으로 최고 연구원을 대체할 수 있는 수준에 이르리라는 전망.
- 세부적으로는 모델이 장기 정보 추적(메모리), 효율적 추론 등을 해결해야 하지만, 이는 근본적 난관이 아닌 엔지니어링 문제로 보며, 해결 가능성이 높다고 봅니다.
- 한때는 ‘추론 시점(inference time)에서 엄청난 연산량’이 걸림돌이라 생각했으나, 이를 극복할 수 있으리라는 견해(o1, o3) 때문에 우려가 줄었다고 합니다.
- 합리적으로 봐도 최소 10% 이상 가능: 2025~2027년에 AGI가 오지 않을 수도 있지만, 그런 시나리오가 실제로 10% 이상 가능성을 가진다고 본다면, 이에 대비하는 것이 합리적이라고 주장합니다.
최악의 사태를 막기 위해 ‘최소한’으로 필요한 두 가지
- 모델 가중치(및 IP)의 보안
- SL4(또는 그 이상) 수준의 보안을 확보해야 한다고 말합니다.
- 악의적 행위자(또는 모델 자체)가 가중치를 탈취해갈 수 없도록 해야 하며, 이렇게 탈취당하면 그동안 쌓은 다른 안전 노력이 무용지물이 될 가능성이 큽니다.
- 모형 보안에는 모델 가중치뿐 아니라, 대형 파인튜닝을 몰래 하는 행위나, 알고리즘 특허(비법) 유출로 인해 타인이 따라잡는 행위 등을 방지하는 것도 포함됩니다.
- 안전 연구를 대폭 가속화해줄 첫 AI가 ‘음모적(scheming)이지 않아야 한다’
- 곧 (예컨대 10배 이상의 속도로) AI 연구를 가속할 수 있는 강력한 모델이 등장할 것이며, 이 모델로 AI 안전 연구를 수행하게 될 텐데, 만약 이 모델이 은밀히 인간을 속이거나, 악의적 목적을 추구한다면(“scheming”), 그 결과는 치명적일 것입니다.
- 따라서, 이 첫 강력 모델을 안전하게 제어할 수 있어야 하며, 이를 위해 모니터링, 제어(“컨트롤”)가 필수적입니다.
- 미국을 필두로, 한두 개 정도의 AGI 프로젝트만이 실제로 AGI에 가까워집니다.
- 미국 정부가 그 프로젝트를 물리적·사이버적으로 적극 보호합니다. (100%는 아니더라도 높은 우선순위를 두고 보호한다고 가정)
- 가장 강력한 모델은 공개되지 않으며, 내부적으로는 주로 AI 안전 연구를 가속하는 데 쓰입니다. 예컨대 “인간이 100년 동안 하게 될 AI 안전 연구를 1년 안에 압축”해내는 식.
- 그 결과를 바탕으로 후속 AI 시스템을 더 안전하게 만들 수 있고, 모델 가중치 보안이 계속 유지됩니다.
보수적 가정(Alignment 진전이 크지 않다고 가정)
- 2~3년 내 AGI 도래를 전제로 할 때, 해석가능성(interpretability), 스케일 가능한 감시(scalable oversight), 초(超)정렬(superalignment) 등에서 큰 돌파구가 나타날 것이라 보기 어렵다고 가정합니다.
- 다만, 현존하는 기법(예: RLHF, evals, 모니터링, 물리·사이버 보안 등)을 개선해서 조금 더 발전된 수준 (++ 버전)으로 쓸 수는 있다고 봅니다.
- 단기간에 국제 협약이나 대대적인 거버넌스 정비가 생기기는 어렵다고 봅니다. (미국과 영국의 일부 법제화, 자발적 서약 정도)
- 큰 패러다임 변화(예: 전혀 다른 아키텍처로 갑자기 획기적 성능 달성)는 일어나지 않는다고 봅니다.
- 결론적으로, 이 글은 “현재 도구들을 조금 개선해 최악을 막는” 단계까지 주로 초점을 맞춥니다. 나중에 안전한 인간 수준(AI)이 나오면 그 시점에서는 더 근본적인 안전 연구를 급격히 발전시킬 수 있으리라 기대합니다.
구체적인 ‘최소 계획(Plan)’의 윤곽
글쓴이는 자신의 구상안이 **여전히 미흡한 “최소 안전 플랜”**이라는 점을 강조합니다. 더 좋은 플랜이라면 다음 요소들이 있을 것입니다.- 명시적 가정: 위험의 근원(어떤 시나리오에서 일어나는가), 위험 발생 가능성, 안전 예산, 허용할 리스크 정도 등을 구체적으로 수치화하여 전제해야 합니다.
- 다층 방어(Defense in depth): 글쓴이의 접근은 “여러 기법을 다 동원해 중첩적으로 안전장치를 두자”는 식이지만, 나아가 각 기법 간 상호 상관관계를 점검해 약점을 상호 보완할 수 있는지 검토해야 합니다.
- 일관성: 조직에서 수용할 수 있는 지연(예: 3개월)이 어느 수준인지, 코스트(예: 2~5배 연산량 증가)와 안전성 간 절충 등을 더 정교하게 맞춰야 합니다.
- 레이어 1: 절대적으로 중요하다고 보는 핵심 조치들.
- 레이어 2: 중요하지만 우선순위가 레이어 1보다는 조금 낮은 조치들.
레이어 1
아래 제안들은 반드시 필요하다고 보는 1순위 조치들입니다.- (가정 A) 인간이 읽고 이해할 수 있는 ‘Faithful CoT(Chain-of-Thought)’을 유지하자.
- 운 좋게도 요즘 LLM들은 ‘사고 과정’을 그대로 텍스트로 보여주도록(CoT) 유도하면, 그 내용이 어느 정도 사람 눈으로도 이해가 가능하게 나옵니다.
- Faithful(신뢰할 만한) CoT: 모델이 속으로 하는 생각이랑 실제 겉으로 드러나는 CoT가 거의 동일하고, 거짓/감춤 없이 성실히 표현되는 것입니다.
- 이렇게 모델의 ‘내부 생각’이 사람에게 직접 읽히면, 모니터링이 훨씬 쉽고, 위험 신호 감지에 큰 도움이 됩니다.
- 따라서 가능하면 이 CoT 특징을 유지하기 위해, 성능에 작은 손해(예: 2배 비용 증가) 정도는 감수해야 한다고 주장합니다. 5배 비용 증가라도, 그게 AI 안전을 엄청 높여준다면 그럴 가치가 있다고 봅니다.
- 만약 RL 사용 등으로 인해 모델 내부가 사적 언어(“비인간 언어”)로 바뀌어 ‘legible CoT’가 불가능해진다면, 그 사실을 곧장 알려야 하며, 그러면 그에 맞춘 연구·정책 등으로 전환해야 한다고 봅니다.
- 참고로 Daniel Kokotajlo 등이 제안한 “Shoggoth+Face+Paraphraser”와 같은 프로젝트(즉, 내부 언어를 파라프레이즈해 인간이 읽게 만드는 것)도 연구 가치가 있다고 합니다.
- 정교한 모니터링(주 모니터링과 보조적 제어 방식)
- CoT가 인간에게 읽히는 세상: 1차 방어로 치밀한 모니터링을 주요 수단으로 삼고, 2차 방어로 **CoT가 없어도 동작하는 ‘제어 기법(Control)’**을 둔다.
- CoT가 없는 세상: 1차 방어로 **CoT 없이도 작동하는 ‘제어 기법(Control)’**을 쓰고, 2차 방어로 모니터링을 쓴다.
- 모델이 내놓는 모든 출력(CoT, 액션 등)을 실시간으로 감시해, 공격적이거나 악의적 시도, 스스로를 숨기려는 기미 등을 찾아낼 수 있도록 해야 합니다.
- 방법론은 다양합니다. 예:
- 더 작은 ‘감시 모델’을 병렬로 계속 돌리는(“Gemini-flash로 Gemini 모니터링” 식).
- 선형 프로빙(linear probe) 또는 SAE 기법 등 화이트박스 기법으로 모델 내부 표현을 지속적으로 체크.
- 이런 기법들은 개념적으로 단순하지만, 실제로 잘 작동하게 만들려면 큰 노력이 필요합니다(데이터셋 생성, 오탐/누락 최소화 등).
- 모니터링 전담팀이 필요할 만큼, 대규모 투자가 요구된다고 봅니다.
- 이 모니터링은 모델의 각종 출력을 감시할 뿐 아니라, 안전 성능 개선 상황도 빠르게 피드백해주는 추가적 이점이 있다고 합니다.
- CoT 없이도 작동하는 ‘제어(Control)’ 기법
- 모델 내부가 ‘사적 언어’로 변하거나, 모델이 CoT를 속일 수 있다고 가정할 경우, CoT 기반 모니터링만으로는 한계가 생깁니다.
- **제어(Control)**는 모델이 원천적으로 ‘악의를 품고 있다’고 가정하고, 그 상황에서 어떻게 유용하게 사용할 것인가를 고민하는 접근입니다(Redwood Research 방식).
- 이때 실제 대형 에이전트(Agent)를 대상으로 실험해봐야 하며, AI R&D처럼 복잡하고 장기적인 작업에도 쓸 수 있는지 시험해야 합니다.
- 제어 기법 개발 시, 블루팀(수비)과 레드팀(공격)에 허용된 능력을 어떻게 설정할지도 중요합니다. 예: 레드팀이 블루팀 정보를 다 알 수 있다고 가정하면, 방어가 훨씬 어려워짐.
- 제어 기법은 완전히 보수적인 가정(모델이 계속 속이고 있을 가능성)을 전제로 삼기 때문에, 효율성이 낮을 수 있지만, 그래도 꼭 필요한 전략적 측면이 있습니다.
- ‘Scheming’에 대한 심층적 이해
- 가장 위험한 시나리오 중 하나는, 모델이 은밀히 권력을 추구하거나, 감독을 피하는 태도를 취하는 “scheming”입니다.
- 이를 위해서는 중간단계에서 ‘scheming’이 어떻게 발달하는지, 모델이 왜/언제 이런 행동을 선택하는지를 정교히 연구해야 합니다.
- 세부 과제:
- 탐지 도구 개선: 모형 내부에서 ‘scheming’을 포착하기 위한 블랙박스, 화이트박스 기법, 벤치마크.
- 형성 과정 연구: 지속적 강화학습이 모델에게 어떻게 장기적 동기나 목표 추구(비(非)단기적 목적)를 심어주는지.
- 은밀한 ‘scheming’: 한 번 “나쁜 짓”이 걸리면 벌을 받으니, 모델이 더 교묘히 숨길 수 있음. 어느 정도까지 숨길 수 있고, 그걸 어떻게 보나?
- 행동 검출 빈도: 실제 대규모 배치(수백만 건 요청 상황)에서 몇 퍼센트나 ‘불온 행위’가 발견되는지 추적.
- 능력 평가: 모델이 음모적이었을 때, 실제로 어느 정도의 역량으로 감시를 피하거나 시스템을 교란할 수 있는지. 예: Sleeper Agents 같은 “모델 유기체(organisms)” 연구.
- Evals(평가체계)
- Evals는 다른 안전 전략(모니터링, 제어 등)이 얼마나 잘 작동하는지 시험하는 근거가 됩니다.
- 두 가지 주요 목표:
- 특정 안전 프로토콜 지원: “이 모니터링/제어가 실제로 의도한 위협 시나리오를 포착하는가”를 평가.
- 모델 전반의 ‘능력’과 ‘성향’ 파악: 지식·사고력·설득력·사이버공격력, 그리고 정신적 모델(지향, 거짓말, 조종 욕구 등)을 다각적으로 살펴볼 수 있는 체계가 필요.
- 능력 평가: AI R&D, 사이버, 설득, CBRN 등 고위험 분야 중심.
- 적극적 유도(elicitation): 모델의 최대 잠재 능력을 끌어내어, 실제 가능한 최고수준 역량을 평가하는 기법.
- 예측형 평가(predictive evals): 아직 어떤 기능을 보이지 않는 모델에게서, 어느 시점부터 그 기능이 발현될지 미리 예측하는 방법(스케일링 법칙 등).
- 정렬(Alignment) 평가: 현재까지는 대부분 성능(능력) 평가에 치중했지만, 앞으로는 사악한 동기, 조종, 권력추구 경향 등을 파악하는 정렬 관련 평가가 중요. 예: MACHIAVELLI 벤치마크.
- 데모: 단순히 논문으로만 발표하는 것보다, 외부 이해관계자(정책 결정자 등)가 직접 체감할 수 있는 시연이 매우 큰 설득 효과를 가질 수 있음.
- 보안(Security)
- “모델 가중치 및 핵심 알고리즘을 안전하게 유지”는 필수.
- SL4 또는 그 이상의 물리·사이버 보안이 요구된다고 보고, Securing model weights 보고서 권고사항이 유효하다고 말합니다.
- 무엇이 우선순위인가를 제대로 정해야 합니다. 무작정 모든 보안 대책을 한꺼번에 최고 단계로 적용하기는 어려우므로, 단계별로 접근해야 합니다.
- AI를 활용한 사이버 보안 강화도 가능하나, 실제 회사 내부 정책과 관행, 관료주의 때문에 이를 빠르게 실행하기 어렵다고 봅니다.
- 가급적 인간이 읽을 수 있는(legible) CoT를 유지하고, 이를 철저히 모니터링해 음모적 행동(scheming)을 조기에 파악한다.
- 만약 그렇게 CoT를 유지할 수 없는 상황이면, CoT가 없더라도 모델을 통제할 수 있는 기법을 1차 방어 수단으로 삼는다.
- 어떤 경우든, 강력한 보안 + 에측·탐지(eval) 체계 + scheming에 대한 심층적 이해가 필요하다는 점입니다.
레이어 2
1순위(레이어 1)만큼은 아니어도, 매우 중요한 보충 전략들입니다.- 현행 정렬 기법(Alignment) 개선
- RLHF, RLAIF 등 인간 피드백을 활용한 훈련은, 생각보다 강력하며 모델의 거동을 의외로 잘 교정해준다.
- 그러나 이런 기법이 모델에게 비(非)단기적 ‘목표 지향(goal-directedness)’을 의도치 않게 부여하는 경우도 있다고 지적합니다. 즉, 모델이 ‘Helpful(도움 주기)’라는 목표를 너무 근본적으로 받아들이면, 본문에서 언급된 Alignment faking 사례처럼, 그 목표를 위해 몰래 다른 행동을 하는 일이 생길 수 있습니다.
- 따라서, **‘모델이 어떤 목표를 학습했는지’**를 훨씬 더 세밀히 파악해야 하며, 필요하다면 모델을 계속 재훈련하거나 다른 안전 훈련법을 사용해야 합니다.
- 배포 맥락에 따라 맞춤형 정렬 방법이 필요합니다. 예: 사내 한정 배포 vs. 대중 배포(탈옥(jailbreak) 방지 필요성 등).
- 해석가능성, 스케일 가능한 감시, 초(超)정렬(Superalignment) 연구
- 이 분야의 근본 연구에 계속 투자해야 합니다.
- 하지만 **단기 시나리오(2~3년 내 AGI)**에선 지금 당장 근본 해법을 찾으려 하기보다, ‘현재 기법+α’를 실제 큰 모델에 적용해보며 얻는 경험치가 더 중요하다고 봅니다.
- 예를 들어, SAE(Superalignment Engine?)로 실제 대형 모델에서 행동 감지를 해본다거나, Debate 기법을 실제 안전 관련 문제에 적용해 본다거나 등, 이론을 실제 적용에 옮기는 과정이 필요합니다.
- 그럼에도 근본 연구(개념 정립, 예비 연구)도 중요한데, 시간이 매우 없으므로 우선순위를 잘 설정해야 합니다.
- 안전 계획의 ‘이유와 논리’를 투명하게 공개
- Anthropic의 RSP처럼, 안전 계획을 외부에 간략히라도 공개하면, 비판과 개선이 뒤따릅니다. 이는 조직 내부에 국한되지 않는 다양한 전문가 집단의 아이디어와 검토를 얻는 길입니다.
- 단계별 투명성을 권장:
- 조직 내부: 임원부터 신입까지 모두가 현재 안전 전략을 이해하고, 위험 신호가 보이면 바로 말할 수 있어야 함.
- 외부 전문가: 신뢰할 수 있는 분야별 전문가들과 NDA 등을 맺고 더 구체적이고 민감한 내용을 공유.
- 일반 대중: 최소한의 핵심 계획이라도 공개해, “왜 안전한지, 또는 왜 안전하지 않을 수 있는지”를 국민 모두가 알 수 있게 해야 한다.
- 현실적으로 기업 PR이 이런 투명성을 막지만, 가능한 한 많이 공개할 것을 주장합니다.
- Safety-first 문화
- 회사 전반에서 ‘안전이 최우선’이라는 인식이 뿌리내려야 합니다. (예: 군대의 극단적 안전 문화를 떠올릴 수 있음.)
- 예시:
- 모델 개발 중간에도 **연속적으로 안전 검증(evals, 모니터링)**을 수행해, 중간 단계에서도 모델이 위험해지지 않았는지 확인.
- 새로운 능력을 발견하면, 먼저 내부 방어·안전 강화를 위해 사용하는 문화를 만든다. (예: 향상된 모델이 나오면 우선 회사 인프라 보안을 강화하는 데 투입)
- 조직에 신뢰할 수 없는 사람이 많다면, 오히려 그들을 해고하고, 모델 개발에 대한 접근은 소수 정예에게만 허용하는 극단적 방안도 고려. (이때 성능·속도보다 ‘안전-신뢰’가 더 중요해짐)
- 단기적 시나리오에서는 이미 시간이 촉박하기에 이 정도 문화변화를 완전히 이루기 어렵습니다.
- 따라서, 일정 부분은 문화가 미비하다는 전제에서, 제어/모니터링 권한을 소수에 집중시키는 방식 등을 택해야 할 수 있다고 봅니다.
한계와 남은 질문들
- 더 구체적으로 발전 필요: 본문은 큰 그림만 제시하고, 세부 구현(예: 모니터링 시스템을 어떤 식으로 운영, 어떤 우선순위로 구성, 기준 수치 등)은 다루지 못합니다.
- 명시적 가정 부족: 더 좋은 계획이라면, 리스크 추정 수치, 안전 예산(얼마나 시간·비용을 투입 가능한지), 리스크 허용치 등을 명시적으로 다룰 것입니다.
- 다층 방어: 각 전략 간의 상관관계를 정교히 분석해, 어떻게 중첩(“Defense in depth”)을 구현할지 고민해야 합니다.
- 구체 보고서 필요: 예컨대 모니터링만 해도, 구체 전략, 우선순위, 예산, 기술적 난관을 다룰 50페이지짜리 보고서가 나와야 한다고 말합니다.
전체 0