https://nickbostrom.com/optimal.pdf

이 논문은 “초지능(AGI/슈퍼인텔리전스)을 ‘언제’ 개발·배치하는 게 지금 살아있는 사람들에게 최적인가?”를, 되도록 현실적인(=보스트롬 표현으로 mundane) 가정들만 놓고 계산 모델로 따져보는 글이에요. (아직 working paper v1.0 형태입니다.)

---

1) 핵심 비유: “러시안룰렛”이 아니라 “위험한 수술”

보스트롬은 “AGI 개발은 방아쇠 당기면 끝나는 러시안룰렛” 같은 게 아니라, 가만히 있어도 결국 죽는 병(노화·질병·전쟁·재난 등)을 안고 있는 환자가 ‘위험한 수술’을 받을지 결정하는 것에 더 가깝다고 잡아요.
즉 선택지는 “안전 vs 위험”이 아니라 “서로 다른 위험 경로들”이라는 관점이에요.

---

2) 분석 관점: “현재 존재하는 사람” 중심(person-affecting)

이 글은 미래에 태어날 수많은 사람들까지 포함하는 비인격적(impersonal) 관점이 아니라, 지금 살아있는 사람들의 기대 생존·삶의 질을 중심에 둬요.
그래서 논리 구조가 대략 이래요:

• AGI 성공 → 노화·질병 해결, 기대수명과 삶의 질 대폭 상승(가정)
• AGI 실패(정렬 실패 등) → 대재앙(최악은 전 인류 사망) 확률 존재
• 기다리면 → 안전(리스크) 낮아질 수 있지만, 그동안은 사람들이 계속 죽고(배경 사망) 좋은 미래를 “늦게” 받음(시간 할인)

---

3) 결론 1: “생각보다 큰 위험도 ‘기대값’으로는 감수할 만한 구간이 많다”

요약하면, AGI가 성공했을 때 얻는 기대수명이 너무 커서, 대재앙 확률이 꽤 높아도 “기대(가중)수명” 기준으로는 지금 세대에게 유리한 경우가 많이 나온다고 주장해요.
(여기서 말하는 “유리”는 도덕적으로 정당하냐와는 별개로, ‘내가 지금 살아있는 사람이라면’ 계산상 기대효용이 커질 수 있다는 뜻에 가깝습니다.)

---

4) 결론 2: 제일 유명한 한 줄 — “swift to harbor, slow to berth”

논문의 실무적 압축 버전이 이 문장인데요:

• swift to harbor: AGI “가능한 상태”까지는 빠르게 가는 게 최적인 경우가 많다
• slow to berth: 다만 AGI가 가능해진 뒤 “전면 배치/스케일업 직전”에 짧게 멈추는 게(테스트·검증·안전조치) 큰 가치를 가질 수 있다

이게 바로 “빨리 항구로 들어가되, 정박은 천천히”라는 표현이에요.

---

5) 왜 “AGI 직후 짧은 pause”가 특히 값지다고 보나?

보스트롬은 안전 진전이 시간에 따라 일정하지 않다고 봐요.

• Phase 1 (AGI 전): 진짜 AGI 시스템이 없어서, 안전 연구는 “추정”과 “전구체 모델” 중심 → 진전이 중간 정도일 수 있음
• Phase 2 (AGI 가능해진 직후): 실제 시스템을 갖고 테스트·격리 실험·감사·오버사이트 등을 할 수 있고, 심지어 AI가 안전 연구를 도와 “안전 진전이 급가속(=safety windfall)”할 수 있음
• 하지만 이런 급가속은 오래 못 감(“쉬운 과제부터 풀려서” 수확 체감)이라서, Phase 2를 2a/2b/2c/2d로 나눠 초반이 특히 생산적이라고 모델링해요.

그래서 “AGI 가능해진 직후 몇 달~1~2년 수준의 짧은 멈춤”이 안전 개선 효율이 가장 좋은 구간일 수 있다는 결론으로 연결됩니다.

---

6) “테스트가 가능하면” 날짜가 아니라 “정책(규칙)”이 최적이 된다

또 흥미로운 포인트는, 안전이 불확실하고 테스트로 정보를 얻을 수 있으면:

• “딱 N년 기다려!” 같은 고정된 날짜 최적화가 아니라
• 테스트가 반복 통과하면 빨리 배치, 계속 실패하면 더 기다리는
  조건부 의사결정 정책(policy)이 최적이 된다고 말해요.

---

7) 분배(누가 더 빨리 원하나): 노인·환자·불행한 사람이 “더 빠른 일정”을 선호할 수 있음

이 논문은 “모든 사람에게 똑같이 최적인 타임라인이 아니다”도 강조해요.

• 노인/중증환자: 기다리다가 AGI 전에 죽을 확률이 커서 “빨리”를 선호할 유인이 큼
• 현재 삶의 질이 낮은 사람: 잃을 게 적고, 성공 시 얻을 게 크다고 느낄 수 있음 → 역시 “빨리” 쪽

여기에 사회정책이 “가장 불리한 사람을 더 우선(prioritarian)”으로 두면, 전체 최적도 더 짧은 타임라인 쪽으로 이동할 수 있다고 주장합니다.

---

8) 마지막 경고: “pause”는 모델에선 좋아 보여도, 현실에선 망하면 더 위험할 수 있음

보스트롬이 꽤 길게 경고하는 부분이에요.
이상적으로는 “정교한 짧은 멈춤”이 도움이 될 수 있지만, 현실에서 pause 정책이 엉망으로 설계되면:

• 보여주기식 규제(“safety theater”)로 실질 안전은 안 오르고 비용만 늘거나
• 개발이 지하화/해외 이전/군사화되거나
• 규제가 풀릴 때 컴퓨트·알고리즘 ‘오버행’ 때문에 오히려 폭발적 발전으로 더 위험해지거나
• 강력한 통제 장치가 전체주의로 굳어지는 등
  여러 역효과가 날 수 있다고 리스트업합니다.

---

한 문장으로 정리

이 논문은 “AGI는 위험하지만, 가만히 있어도 우리는 늙고 죽는다”는 전제에서 출발해, 지금 세대의 관점에선 ‘대체로 빨리 AGI 능력까지 가되, 전면 배치 직전에 짧고 목적 있는 안전 점검·테스트 pause를 두는 전략’이 최적인 경우가 많다고 모델로 보여주고, 동시에 현실의 pause 정책은 잘못 설계되면 역효과가 더 클 수 있다고 경고해요.