🤖 AGI와 미래 예측

Q: AGI는 언제 도래할 것으로 예상하나요? A: Ben Mann은 초지능(superintelligence)이 도래할 50번째 백분위수 확률을 2028년으로 예상합니다. 이는 단순 추측이 아니라 지능 개선의 과학적 세부사항, 모델 훈련의 미개척 분야, 전 세계 데이터센터와 전력 규모 증가 등에 기반한 예측입니다.

Q: AGI를 어떻게 정의하나요? A: Ben은 "Economic Turing Test"라는 개념을 선호합니다. 이는 AI 에이전트를 1-3개월 계약직으로 고용했을 때, 그것이 기계인지 사람인지 구분할 수 없다면 해당 역할에 대한 Economic Turing Test를 통과한 것입니다. 돈으로 가중된 직업의 50%에서 이를 통과하면 변혁적 AI(transformative AI)가 도래했다고 볼 수 있습니다.

💼 AI의 일자리 영향

Q: AI가 일자리에 미치는 영향은 어떻게 될까요? A: Dario(CEO)는 실업률이 20%까지 오를 수 있다고 언급했습니다. Ben은 20년 후 특이점을 넘어선 세계에서는 자본주의조차 현재와 완전히 다를 것이라고 봅니다. 현재와 미래 사이의 전환기가 중요합니다.

Q: 현재 AI가 이미 일자리에 미치고 있는 영향은? A: 고객 서비스 분야에서 Intercom의 Fin은 82%의 고객 문의를 자동으로 해결하고 있습니다. 소프트웨어 엔지니어링에서는 Claude Code 팀의 코드 중 95%가 Claude에 의해 작성됩니다. 하지만 이는 인간이 10-20배 더 많은 코드를 작성할 수 있게 해주는 것으로 해석할 수도 있습니다.

Q: AI 시대를 대비하는 방법은? A:

1. 새로운 도구를 적극적으로 사용하고 학습하기
2. 야심찬 변화를 요청하기 - 첫 시도에 실패해도 3번 정도 재시도하기
3. AI를 과거 도구처럼 사용하지 말고 새로운 방식으로 활용하기
4. AI를 잘 사용하는 사람에게 대체될 것이므로 AI 활용 능력 키우기

🏢 Anthropic 창업 배경

Q: 왜 OpenAI를 떠나 Anthropic을 창업했나요? A: OpenAI에서는 안전성이 최우선 순위가 아니라고 느꼈습니다. Sam Altman이 안전 부족(safety tribe), 연구 부족(research tribe), 스타트업 부족(startup tribe)이라는 세 개의 부족이 서로 균형을 맞춰야 한다고 말했는데, 이는 잘못된 접근이라고 생각했습니다. Anthropic은 안전성을 다른 모든 것보다 우선시하는 조직을 만들고자 했습니다.

Q: 안전성 연구가 왜 중요한가요? A: 전 세계적으로 AI 산업에 연간 3000억 달러의 자본지출이 이뤄지고 있지만, 안전성 문제를 연구하는 사람은 1000명도 안 됩니다. 이는 매우 불균형한 상황입니다.

🔒 AI 안전성과 정렬

Q: Constitutional AI란 무엇인가요? A: Constitutional AI는 UN 인권선언, Apple의 개인정보 보호 조항 등에서 가져온 자연어 원칙 목록을 통해 모델이 어떻게 행동해야 하는지 학습하는 방식입니다. 모델이 스스로를 비판하고 개선하도록 하여 우리가 정한 가치관에 맞게 정렬됩니다.

Q: AI 정렬의 성공 확률은 어느 정도인가요? A: Ben은 AI로 인한 실존적 위험이나 극도로 나쁜 결과가 발생할 확률을 0-10% 사이로 추정합니다. 대부분 잘될 가능성이 높지만, 하향 리스크를 보는 사람이 거의 없고 그 리스크가 매우 크기 때문에 한계적으로 매우 중요한 작업입니다.

Q: RLAIF(Reinforcement Learning from AI Feedback)란? A: 인간의 피드백 없이 AI가 스스로 개선하는 방식입니다. Constitutional AI가 대표적 예시로, 모델이 자체적으로 실수를 발견하고 개선합니다. 이는 많은 인간을 찾는 것보다 훨씬 확장 가능한 방식입니다.

📈 AI 발전 현황

Q: AI 발전이 정체되고 있다는 주장에 대해 어떻게 생각하나요? A: 이런 서사는 6개월마다 나오지만 한 번도 사실이었던 적이 없습니다. 진전은 실제로 가속화되고 있습니다. 모델 출시 주기가 연 1회에서 월 1회 또는 3개월에 1회로 빨라졌습니다. 스케일링 법칙은 계속 유효합니다.

Q: 현재 AI 발전의 가장 큰 병목은 무엇인가요? A: 데이터센터, 전력, 칩이 가장 큰 병목입니다. 10배 많은 칩과 이를 구동할 데이터센터가 있다면 상당한 속도 향상이 있을 것입니다. 컴퓨팅, 알고리즘, 데이터가 스케일링 법칙의 세 가지 핵심 요소입니다.

👨‍👩‍👧‍👦 개인적 관점

Q: AI의 미래를 알면서 자녀 교육은 어떻게 하나요? A: 1살과 3살 딸이 있는데, 몬테소리 학교에 보내고 있습니다. 호기심, 창의성, 자기주도 학습에 중점을 둡니다. 사실들은 배경으로 사라질 것이므로, 행복하고 사려 깊고 호기심 많고 친절한 사람이 되는 것이 가장 중요하다고 생각합니다.

Q: AI 안전성에 대한 책임감의 무게를 어떻게 감당하나요? A: Nate Soares의 "Replacing Guilt"라는 책에서 많은 영감을 받았습니다. "resting in motion"이라는 개념이 있는데, 진화적으로 인간의 기본 상태는 휴식이 아니라 바쁜 상태였다는 것입니다. 지속 가능한 속도로 일하고, 마라톤이지 단거리 경주가 아님을 인식하는 것이 도움이 됩니다.

💰 인재 영입 전쟁

Q: 메타가 1억 달러 사이닝 보너스로 AI 연구자를 영입한다는데, Anthropic은 어떤가요? A: Anthropic은 다른 회사들보다 영향을 덜 받고 있습니다. 직원들이 이런 제안을 받아도 "메타에서의 최선의 시나리오는 돈을 버는 것이지만, Anthropic에서의 최선의 시나리오는 인류의 미래에 영향을 미치는 것"이라고 말하며 거절합니다.

 

 

o3 요약

Anthropic 공동‑창업자 벤저민 맨 인터뷰

🎙️ 진행자: 렌니
👤 게스트: 벤저민 맨(Anthropic 공동‑창업자·제품 엔지니어링 총괄, 前 OpenAI GPT‑3 핵심 아키텍트)

---

1. AGI·슈퍼지능 도달 시점은 언제쯤일까?

Q. “강력한 AI는 인류가 마지막으로 만들어야 할 발명품이 될 수 있다”는 말이 있는데, 실제로 슈퍼지능은 언제 올까요?
A. 50% 확률로 2028년경에는 ‘어떤 형태로든’ 슈퍼지능이 등장할 것이라 예상. ‑ AI 2027(슈퍼포캐스터 보고서)도 비슷한 전망. 다만 기술이 사회 전반에 파급되려면 추가 시간이 걸릴 것.

---

2. OpenAI를 떠나 Anthropic을 세운 이유는?

Q. 왜 OpenAI를 나와 별도 회사를 차렸나요?
A.

• OpenAI 내부에서 ‘연구·스타트업·안전’ 세 부류의 이해관계가 상충.
• “안전(safety)이 최우선”이라는 명분이 실제로는 충분히 지켜지지 않는다고 판단.
• 안전 연구 인력이 세계적으로도 1,000명 안팎에 불과해, 자체적으로 안전을 1순위로 삼는 조직이 필요하다고 느꼈다.

---

3. ‘100 억 원대 연봉 제안’ AI 인재 영입 전쟁에 대한 생각

Q. 메타(저커버그)가 연구자에게 1억 달러 보상을 제시했다는 소식이 화제인데요?
A. 실제로 존재하는 금액대가 맞다. 하지만 Anthropic 연구자들은 “돈보다 인류 미래에 미칠 영향”을 보고 남는 경우가 많다.

---

4. AI 발전 속도는 둔화되고 있을까?

Q. 요즘엔 새 모델이 예전만큼 ‘와!’ 하는 점프를 못 보여준다는 지적이 있는데요.
A.

• 출시 간격이 ‘연 1회 → 분기 1회 → 한 달’ 수준으로 빨라져 체감 갭이 줄었을 뿐, 스케일링 법칙은 여전히 가속 중.
• 일부 쉬운 벤치마크가 이미 포화돼 “성장 멈춘 것처럼” 보일 뿐, 난도 높은 과제·새 툴이 나오면 성능 차가 다시 드러난다.

---

5. Anthropic이 중시하는 ‘Constitutional AI’란?

Q. ‘헌법적 AI’가 뭔가요?
A.

1. 자연어 원칙집(UN 인권선언‧개인정보 원칙 등) → 모델에 내재화.
2. 모델이 스스로 답변 작성 → 원칙과 일치하는지 자체 검토 → 필요하면 수정·재작성.
3. 사람 대신 AI가 피드백을 주는 RLAIF(재귀적 AI 피드백 강화학습) 기법으로 대규모·일관된 안전훈련 가능.
4. 그 결과, 클로드는 *“거절은 정중하게, 대화는 공손·정직·무해하게”*라는 ‘성격’이 자연히 형성.

---

6. AI가 일자리와 경제에 미칠 영향

Q. 다리오(CEO)는 “실업률 20%” 전망도 했습니다. 실제론?
A.

• ‘경제적 튜링 테스트’ 개념으로 판단: AI 에이전트가 월급 받고 맡은 일을 완수하면 통과.
• 돈 기준으로 50% 이상의 직무를 AI가 수행하게 되면 ‘변혁적 AI(Trans‑AI)’ 단계.
• 가까운 미래엔 ‘전면 대체’보단 10~20배 생산성 상승 → 소수 인원으로도 막대한 성과.
• 장기적으로는 자본주의·노동 개념 자체가 크게 바뀔 수 있음(“풍요 사회의 과도기 대응이 관건”).

---

7. 개인·자녀·조직은 어떻게 대비해야 할까?

Q. AI 시대에 뒤처지지 않으려면?
A.

• “도구를 적극·야심차게 써라.” 실패하더라도 세 번쯤 다른 방식으로 시도.
• 개발자뿐 아니라 법무·재무팀도 Claude Code로 업무 자동화 실험 중.
• 자녀 교육은 호기심·창의성·친절 중심(몽테소리 방식 추천). ‘스펙’보다 학습 태도가 중요.

---

8. 모델 성능의 가장 큰 병목은?

Q. 지금 지능 향상의 핵심 제약은 무엇인가요?
A.

1. 컴퓨트(데이터센터·전력·GPU)
2. 알고리즘 혁신(예: Transformer → 더 나은 구조)
3. 데이터 세 요소 모두 10배씩만 개선돼도 천 배 지능 향상이 가능하리라 본다.

---

9. AI 위험도와 ‘X‑리스크’ 확률

Q. 인류 멸종급 위험이란 말도 나오는데, 실제 확률은?
A. 대략 0 ~ 10% 범위로 추정(큰 오차 존재). 위험이 작더라도 ‘인류 전체’를 담보로 삼는 만큼 안전 연구의 한계비용은 거의 무한대라고 판단.

---

10. 벤 맨이 밤잠 설치게 하는 것

Q. 개인적으로 가장 걱정되는 지점은?
A.

• 슈퍼지능 등장 후엔 ‘뒤늦은’ 정렬 시도는 불가능할 수 있다는 점.
• ‘일이 잘못될’ 작은 확률이 가져올 피해는 상상을 초월하므로 지금 대비해야 한다는 사명감.

---

11. Anthropic ‘프런티어스(前 Labs) 팀’의 역할

Q. 내부 혁신 조직 ‘Frontiers’는 무엇을 하나요?
A.

• 최신 연구 성과를 곧바로 제품화(Claude Code, Model Context Protocol 등).
• “6개월 뒤, 1년 뒤 시장에 필요한 경험”을 선제 개발.
• 안전 연구를 바탕으로 ‘컴퓨터 사용 에이전트’ 등 타사가 못 내놓은 고위험/고효용 기능을 준비.

---

12. 우리 모두가 할 수 있는 일

Q. AI 안전에 기여하려면 꼭 연구자가 되어야 하나요?
A. 아니다. 제품·영업·재무·인프라·심지어 사내 셰프까지, Anthropic이 필요로 하는 모든 역할이 ‘안전하고 유익한 AI’ 실현을 위한 기반이 된다.

---

한 줄 정리:
벤 맨은 “슈퍼지능이 코앞”이라 진단하면서도, 안전·정렬 연구가 충분히 앞서가면 ‘AI 풍요 시대’를 긍정적으로 열 수 있다고 강조했다. 지금 필요한 건 기술 가속과 함께 더 많은 인재가 책임 있게 안전 연구와 활용 방법을 고민하는 것이라는 메시지다.