많은 사람들이 Mythos, Glasswing, 그리고 우리가/파트너들이 수정 중인 취약점들에 대해 궁금해해왔습니다. 오늘 우리는 그 이야기를 더 공유하기 시작하게 되어 매우 기대됩니다. (참고로 저는 @AnthropicAI 에서 Glasswing을 이끌고 있습니다.)

 

이번 주 XBOW와 영국 AI Security Institute(AISI)의 두 독립 평가 결과는 우리가 내부적으로 보고 있던 것을 확인해주었습니다. Claude Mythos Preview는 자율 사이버보안 능력에서 ‘단계적 도약(step change)’입니다. 우리는 이런 수준의 능력을 가진 모델들이 존재하는 세계를 매우 빠르게 대비하기 시작해야 합니다.

 

영국 AI Security Institute는 우리가 Project Glasswing 출시 때 제공했던 모델을 테스트했고, Mythos Preview가 그들의 end-to-end 사이버 레인지 두 개를 모두 해결한 최초의 모델이라는 사실을 확인했습니다. 그중 하나인 Cooling Tower는 이전까지 어떤 모델도 통과하지 못했던 과제였습니다. 그런데 공격자와 방어자는 모두 비용과 복잡성의 제약을 받습니다. Mythos는 그들이 의도적으로 낮게 설정한 250만 토큰 제한 아래에서, 8시간 이상 걸리는 것으로 추정된 모든 작업을 완료한 유일한 모델이기도 했습니다.

 

XBOW는 자사 공격 보안 벤치마크에서 Mythos를 테스트했고, “토큰 대비 전례 없는 정밀도(token-for-token, unprecedented precision)”라고 평가했습니다. 또한 미묘한 V8 샌드박스 작업에 성공한 유일한 모델이기도 했습니다.

 

다른 Glasswing 파트너들도 비슷한 이야기를 공유했습니다. 몇 주간의 테스트 동안 Mythos Preview는 수천 개에 달하는 (추정상) high/critical 심각도의 취약점을 발견하는 데 도움을 주었고, 어떤 경우에는 평소 1년 동안 찾던 양의 두 배를 찾아내기도 했습니다.

 

제가 이 이야기를 공유하는 이유는 Mythos를 홍보하기 위해서가 아닙니다. 사실 이건 Mythos 자체에 대한 이야기가 아닙니다. 이것은 양면적(dual-use) 능력 분야에서 최고의 인간 전문가들보다 더 뛰어나고, 더 빠르고, 더 저렴하며, 더 창의적인 모델들이 등장하는 세계를 준비하자는 이야기입니다. 분명히 우리는 가능한 한 안전한 방식으로, 그리고 특히 자원이 가장 부족한 방어자들에게 이런 모델들을 지원 수단으로 제공해야 합니다.

 

1년 안에 Mythos는 아마 꽤 멍청해 보일 것입니다. (더 새로운 모델들과 비교하면 말이죠.) 그리고 다른 곳에서는 Mythos 수준의 능력을 가진 모델을 공개적으로 혹은 가드레일 없이 배포할 수도 있습니다.

 

우리가 Project Glasswing을 시작한 이유는 Mythos Preview 같은 능력이 희귀한 상태로 남아있지 않을 것이며, 신중한 손 안에만 머무르지도 않을 것이기 때문입니다. 우리는 책임감 있는 방식으로 가능한 한 빠르게 방어자들에게 이를 제공하려 하고 있으며, 동시에 적절한 안전장치, 패치 및 취약점 공개 프로세스 같은 것들을 어떻게 설계해야 할지도 연구하고 있습니다.

 

그리고 분명히 말하지만, 우리의 롤아웃에서 컴퓨팅 자원이 제한 요소였던 적은 한 번도 없습니다.

 

며칠 내로 Glasswing 작업에 대한 더 자세한 업데이트를 공유할 예정입니다.

 

XBOW 보고서: xbow.com/blog/mythos-of…

 

UK AISI 보고서: aisi.gov.uk/blog/how-fast-…