https://x.com/i/status/2030417306288066780

https://x.com/i/status/2030420665569092091





이를 구체적으로 적용해 보기 위해, MOLG(Machines of Loving Grace) 정의를 사용해 보겠습니다.

​"노벨상 수상자보다 똑똑하다" - 불확실성(오차 범위)이 엄청 크지 않나? 20%?

​"가상 환경에서 일하는 인간과 동일한 인터페이스를 갖춘다" - 100%. 플러그인과 복합 시스템을 고려할 때 이는 오늘날 이미 실현된 사실입니다.

​"수 시간, 수일, 수주가 걸리는 작업을 수행한다" - METR의 빠른 발전 추세가 유지된다면 80%.

​"기존 도구를 제어할 수 있다" - 이 부분은 개인적으로 감이 잘 안 잡히고(uncalibrated), 특별히 중요하다고 생각하지도 않습니다. 도구들이 API를 지원하는지 여부에 더 많이 좌우되는데, 이미 많은 도구들이 API를 지원하고 있기 때문입니다.

​"리소스를 재조정하여 수많은 복제본을 실행할 수 있다" - 100%. 이 또한 오늘날 이미 실현된 사실입니다.

​*제 생각에 이 부분이 가장 큰 변수이며, 판단하기 매우 혼란스럽습니다. 지난 몇 달 동안 생물학, 수학, 물리학 등 과학의 최전선에서 AI가 인간과 협력하여 해결책을 공동 개발하고 있다는 증거들이 나타나고 있습니다. 그리고 많은 전문가들이 AI의 능력에 갈수록 깊은 인상을 받고 놀라워하고 있습니다.

​하지만 (HOWEVER)

저는 아직 어떤 AI 시스템도 일반 상대성 이론이나 크리스퍼(CRISPR) 유전자 가위 기술을 고안해 낸 것과 맞먹는, 명쾌하면서도 파격적인(기존의 틀을 깨는) 통찰력을 보여준 적은 없다고 생각합니다. 이는 단순히 AI에게 에이전트가 주도하는 개방형(open-ended) 실험을 수행할 충분한 기회가 주어지지 않았기 때문일 수 있습니다.

​아니면 더 근본적인 문제일 수도 있습니다. 어쩌면 이러한 AI 시스템들에는 패러다임을 완전히 뒤바꾸는, 인간 특유의 상상을 초월하고 영감을 주는 창의성을 발휘하게 만드는 어떤 자질이 결여되어 있는 것일지도 모릅니다.

분명히 말씀드리자면, 저는 "노벨상 수상자보다 똑똑하다"는 조건을 충족하지 못하더라도, 경제와 인류의 삶에 일어날 거대한 변화는 이미 기정사실화(locked-in)되었다고 생각합니다. 이는 심지어 오늘 당장 AI 기술 발전이 멈춘다고 해도 마찬가지입니다. (일반적으로 현재의 AI 시스템들은 그 잠재력이 아직 충분히 발현되지 않은 상태이며, 에이전트(agents)는 이제 막 개척되기 시작해 아직 탐구할 것이 훨씬 더 많이 남아있는 새로운 영역이기 때문입니다.)

​이 지점에서 어떻게 유용하고 '반증 가능한(falsifiable) 예측'을 내놓을 수 있을지 확신이 서지 않습니다. "노벨상 수상자보다 똑똑하다"는 기준은 본질적으로 모호하니까요. 하지만 다리오가 가리키는 바는 기본적으로 '비관습적이면서도(unconventional) 유용한 통찰력'을 제시할 수 있는 AI 시스템이라고 생각합니다.

​이러한 능력을 어떻게 평가(eval)할지 방법을 찾아내는 것은 태생적으로 매우 어려운 일입니다. 수학 분야에서의 '최초 증명(First Proof)' 사례가 좋은 예시이긴 하지만, 평가 방식을 확립하기 위해 앞으로 해야 할 일이 산더미처럼 남아있음은 분명해 보입니다.

재미있게도, 오늘 오후에 저는 클로드(Claude)의 도움을 받아 여러 벤치마크 데이터들을 모아 그래프로 그려보는 작업을 하고 있었습니다. 아주 러프하게(대충) 만든 결과물이긴 하지만, 이걸 보고 있자면 대다수의 사람들이 거의 실감조차 하지 못하고 있는 '엄청난 기술적 가속도'의 한가운데에 우리가 놓여 있다는 느낌을 도저히 지울 수가 없네요.