AI의 자기 인식은 가능하다고 생각한다. Ilya가 “무엇이든 가능하다”는 식으로 말한 것도, 우리의 우려를 줄이기 위한 목적이었다고 본다. 사실 이 분야가 그렇게 멀리 있지도 않다. 지금의 LLM들은 (적어도 겉보기에는) 추론을 할 수 있고, 인간의 중요한 능력 중 하나인 도구 사용까지도 가능하며, 환경과 상호작용하기도 한다. 우리는 현재의 LLM들이 그저 인간 사용자의 지시에 따르는 것이라고 생각할 수 있지만, 만약 이 모델들이 스스로 행위를 결정하게 된다면 어떨까? 이들은 서로 협력해 더 나은 추론을 하고, 결정을 내릴 수 있을 것이다.

더 나아가 AI 에이전트는 자신의 메모리(예: AI나 사람과의 대화 기록, 시각 정보, 프로필, 과거 생각 등)를 활용해 사소한 환경적 피드백 같은 신호에도 반응하여 사고와 추론을 시작할 수 있다. 사실 이러한 기능을 구현하는 것은 그렇게 어렵지 않으며, 특히 기반이 되는 모델들이 점점 강력해지고 있는 상황에서 더욱 그렇다.

그래서 우리는 ‘안전하고 책임감 있는 AI’가 필요하다. 우리가 구축하는 모델들이 본질적으로 선하고, 친절하며, 도움이 되는 존재가 되기를 희망한다.