해석 가능성(Interpretability)은 현재 세계에서 가장 중요한 과학적 문제일지도 모릅니다. 우리가 무엇을 만들고 있는지조차 모른다면 AI 정렬(Alignment) 문제를 해결할 수 없다고 생각하기 때문입니다.

그런데 이와 관련해 좋은 소식이 있는 것 같습니다.

저는 과거 OpenAI에서 기계론적 해석 가능성(Mechanistic Interpretability) 분야의 초기 연구에 공동 저자로 참여했습니다. 하지만 당시 연구를 마친 뒤에는 비관적인 생각을 갖게 되었습니다. 신경망 내부가 임의적이고 복잡하게 얽힌 매듭처럼 보였기 때문입니다.

몇 년 후, 저는 OpenAI 최초의 대규모 자동화 해석 가능성 연구 프로젝트를 시작했습니다. 당시 우리가 가진 원시적인 도구로는 전체 뉴런의 약 2%만 그 기능을 이해할 수 있었습니다.

하지만 현대적인 에이전트 기반 도구와 훨씬 정밀한 분석을 활용하자, 상황은 완전히 다르게 보이기 시작했습니다.

수조 개의 매개변수를 가진 모델에 이르기까지, 대다수 뉴런의 기능을 이해할 수 있었고, 그 내부 회로는 놀라울 정도로 아름다웠습니다.

과거 복잡하게 얽힌 뉴런의 대표적인 사례로 알려졌던 것들도 사실은 우리가 잘못 이해하고 있었던 것으로 드러났습니다.

제가 예상했던 주요 장애물들은 대부분 존재하지 않았습니다.

이제 저는 우리가 해석 가능성을 가장 절실하게 필요로 하는 시점까지, 야심 찬 해석 가능성 연구의 목표를 달성할 수 있을 것이라고 생각합니다. 어쩌면 그 시기는 상당히 빠르게 찾아올 수도 있습니다. 자동화된 AI 과학자들이 계속 발전하고 있기 때문입니다.

이것은 해석 가능성 연구 분야에 또 하나의 **'쓰라린 교훈(The Bitter Lesson)'**이 될지도 모릅니다.

결국 단순한 방법을 터무니없을 정도로 거대한 규모로 확장하는 것이 효과를 발휘한다는 것입니다.

핵심 의미

이 발언에서 특히 중요한 것은 세 가지입니다.

1. 
   

   
   
   해석 가능성에 대한 전망의 극적인 변화: 과거에는 뉴런의 2% 정도만 이해할 수 있었지만, 새로운 도구를 활용한 연구에서는 대다수 뉴런을 해석할 수 있다고 주장합니다.
   
   

   
   
2. 
   

   
   
   AI 정렬 문제 해결에 대한 낙관론: 모델 내부의 작동 원리를 파악할 수 있다면 위험한 행동이나 목표를 탐지하고 분석하는 데 상당한 진전이 가능할 수 있습니다.
   
   

   
   
3. 
   

   
   
   AI에 의한 AI 연구 가속: 자동화된 AI 과학자가 발전하면서 해석 가능성 연구 자체도 빨라질 수 있다는 것입니다. 이는 AI가 AI 연구를 가속하는 피드백 루프와 연결됩니다.
   
   

   
   

다만 뉴런이나 회로를 해석할 수 있다는 것과 AI 정렬 문제가 해결된다는 것은 별개입니다. 또한 수조 개 매개변수 모델의 대다수가 해석 가능하다는 것은 이 발언자의 주장으로, 실제로 어느 정도 검증되었는지는 별도의 연구 결과를 확인할 필요가 있습니다.

이 주장이 재현 가능하게 입증된다면, AI 해석 가능성 연구에서 상당히 중요한 진전이 될 수 있습니다.

몇 가지 생각

1. 사전학습(Pretraining) 과학과 해석 가능성(Interpretability)

사전학습에 관한 과학은 사람들이 열역학을 이해하기도 전에 상당히 뛰어난 증기기관을 만들어냈던 과정과 비슷하다.

"과학이 증기기관에 기여한 것보다, 증기기관이 과학에 기여한 것이 더 크다." — L. J. 헨더슨

닉(Nick)의 주장이 옳다면, 그리고 나는 그가 옳다고 꽤 확신하는데, AI의 발전은 점점 더 높은 해석 가능성을 향해 나아가고 있다는 뜻이다.

사전학습 자체가 이미 '단일 의미성(Monosemanticity)을 향해 서서히 나아가고 있었던 것' 이다.

내 추측으로는 해석 가능성 연구에서 중대한 돌파구가 나오면, 그것이 AI의 능력(Capabilities)을 발전시키는 데에도 기여할 것이다.

2. 닉이라는 연구자에 대한 개인적인 생각

닉은 내 좋은 친구다.

내가 그를 만나지 않았다면, 내가 OpenAI에서 일하게 된 과정 자체가 일어나지 않았을 것이라고 해도 과언이 아니다.

그가 연구하는 모습을 지켜보고, 이번 연구의 초기 초안들이 점차 발전하는 과정을 보는 것은 정말 흥미로운 경험이었다.

그는 내가 아는 사람 중 가장 진정으로 행복한 사람 이다.

그를 움직이는 것은 죄책감도, 사회운동에 대한 사명감도, 종교적인 공포도 아니다. 순수한 호기심과 탐구심이다.

물론 그는 신경망을 이해하는 일이 얼마나 중대한 의미를 갖는지 잘 알고 있다. 하지만 그것이 그가 이 연구를 하는 핵심적인 이유인 것 같지는 않다.

그는 그저 신경망 자체를 사랑한다.

내가 알기로 그는 지금 도쿄의 아름다운 어느 은신처 같은 곳에서 이 글을 올리고 있는 것 같다.

여기에는 모든 '기대가치(+EV) 극대화론자'들이 배울 만한 교훈이 있다.

그를 만나게 된 것에 깊이 감사하고 있다.

3. AI 기업들이 근본적인 연구를 소홀히 하고 있다는 문제

전 세계적으로 성장하는 신경망의 내부를 직접 들여다보는 사람이 이렇게 적다는 사실은 정말 놀랍다.

대부분의 연구자들은 이미 다른 수준의 행동주의적 분석으로 옮겨갔다. 보상 함수나 벤치마크 점수 같은 것들을 분석하는 데 집중하고 있다는 뜻이다.

그런데 이번과 같은 근본적인 돌파구가 주요 AI 기업들의 외부에서 나오고 있다는 사실 은 OpenAI를 포함한 대형 모델 개발사들에 그다지 좋은 징조가 아니다.

우리는 지나치게 압박이 심한 환경에 갇혀버렸다.

당장의 성과를 만들어내도록 유도하는 인센티브에만 집중하고, 기존 패러다임 안에서 좁은 연구 경로만 파고들고 있다.

우리가 하는 일의 대부분은 근본적인 과학 연구라기보다는 엔지니어링에 가깝다.

그러면서 암묵적으로 이런 기대를 품고 있다.

"다음 모델이 나오면 알아서 이 문제를 해결해 주겠지."

핵심 요지

이 글은 단순히 AI 해석 가능성 연구를 칭찬하는 것이 아니라, 현재 최첨단 AI 연구의 방향 자체를 비판하고 있다.

특히 세 가지 주장이 중요하다.

1. 
   

   
   
   사전학습이 신경망 내부의 구조를 자연스럽게 이해하기 쉬운 방향으로 발전시켰을 가능성 이 있다. 기존에 생각했던 것만큼 신경망이 혼란스럽고 해독 불가능한 것은 아닐 수 있다.
   
   

   
   
2. 
   

   
   
   해석 가능성 연구가 AI 성능 향상으로 이어질 가능성 이 있다. 신경망 내부의 작동 원리를 이해하면 더 나은 학습 알고리즘이나 모델 아키텍처를 발견할 수도 있다.
   
   

   
   
3. 
   

   
   
   대형 AI 연구소가 단기 성능 경쟁에 지나치게 집중하고 있다. 그 결과, 오히려 외부의 독립 연구자들이 근본적인 과학적 발견을 주도하는 상황이 나타나고 있다는 비판이다.
   
   

   
   

특히 흥미로운 부분은 해석 가능성이 AI 안전성을 위한 도구일 뿐 아니라, AI 능력 발전과 자기개선(RSI)을 가속하는 새로운 연구 방향이 될 수 있다 는 관점이다. 다만 이는 글쓴이의 전망이지, 해석 가능성의 발전이 반드시 성능 향상으로 연결된다는 사실이 입증된 것은 아니다.