https://www.deeplearning.ai/the-batch/issue-209/

안녕하세요, 친구들.

대규모 언어 모델(LLM)이 세상을 이해하는가에 대한 질문이 있습니다. 저는 과학자이자 엔지니어로서, AI 시스템이 무엇을 "이해"하는지 여부를 묻는 것을 피하고 있습니다. 이해를 과학적으로 판단할 수 있는 널리 합의된 테스트는 없으며, 의식이나 지각에 대한 테스트도 마찬가지입니다. 이러한 질문은 철학의 영역에 속합니다. 그러나 저는 LLM이 세상에 대한 충분히 복잡한 모델을 구축한다고 생각하며, 어느 정도는 세상을 이해한다고 말할 수 있습니다.

저에게는 Othello-GPT에 관한 연구가 LLM이 세계 모델을 구축한다는 것을 보여주는 설득력 있는 증거입니다. Kenneth Li와 동료들은 GPT 언어 모델의 변형을 Othello라는 보드 게임의 움직임 시퀀스로 훈련시켰습니다. 예를 들어, d3 c5 f6 f5 e6 e3...와 같은 움직임 시퀀스입니다. 훈련 중 네트워크는 이러한 움직임 시퀀스만 보았고, 8x8 보드나 게임 규칙에 대해 명시적으로 배우지 않았습니다. 그러나 훈련 후 네트워크는 다음 움직임을 예측하는 데 꽤 좋은 성능을 보였습니다.

핵심 질문은: 네트워크가 세계 모델을 구축하여 이러한 예측을 했는가입니다. 연구자들은 네트워크의 숨겨진 유닛 활성화가 현재 보드 위치와 가능한 합법적인 움직임을 나타내는 표현을 캡처했다는 것을 보여주었습니다. 이는 네트워크가 단순히 훈련 데이터의 통계를 모방하려는 "확률적 앵무새"가 아니라 실제로 세계 모델을 구축했다는 것을 의미합니다.

이 연구는 Othello를 사용했지만, 인간 텍스트로 훈련된 LLM도 세계 모델을 구축한다고 확신합니다. 예를 들어, 영어 지침을 따르도록 미세 조정된 모델이 다른 언어로 작성된 지침을 따를 수 있는 것과 같은 "발생적" 행동은 LLM이 세상을 이해한다고 보지 않으면 설명하기 어렵습니다.

AI는 오랫동안 이해의 개념과 씨름해 왔습니다. 철학자 John Searle은 1980년에 중국어 방 논증을 발표했습니다. 그는 영어 화자가 규칙서만으로 중국어를 영어로 번역할 수 있지만 중국어를 이해하지 못한다고 주장했습니다. 컴퓨터도 이와 같아서 중국어를 이해하는 것처럼 보이지만 실제로는 이해하지 못한다고 했습니다.

이에 대한 반박으로 시스템 응답이 있습니다. 단일 구성 요소가 아닌 전체 시스템이 중국어를 이해한다고 볼 수 있습니다. 마찬가지로 제 뇌의 단일 뉴런이 머신 러닝을 이해하지 못하지만, 전체 뉴런 시스템이 이해하는 것과 같습니다. 최근 Geoff Hinton과의 대화에서 LLM이 세상을 이해한다는 점에 동의했습니다.

철학은 중요하지만, 저는 주로 코딩에 시간을 보내고 싶어 철학적 논쟁에 많이 참여하지 않습니다. 그러나 우리는 놀라운 시대에 살고 있다고 확신합니다.