뉴스/정보
LLM 내부에서 현실에 대한 시뮬레이션이 깊숙이 발달하는 것을 발견
작성자
하이룽룽
작성일
2024-08-16 02:01
조회
728
https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814
MIT CSAIL 연구자들은 통제된 실험에서 LLM 내부에서 현실에 대한 시뮬레이션이 깊숙이 발달하는 것을 발견했는데, 이는 언어에 대한 단순한 모방 이상의 이해가 있음을 나타냅니다.
GPT-4와 같은 대규모 언어 모델(LLM)에 비에 젖은 캠프장의 냄새를 맡아보라고 하면 정중하게 거절할 것입니다. 같은 시스템에 그 냄새를 설명해 달라고 하면, 비에 대한 사전 경험도 없고 그런 관찰을 할 수 있는 코도 없는데도 "기대감이 가득한 공기"와 "신선하면서도 흙 냄새가 나는 냄새"에 대해 시적으로 표현할 것입니다. 이 현상에 대한 한 가지 가능한 설명은 LLM이 비나 냄새에 대한 실제 이해를 바탕으로 작업하는 것이 아니라 방대한 훈련 데이터에 있는 텍스트를 단순히 모방하고 있다는 것입니다.
하지만 눈이 없다는 것은 언어 모델이 사자가 집고양이보다 "더 크다"는 것을 "이해"할 수 없다는 것을 의미할까요? 철학자와 과학자 모두 오랫동안 언어에 의미를 부여하는 능력을 인간 지능의 특징으로 여겨 왔으며, 그렇게 할 수 있게 해주는 필수적인 요소가 무엇인지 고민해 왔습니다.
MIT의 컴퓨터 과학 및 인공지능 연구실(CSAIL)의 연구자들은 이 수수께끼를 들여다보며 언어 모델이 생성 능력을 향상시키는 방법으로 현실에 대한 자체 이해를 개발할 수 있다는 흥미로운 결과를 발견했습니다. 연구팀은 먼저 시뮬레이션 환경에서 로봇을 제어하는 지침을 생각해내는 것으로 구성된 일련의 작은 카렐 퍼즐을 개발했습니다. 그런 다음 LLM을 솔루션에 대해 훈련했지만 솔루션이 실제로 어떻게 작동하는지는 보여주지 않았습니다. 마지막으로 "탐색"이라는 머신 러닝 기술을 사용하여 새로운 솔루션을 생성할 때 모델의 "사고 과정"을 살펴보았습니다.
100만 개가 넘는 무작위 퍼즐로 훈련한 후, 훈련 중에 이 현실에 노출되지 않았음에도 불구하고 모델이 기본 시뮬레이션에 대한 자체 개념을 자발적으로 개발했다는 것을 발견했습니다. 이러한 발견은 언어적 의미를 학습하는 데 필요한 정보 유형과 LLM이 언젠가 오늘날보다 더 깊은 수준에서 언어를 이해할 수 있을지에 대한 우리의 직관에 의문을 제기합니다.
"이러한 실험을 시작할 때 언어 모델은 작동하지 않는 무작위 지침을 생성했습니다. MIT 전기공학 및 컴퓨터과학(EECS) 박사과정 학생이자 CSAIL 제휴자인 찰스 진은 "우리가 훈련을 마쳤을 때, 우리 언어 모델은 92.4%의 비율로 정확한 지침을 생성했습니다."라고 말했습니다. 그는 이 연구에 대한 새로운 논문 의 주저자입니다. "이것은 우리에게 매우 흥미로운 순간이었습니다. 언어 모델이 그 수준의 정확도로 작업을 완료할 수 있다면 언어 내의 의미도 이해할 수 있을 것이라고 생각했기 때문입니다. 이를 통해 LLM이 실제로 텍스트를 이해하는지 여부를 탐구할 수 있는 시작점을 얻었고, 이제 LLM이 그저 맹목적으로 단어를 잇는 것 이상을 할 수 있다는 것을 알게 되었습니다."
LLM의 마음 속
이 탐사선은 진이 이러한 진전을 직접 목격하는 데 도움이 되었습니다. 탐사선의 역할은 LLM이 지시가 무엇을 의미하는지 해석하는 것이었고, LLM이 로봇이 각 지시에 반응하여 어떻게 움직이는지에 대한 자체적인 내부 시뮬레이션을 개발했다는 것을 밝혀냈습니다. 모델의 퍼즐 풀기 능력이 향상됨에 따라 이러한 개념도 더욱 정확해져서 LLM이 지시를 이해하기 시작했다는 것을 보여주었습니다. 얼마 지나지 않아 모델은 조각들을 일관되게 올바르게 조립하여 작업 지시를 형성했습니다.
진은 LLM의 언어에 대한 이해가 어린아이가 여러 단계로 말을 배우는 것과 매우 유사하게 단계적으로 발달한다고 지적합니다. 처음에는 아기가 중얼거리는 것과 같습니다. 반복적이고 대부분 알아들을 수 없습니다. 그런 다음 언어 모델은 구문, 즉 언어 규칙을 습득합니다. 이를 통해 진짜 솔루션처럼 보일 수 있지만 여전히 작동하지 않는 지시를 생성할 수 있습니다.
하지만 LLM의 지침은 점차 개선됩니다. 모델이 의미를 얻으면 요청된 사양을 올바르게 구현하는 지침을 쏟아내기 시작합니다. 마치 아이가 일관된 문장을 형성하는 것과 같습니다.
방법과 모델 분리: "비자로 월드"
이 프로브는 Jin이 특징지은 대로 "LLM의 뇌 속으로 들어가는" 데만 의도되었지만, 모델의 일부 사고를 했을 가능성도 있었습니다. 연구자들은 프로브가 LLM의 구문 이해에서 로봇의 움직임을 추론하는 대신, 모델이 프로브와 독립적으로 명령을 이해하도록 하기를 원했습니다.
"LM의 사고 과정을 인코딩한 데이터 더미가 있다고 상상해 보세요." 진이 제안합니다. "탐사는 법의학 분석가와 같습니다. 이 데이터 더미를 분석가에게 건네고 '로봇이 움직이는 방식은 이렇습니다. 이제 데이터 더미에서 로봇의 움직임을 찾아보세요.'라고 말합니다. 나중에 분석가는 데이터 더미에서 로봇에 무슨 일이 일어나고 있는지 알고 있다고 말합니다. 하지만 데이터 더미가 실제로 원시 명령을 인코딩하고 분석가가 명령을 추출하여 그에 따라 따르는 영리한 방법을 알아냈다면 어떨까요? 그러면 언어 모델은 명령의 의미를 전혀 배우지 못한 것입니다."
연구자들은 그들의 역할을 풀기 위해 새로운 프로브에 대한 지시의 의미를 뒤집었습니다. 진이 부르는 이 "비자로 월드"에서 "위"와 같은 지시는 이제 로봇을 그리드에서 움직이는 지시 내에서 "아래"를 의미했습니다. 진은
"프로브가 지시를 로봇 위치로 변환하는 경우, 비자로 의미에 따라 지시를 똑같이 잘 변환할 수 있어야 합니다."라고 말합니다. "하지만 프로브가 실제로 언어 모델의 사고 과정에서 원래 로봇 움직임의 인코딩을 찾는 경우, 원래 사고 과정에서 비자로 로봇 움직임을 추출하는 데 어려움을 겪을 것입니다." 결과적으로
새로운 프로브는 번역 오류를 경험하여 지시의 의미가 다른 언어 모델을 해석하지 못했습니다. 이는 원래 의미론이 언어 모델에 내장되어 있음을 의미하며, 이는 LLM이 원래 프로빙 분류기와 독립적으로 필요한 지시를 이해했음을 나타냅니다.
"이 연구는 현대 인공 지능의 중심 질문을 직접적으로 다룹니다. 대규모 언어 모델의 놀라운 기능은 단순히 대규모 통계적 상관 관계 때문일까요, 아니면 대규모 언어 모델이 작업하라는 요청을 받은 현실에 대한 의미 있는 이해를 개발할까요? "이 연구는 LLM이 이 모델을 개발하도록 훈련받은 적이 없음에도 불구하고 시뮬레이션된 현실의 내부 모델을 개발한다는 것을 보여줍니다."라고 논문의 수석 저자이자 EECS의 MIT 교수이자 CSAIL 회원인 Martin Rinard가 말했습니다.
이 실험은 언어 모델이 언어에 대한 더 깊은 이해를 개발할 수 있다는 팀의 분석을 더욱 뒷받침했습니다. 그래도 진은 논문에 몇 가지 한계가 있음을 인정합니다. 그들은 매우 간단한 프로그래밍 언어와 비교적 작은 모델을 사용하여 통찰력을 얻었습니다. 다가올 연구 에서 그들은 더 일반적인 설정을 사용할 것입니다. 진의 최신 연구는 언어 모델이 의미를 더 빨리 학습하도록 하는 방법을 설명하지 않았지만, 그는 향후 작업이 이러한 통찰력을 바탕으로 언어 모델이 훈련되는 방식을 개선할 수 있다고 믿습니다.
"흥미로운 미해결 문제는 LLM이 로봇 내비게이션 문제를 해결하면서 그 현실에 대해 추론하기 위해 내부 현실 모델을 실제로 사용하고 있는지 여부입니다."라고 Rinard는 말합니다. "우리의 결과는 LLM이 이런 방식으로 모델을 사용하는 것과 일치하지만, 우리의 실험은 다음 질문에 답하도록 설계되지 않았습니다."
브라운 대학교의 컴퓨터 과학 및 언어학 조교수인 엘리 파블릭은 "요즘은 LLM이 실제로 언어를 '이해'하고 있는지, 아니면 그들의 성공이 본질적으로 방대한 양의 텍스트를 빨아들이는 데서 나오는 속임수와 경험적 방법 때문인지에 대한 많은 논쟁이 있습니다."라고 말했습니다. 그는 이 논문에 참여하지 않았습니다. "이러한 질문은 우리가 AI를 구축하는 방법의 핵심이며, 우리 기술에 내재된 가능성이나 한계가 무엇인지에 대한 것입니다. 이 논문은 이 질문을 통제된 방식으로 살펴보는 훌륭한 논문입니다. 저자는 컴퓨터 코드가 자연어와 마찬가지로 구문과 의미론을 모두 가지고 있지만, 자연어와 달리 의미론은 실험 목적으로 직접 관찰하고 조작할 수 있다는 사실을 이용합니다. 실험 설계는 우아하고, 그들의 결과는 낙관적이어서 LLM이 언어의 '의미'에 대해 더 깊이 있는 것을 배울 수 있을 것이라고 시사합니다."
진과 리나드의 논문은 부분적으로 미국 방위고등연구계획국(DARPA)의 연구비 지원을 받았습니다.
MIT CSAIL 연구자들은 통제된 실험에서 LLM 내부에서 현실에 대한 시뮬레이션이 깊숙이 발달하는 것을 발견했는데, 이는 언어에 대한 단순한 모방 이상의 이해가 있음을 나타냅니다.
GPT-4와 같은 대규모 언어 모델(LLM)에 비에 젖은 캠프장의 냄새를 맡아보라고 하면 정중하게 거절할 것입니다. 같은 시스템에 그 냄새를 설명해 달라고 하면, 비에 대한 사전 경험도 없고 그런 관찰을 할 수 있는 코도 없는데도 "기대감이 가득한 공기"와 "신선하면서도 흙 냄새가 나는 냄새"에 대해 시적으로 표현할 것입니다. 이 현상에 대한 한 가지 가능한 설명은 LLM이 비나 냄새에 대한 실제 이해를 바탕으로 작업하는 것이 아니라 방대한 훈련 데이터에 있는 텍스트를 단순히 모방하고 있다는 것입니다.
하지만 눈이 없다는 것은 언어 모델이 사자가 집고양이보다 "더 크다"는 것을 "이해"할 수 없다는 것을 의미할까요? 철학자와 과학자 모두 오랫동안 언어에 의미를 부여하는 능력을 인간 지능의 특징으로 여겨 왔으며, 그렇게 할 수 있게 해주는 필수적인 요소가 무엇인지 고민해 왔습니다.
MIT의 컴퓨터 과학 및 인공지능 연구실(CSAIL)의 연구자들은 이 수수께끼를 들여다보며 언어 모델이 생성 능력을 향상시키는 방법으로 현실에 대한 자체 이해를 개발할 수 있다는 흥미로운 결과를 발견했습니다. 연구팀은 먼저 시뮬레이션 환경에서 로봇을 제어하는 지침을 생각해내는 것으로 구성된 일련의 작은 카렐 퍼즐을 개발했습니다. 그런 다음 LLM을 솔루션에 대해 훈련했지만 솔루션이 실제로 어떻게 작동하는지는 보여주지 않았습니다. 마지막으로 "탐색"이라는 머신 러닝 기술을 사용하여 새로운 솔루션을 생성할 때 모델의 "사고 과정"을 살펴보았습니다.
100만 개가 넘는 무작위 퍼즐로 훈련한 후, 훈련 중에 이 현실에 노출되지 않았음에도 불구하고 모델이 기본 시뮬레이션에 대한 자체 개념을 자발적으로 개발했다는 것을 발견했습니다. 이러한 발견은 언어적 의미를 학습하는 데 필요한 정보 유형과 LLM이 언젠가 오늘날보다 더 깊은 수준에서 언어를 이해할 수 있을지에 대한 우리의 직관에 의문을 제기합니다.
"이러한 실험을 시작할 때 언어 모델은 작동하지 않는 무작위 지침을 생성했습니다. MIT 전기공학 및 컴퓨터과학(EECS) 박사과정 학생이자 CSAIL 제휴자인 찰스 진은 "우리가 훈련을 마쳤을 때, 우리 언어 모델은 92.4%의 비율로 정확한 지침을 생성했습니다."라고 말했습니다. 그는 이 연구에 대한 새로운 논문 의 주저자입니다. "이것은 우리에게 매우 흥미로운 순간이었습니다. 언어 모델이 그 수준의 정확도로 작업을 완료할 수 있다면 언어 내의 의미도 이해할 수 있을 것이라고 생각했기 때문입니다. 이를 통해 LLM이 실제로 텍스트를 이해하는지 여부를 탐구할 수 있는 시작점을 얻었고, 이제 LLM이 그저 맹목적으로 단어를 잇는 것 이상을 할 수 있다는 것을 알게 되었습니다."
LLM의 마음 속
이 탐사선은 진이 이러한 진전을 직접 목격하는 데 도움이 되었습니다. 탐사선의 역할은 LLM이 지시가 무엇을 의미하는지 해석하는 것이었고, LLM이 로봇이 각 지시에 반응하여 어떻게 움직이는지에 대한 자체적인 내부 시뮬레이션을 개발했다는 것을 밝혀냈습니다. 모델의 퍼즐 풀기 능력이 향상됨에 따라 이러한 개념도 더욱 정확해져서 LLM이 지시를 이해하기 시작했다는 것을 보여주었습니다. 얼마 지나지 않아 모델은 조각들을 일관되게 올바르게 조립하여 작업 지시를 형성했습니다.
진은 LLM의 언어에 대한 이해가 어린아이가 여러 단계로 말을 배우는 것과 매우 유사하게 단계적으로 발달한다고 지적합니다. 처음에는 아기가 중얼거리는 것과 같습니다. 반복적이고 대부분 알아들을 수 없습니다. 그런 다음 언어 모델은 구문, 즉 언어 규칙을 습득합니다. 이를 통해 진짜 솔루션처럼 보일 수 있지만 여전히 작동하지 않는 지시를 생성할 수 있습니다.
하지만 LLM의 지침은 점차 개선됩니다. 모델이 의미를 얻으면 요청된 사양을 올바르게 구현하는 지침을 쏟아내기 시작합니다. 마치 아이가 일관된 문장을 형성하는 것과 같습니다.
방법과 모델 분리: "비자로 월드"
이 프로브는 Jin이 특징지은 대로 "LLM의 뇌 속으로 들어가는" 데만 의도되었지만, 모델의 일부 사고를 했을 가능성도 있었습니다. 연구자들은 프로브가 LLM의 구문 이해에서 로봇의 움직임을 추론하는 대신, 모델이 프로브와 독립적으로 명령을 이해하도록 하기를 원했습니다.
"LM의 사고 과정을 인코딩한 데이터 더미가 있다고 상상해 보세요." 진이 제안합니다. "탐사는 법의학 분석가와 같습니다. 이 데이터 더미를 분석가에게 건네고 '로봇이 움직이는 방식은 이렇습니다. 이제 데이터 더미에서 로봇의 움직임을 찾아보세요.'라고 말합니다. 나중에 분석가는 데이터 더미에서 로봇에 무슨 일이 일어나고 있는지 알고 있다고 말합니다. 하지만 데이터 더미가 실제로 원시 명령을 인코딩하고 분석가가 명령을 추출하여 그에 따라 따르는 영리한 방법을 알아냈다면 어떨까요? 그러면 언어 모델은 명령의 의미를 전혀 배우지 못한 것입니다."
연구자들은 그들의 역할을 풀기 위해 새로운 프로브에 대한 지시의 의미를 뒤집었습니다. 진이 부르는 이 "비자로 월드"에서 "위"와 같은 지시는 이제 로봇을 그리드에서 움직이는 지시 내에서 "아래"를 의미했습니다. 진은
"프로브가 지시를 로봇 위치로 변환하는 경우, 비자로 의미에 따라 지시를 똑같이 잘 변환할 수 있어야 합니다."라고 말합니다. "하지만 프로브가 실제로 언어 모델의 사고 과정에서 원래 로봇 움직임의 인코딩을 찾는 경우, 원래 사고 과정에서 비자로 로봇 움직임을 추출하는 데 어려움을 겪을 것입니다." 결과적으로
새로운 프로브는 번역 오류를 경험하여 지시의 의미가 다른 언어 모델을 해석하지 못했습니다. 이는 원래 의미론이 언어 모델에 내장되어 있음을 의미하며, 이는 LLM이 원래 프로빙 분류기와 독립적으로 필요한 지시를 이해했음을 나타냅니다.
"이 연구는 현대 인공 지능의 중심 질문을 직접적으로 다룹니다. 대규모 언어 모델의 놀라운 기능은 단순히 대규모 통계적 상관 관계 때문일까요, 아니면 대규모 언어 모델이 작업하라는 요청을 받은 현실에 대한 의미 있는 이해를 개발할까요? "이 연구는 LLM이 이 모델을 개발하도록 훈련받은 적이 없음에도 불구하고 시뮬레이션된 현실의 내부 모델을 개발한다는 것을 보여줍니다."라고 논문의 수석 저자이자 EECS의 MIT 교수이자 CSAIL 회원인 Martin Rinard가 말했습니다.
이 실험은 언어 모델이 언어에 대한 더 깊은 이해를 개발할 수 있다는 팀의 분석을 더욱 뒷받침했습니다. 그래도 진은 논문에 몇 가지 한계가 있음을 인정합니다. 그들은 매우 간단한 프로그래밍 언어와 비교적 작은 모델을 사용하여 통찰력을 얻었습니다. 다가올 연구 에서 그들은 더 일반적인 설정을 사용할 것입니다. 진의 최신 연구는 언어 모델이 의미를 더 빨리 학습하도록 하는 방법을 설명하지 않았지만, 그는 향후 작업이 이러한 통찰력을 바탕으로 언어 모델이 훈련되는 방식을 개선할 수 있다고 믿습니다.
"흥미로운 미해결 문제는 LLM이 로봇 내비게이션 문제를 해결하면서 그 현실에 대해 추론하기 위해 내부 현실 모델을 실제로 사용하고 있는지 여부입니다."라고 Rinard는 말합니다. "우리의 결과는 LLM이 이런 방식으로 모델을 사용하는 것과 일치하지만, 우리의 실험은 다음 질문에 답하도록 설계되지 않았습니다."
브라운 대학교의 컴퓨터 과학 및 언어학 조교수인 엘리 파블릭은 "요즘은 LLM이 실제로 언어를 '이해'하고 있는지, 아니면 그들의 성공이 본질적으로 방대한 양의 텍스트를 빨아들이는 데서 나오는 속임수와 경험적 방법 때문인지에 대한 많은 논쟁이 있습니다."라고 말했습니다. 그는 이 논문에 참여하지 않았습니다. "이러한 질문은 우리가 AI를 구축하는 방법의 핵심이며, 우리 기술에 내재된 가능성이나 한계가 무엇인지에 대한 것입니다. 이 논문은 이 질문을 통제된 방식으로 살펴보는 훌륭한 논문입니다. 저자는 컴퓨터 코드가 자연어와 마찬가지로 구문과 의미론을 모두 가지고 있지만, 자연어와 달리 의미론은 실험 목적으로 직접 관찰하고 조작할 수 있다는 사실을 이용합니다. 실험 설계는 우아하고, 그들의 결과는 낙관적이어서 LLM이 언어의 '의미'에 대해 더 깊이 있는 것을 배울 수 있을 것이라고 시사합니다."
진과 리나드의 논문은 부분적으로 미국 방위고등연구계획국(DARPA)의 연구비 지원을 받았습니다.
전체 0