인터뷰/예측
힌튼 "우리가 LLM과 거의 같은 방식으로 언어를 이해한다는 것은 매우 분명"
작성자
작성일
2024-08-14 20:14
조회
1773
https://www.rdworldonline.com/hinton-ai4-conference-language-model-insights-rd-impact/
기계가 정말로 이해할 수 있을까? AI 선구자인 제프리 힌튼 박사는 대규모 언어 모델(LLM)에 관한 한 답은 확실히 '예'라고 믿고, 바로 이러한 이해가 그를 깊이 우려하게 합니다. 힌튼은 라스베이거스에서 열린 AI4 컨퍼런스의 기조 연설에서 "우리가 이러한 대규모 언어 모델과 거의 같은 방식으로 언어를 이해한다는 것은 매우 분명합니다."라고 말했습니다 . 그리고 AI는 인간 지능을 능가할 직전입니다. 그는 "그들이 우리보다 뛰어나면, 그들이 통제권을 잡는 데 어렵지 않을 것입니다."라고 말했습니다.
AI 시스템의 잠재적 위협에 대한 배경을 마련하기 위해 Hinton은 GPT-4와 같은 대규모 언어 모델이 언어를 진정으로 이해하지 못하거나 자동 완성을 미화한 것이라는 견해를 포함하여 AI 모델이 작동하는 방식에 대한 일반적인 오해에 반박했습니다. 그는 "이러한 언어 모델이 그저 많은 텍스트를 저장하고, 이를 학습하여 함께 패러디한다는 생각은 말도 안 됩니다."라고 말했습니다.
Hinton의 초기 모델은 단순함에도 불구하고 오늘날의 최첨단 멀티모달 모델의 토대를 마련했습니다. 이 모델은 무작위 할당으로 시작하여 문맥과 상호 작용을 통해 이를 개선하면서 단어에 기능을 할당하는 방법을 배웠습니다. 그는 이 프로세스가 본질적으로 현대의 대규모 언어 모델이 작동하는 방식이라고 주장하지만, 더 큰 규모로 말입니다. 1985년 Hinton의 모델은 가중치가 약 1,000개에 불과했고 100개의 예제로만 학습했습니다. 오늘날로 넘어가면 "기계는 이제 약 백만 배 더 빠릅니다."라고 Hinton은 말했습니다. 현대의 대규모 언어 모델은 또한 훨씬 더 큽니다. 수십억 또는 수조 개의 매개변수가 있습니다.
힌튼의 연구는 Yann LeCun, Yoshua Bengio, Andrew Ng와 같은 다른 AI 혁신가들의 연구와 함께 현대적 딥 러닝의 토대를 마련했습니다. 더 최근의 발전인 2017년 "Attention Is All You Need" 논문 의 출판은 언어 처리와 자연어 처리(NLP)에 대한 우리의 이해를 근본적으로 변화시켰습니다.
변압기의 자기 주의 메커니즘은 위치에 관계없이 문장의 모든 단어 간의 관계를 직접 모델링할 수 있게 하여 컴퓨터가 인간 텍스트를 이해하고 복제하는 능력을 크게 향상시킵니다. 그러나 이러한 모델이 언어를 진정으로 이해한다는 결론은 저항에 직면했는데, 특히 인간 언어 습득은 AI 시스템에 근본적으로 부족한 타고난 구조와 능력에 뿌리를 두고 있다고 주장하는 노암 촘스키와 같은 언어학의 저명한 인물들의 저항에 부딪혔습니다.
힌튼의 영향력 있는 노력에는 의미에 대한 겉보기에 양립할 수 없는 두 이론, 즉 의미적 특징 이론과 구조주의 이론을 합치는 것이 포함되었습니다. 의미적 특징 이론에서 단어는 내재적 특성의 집합을 통해 이해됩니다. 예를 들어, "사자"와 "호랑이"와 같은 단어는 크고 육식이며 고양이와 같은 유사한 의미적 특징을 공유합니다. 1930년대 심리학에 뿌리를 둔 이 이론은 유사한 의미를 가진 단어는 유사한 의미적 특징을 가지고 있다고 관찰했습니다.
반면, 힌튼이 "구조주의 이론, 상징적 AI 이론"이라고 묘사한 것이 있는데, 이는 단어의 의미가 머릿속의 다른 단어와 어떻게 관련되는지에 달려 있다는 것입니다. 본질적으로 인간은 "어떤 논리적 언어로 된 수많은 명제를 가지고 있으며, 이 단어는 다양한 역할로 이러한 명제에서 다른 단어와 함께 나타나고, 그것이 그 의미를 정의합니다."
힌튼의 돌파구는 "이 두 이론은 양립할 수 없는 것처럼 보이지만, 실제로 함께 작동하도록 만들 수 있다"는 것을 인식한 데 있었습니다. 이러한 관점을 결합함으로써 힌튼은 언어에 대한 보다 포괄적인 이해를 위한 토대를 마련했고, 이는 나중에 방대한 양의 텍스트와 기타 입력으로 훈련된 현대 AI 언어 모델에서 상당한 성능 향상을 이끌어냈습니다.
"상징적 AI 사람들은 그들이 우리와 전혀 다르다고 말할 것입니다. 우리는 상징적 규칙을 사용하여 언어를 아주 다른 방식으로 이해합니다. 하지만 그들은 결코 그것을 작동시킬 수 없었고, 우리가 이 거대한 언어 모델과 거의 같은 방식으로 언어를 이해한다는 것은 매우 분명합니다."라고 힌튼은 말했습니다.
영국계 캐나다인인 힌튼은 자동완성이 어떻게 작동할 수 있는지에 대한 예로 "fish and chips"를 사용합니다. "만약 'fish and'를 보았다면, 당신은 그것을 보고 '이봐, 'fish and chips'는 여러 번 나오니까 'chips'는 예측하기 좋은 거야.'라고 말할 것입니다." 단어의 빈도와 근접성에 기반한 이런 종류의 패턴 매칭은 기존 자동완성 시스템이 작동하는 방식입니다.
"하지만 자동완성은 더 이상 그렇게 작동하지 않습니다." 힌튼은 설명했다. 그는 현대의 대규모 언어 모델이 그런 원시적인 메커니즘을 훨씬 넘어섰다고 강조했다. "대규모 언어 모델은 다층 신경망을 통해 맥락에서 단어의 특징을 사용하여 다음 단어를 예측합니다."
다시 말해, 대규모 언어 모델은 "단어를 가져와 특성으로 변환하고 특성과 상호 작용한 다음 파생된 특성이 다음 단어의 특성을 예측하도록 하여 텍스트를 이해합니다. 이것이 이해입니다."라고 Hinton은 말했습니다.
물론, AI 기업과 개발자들은 대규모 언어 모델에서 환각을 줄이기 위해 다양한 전략을 사용하고 있습니다. 하지만 그러한 허튼소리는 인간과 대규모 언어 모델이 정보를 처리하는 방식 모두에서 여전히 실질적인 약점입니다. 힌튼은 인간이 종종 정확한 세부 사항을 검색하기보다는 기억을 재구성하는 것처럼, AI 모델은 구체적인 사실을 회상하기보다는 패턴에 따라 반응을 생성한다고 지적합니다.
이를 설명하기 위해 힌튼은 워터게이트 스캔들 당시 존 딘의 증언 사례를 떠올립니다. "존 딘의 증언으로 매우 분석된 훌륭한 사례가 있습니다. 그는 워터게이트에서 증언했고, 테이프가 있다는 사실을 몰랐습니다." 힌튼이 말했습니다. "그는 오벌 오피스에서 있었던 모든 회의에 대해 증언했습니다. 그리고 이 회의들은 결코 일어나지 않았습니다. 그것은 조작된 회의였지만, 그는 기억한 대로 진실을 말하고 있었습니다."
힌튼은 이 예를 들어 인간의 기억과 AI가 모두 사건에 대한 그럴듯하지만 부정확한 재구성을 만들어낼 수 있다는 점을 강조합니다. "우리는 기억을 저장하지 않고, 만들어냅니다." 힌튼은 농담조로 말했습니다.
기계가 정말로 이해할 수 있을까? AI 선구자인 제프리 힌튼 박사는 대규모 언어 모델(LLM)에 관한 한 답은 확실히 '예'라고 믿고, 바로 이러한 이해가 그를 깊이 우려하게 합니다. 힌튼은 라스베이거스에서 열린 AI4 컨퍼런스의 기조 연설에서 "우리가 이러한 대규모 언어 모델과 거의 같은 방식으로 언어를 이해한다는 것은 매우 분명합니다."라고 말했습니다 . 그리고 AI는 인간 지능을 능가할 직전입니다. 그는 "그들이 우리보다 뛰어나면, 그들이 통제권을 잡는 데 어렵지 않을 것입니다."라고 말했습니다.
AI 시스템의 잠재적 위협에 대한 배경을 마련하기 위해 Hinton은 GPT-4와 같은 대규모 언어 모델이 언어를 진정으로 이해하지 못하거나 자동 완성을 미화한 것이라는 견해를 포함하여 AI 모델이 작동하는 방식에 대한 일반적인 오해에 반박했습니다. 그는 "이러한 언어 모델이 그저 많은 텍스트를 저장하고, 이를 학습하여 함께 패러디한다는 생각은 말도 안 됩니다."라고 말했습니다.
1985년의 작은 언어 모델이 가능했습니다.
대신, 힌튼은 대규모 언어 모델이 힌튼이 "작은 언어 모델"이라고 부르는 것의 후손이라고 강조했습니다. 힌튼은 거의 40년 전에 이 모델을 만들었습니다. 3단어 문자열 에서 다음 단어를 예측하는 1985년 모델의 기본 메커니즘은 현대의 대규모 언어 모델과 대체로 유사했습니다.Hinton의 초기 모델은 단순함에도 불구하고 오늘날의 최첨단 멀티모달 모델의 토대를 마련했습니다. 이 모델은 무작위 할당으로 시작하여 문맥과 상호 작용을 통해 이를 개선하면서 단어에 기능을 할당하는 방법을 배웠습니다. 그는 이 프로세스가 본질적으로 현대의 대규모 언어 모델이 작동하는 방식이라고 주장하지만, 더 큰 규모로 말입니다. 1985년 Hinton의 모델은 가중치가 약 1,000개에 불과했고 100개의 예제로만 학습했습니다. 오늘날로 넘어가면 "기계는 이제 약 백만 배 더 빠릅니다."라고 Hinton은 말했습니다. 현대의 대규모 언어 모델은 또한 훨씬 더 큽니다. 수십억 또는 수조 개의 매개변수가 있습니다.
LLM이 언어에 대한 이해를 어떻게 반영하는지
힌튼의 연구는 Yann LeCun, Yoshua Bengio, Andrew Ng와 같은 다른 AI 혁신가들의 연구와 함께 현대적 딥 러닝의 토대를 마련했습니다. 더 최근의 발전인 2017년 "Attention Is All You Need" 논문 의 출판은 언어 처리와 자연어 처리(NLP)에 대한 우리의 이해를 근본적으로 변화시켰습니다.
변압기의 자기 주의 메커니즘은 위치에 관계없이 문장의 모든 단어 간의 관계를 직접 모델링할 수 있게 하여 컴퓨터가 인간 텍스트를 이해하고 복제하는 능력을 크게 향상시킵니다. 그러나 이러한 모델이 언어를 진정으로 이해한다는 결론은 저항에 직면했는데, 특히 인간 언어 습득은 AI 시스템에 근본적으로 부족한 타고난 구조와 능력에 뿌리를 두고 있다고 주장하는 노암 촘스키와 같은 언어학의 저명한 인물들의 저항에 부딪혔습니다.
자동완성을 넘어서: 회의론자들의 폭로
생성 AI 모델의 기능에도 불구하고 광범위한 회의론이 지속되고 있습니다. 비평가들은 종종 이러한 모델을 단순히 " 자동완성 "의 정교한 버전으로 일축합니다. 그러나 힌튼은 이 개념에 강력히 반대하며 오늘날의 모델에 대한 근본적인 아이디어를 언어 이해에 대한 그의 초기 작업으로 거슬러 올라갑니다.힌튼의 영향력 있는 노력에는 의미에 대한 겉보기에 양립할 수 없는 두 이론, 즉 의미적 특징 이론과 구조주의 이론을 합치는 것이 포함되었습니다. 의미적 특징 이론에서 단어는 내재적 특성의 집합을 통해 이해됩니다. 예를 들어, "사자"와 "호랑이"와 같은 단어는 크고 육식이며 고양이와 같은 유사한 의미적 특징을 공유합니다. 1930년대 심리학에 뿌리를 둔 이 이론은 유사한 의미를 가진 단어는 유사한 의미적 특징을 가지고 있다고 관찰했습니다.
반면, 힌튼이 "구조주의 이론, 상징적 AI 이론"이라고 묘사한 것이 있는데, 이는 단어의 의미가 머릿속의 다른 단어와 어떻게 관련되는지에 달려 있다는 것입니다. 본질적으로 인간은 "어떤 논리적 언어로 된 수많은 명제를 가지고 있으며, 이 단어는 다양한 역할로 이러한 명제에서 다른 단어와 함께 나타나고, 그것이 그 의미를 정의합니다."
힌튼의 돌파구는 "이 두 이론은 양립할 수 없는 것처럼 보이지만, 실제로 함께 작동하도록 만들 수 있다"는 것을 인식한 데 있었습니다. 이러한 관점을 결합함으로써 힌튼은 언어에 대한 보다 포괄적인 이해를 위한 토대를 마련했고, 이는 나중에 방대한 양의 텍스트와 기타 입력으로 훈련된 현대 AI 언어 모델에서 상당한 성능 향상을 이끌어냈습니다.
AI 언어 거울
인간 언어를 이해할 수 있는 모델을 만드는 데 대한 의미는 깊었고, 컴퓨팅과 인간이 언어를 습득하는 방식을 이해하는 데 모두 의미가 있었습니다. 힌튼은 "1985년에 제가 도입한 작은 언어 모델은 언어를 하는 기술로 도입되지 않았습니다."라고 설명했습니다. "그것은 사람들이 단어의 의미를 어떻게 배우는지에 대한 이론으로 도입되었습니다. 그래서 실제로 사람들이 언어를 이해하는 방식에 대한 가장 좋은 모델은 이러한 대규모 언어 모델입니다.""상징적 AI 사람들은 그들이 우리와 전혀 다르다고 말할 것입니다. 우리는 상징적 규칙을 사용하여 언어를 아주 다른 방식으로 이해합니다. 하지만 그들은 결코 그것을 작동시킬 수 없었고, 우리가 이 거대한 언어 모델과 거의 같은 방식으로 언어를 이해한다는 것은 매우 분명합니다."라고 힌튼은 말했습니다.
표면 수준의 패턴 매칭에서 진화
"대규모 언어 모델은 다층 신경망을 사용하여 문맥에서 단어의 특징을 사용하여 다음 단어를 예측하려고 합니다. 그래서 그것은 단순한 자동완성이 아닙니다." 대규모 언어 모델의 작동 방식은 종종 오해받는다고 Hinton은 말했습니다. "또 다른 반대 의견은 상징적 AI 진영에서 나옵니다. 그것은 단지 자동완성일 뿐입니다." 그는 덧붙였습니다. "우리는 자동완성을 이해합니다. 이해하기 쉬웠습니다."영국계 캐나다인인 힌튼은 자동완성이 어떻게 작동할 수 있는지에 대한 예로 "fish and chips"를 사용합니다. "만약 'fish and'를 보았다면, 당신은 그것을 보고 '이봐, 'fish and chips'는 여러 번 나오니까 'chips'는 예측하기 좋은 거야.'라고 말할 것입니다." 단어의 빈도와 근접성에 기반한 이런 종류의 패턴 매칭은 기존 자동완성 시스템이 작동하는 방식입니다.
"하지만 자동완성은 더 이상 그렇게 작동하지 않습니다." 힌튼은 설명했다. 그는 현대의 대규모 언어 모델이 그런 원시적인 메커니즘을 훨씬 넘어섰다고 강조했다. "대규모 언어 모델은 다층 신경망을 통해 맥락에서 단어의 특징을 사용하여 다음 단어를 예측합니다."
다시 말해, 대규모 언어 모델은 "단어를 가져와 특성으로 변환하고 특성과 상호 작용한 다음 파생된 특성이 다음 단어의 특성을 예측하도록 하여 텍스트를 이해합니다. 이것이 이해입니다."라고 Hinton은 말했습니다.
인간과 AI의 합성에 관하여
AI의 결함, 예를 들어 잘못된 정보를 생성하거나 "환각"하거나 꾸며내는 경향도 인간의 인지와 유사합니다. "음, 사람들은 항상 환각을 봅니다... 그게 우리의 기억과 같습니다." 힌튼이 관찰했습니다. "또한 대규모 언어 모델에서의 기억과도 같고, 그래서 꾸며낼 수 있는 것입니다."물론, AI 기업과 개발자들은 대규모 언어 모델에서 환각을 줄이기 위해 다양한 전략을 사용하고 있습니다. 하지만 그러한 허튼소리는 인간과 대규모 언어 모델이 정보를 처리하는 방식 모두에서 여전히 실질적인 약점입니다. 힌튼은 인간이 종종 정확한 세부 사항을 검색하기보다는 기억을 재구성하는 것처럼, AI 모델은 구체적인 사실을 회상하기보다는 패턴에 따라 반응을 생성한다고 지적합니다.
이를 설명하기 위해 힌튼은 워터게이트 스캔들 당시 존 딘의 증언 사례를 떠올립니다. "존 딘의 증언으로 매우 분석된 훌륭한 사례가 있습니다. 그는 워터게이트에서 증언했고, 테이프가 있다는 사실을 몰랐습니다." 힌튼이 말했습니다. "그는 오벌 오피스에서 있었던 모든 회의에 대해 증언했습니다. 그리고 이 회의들은 결코 일어나지 않았습니다. 그것은 조작된 회의였지만, 그는 기억한 대로 진실을 말하고 있었습니다."
힌튼은 이 예를 들어 인간의 기억과 AI가 모두 사건에 대한 그럴듯하지만 부정확한 재구성을 만들어낼 수 있다는 점을 강조합니다. "우리는 기억을 저장하지 않고, 만들어냅니다." 힌튼은 농담조로 말했습니다.
전체 0