자유게시판
칭화대 Liu Zhiyuan "OpenAI의 초지능 6년 타임라인은 매우 실현 가능한 목표"
작성자
하이룽룽
작성일
2024-08-19 00:01
조회
927
https://www.myzaker.com/article/6691f5318e9f09610d0530eb
앱소: 이전에도 예측한 바 있지만, 미래에는 대부분의 경우 실제로 엔드포인트 쪽에서 충분할 것이라고 생각한다고 하셨죠. 그렇게 되려면 어느 정도까지 발전해야 한다고 생각하시나요?
류즈위안: 사실 엔드사이드 테스트는 아인슈타인 수준으로 만들어야 서비스를 제공할 수 있으며, GPT-4 또는 GPT-4o 수준이면 충분합니다. 엔드 사이드 칩의 지식 밀도가 같은 속도로 향상된다면 향후 2년 내에 GPT-4 레벨을 엔드 테스트에 투입하여 실행할 수 있으며, 그러면 수요의 80% 이상을 엔드 사이드에서 완료할 수 있을 것으로 예상합니다.
...
류지위안: 제가 학생들에게 항상 하는 말은 절대 기득권자가 되지 말라는 것입니다. 이전에 온갖 이점을 누려왔기 때문이 아니라 자신이 혁명을 당했다는 사실을 인정하고 싶지 않을 뿐입니다.
많은 사람들이 자신이 혁명을 당했다는 사실을 인정하지 않으려 합니다. 통계적 기계 번역을 할 때는 신경망 기계 번역의 출현을 인정하지 않으려 했습니다. 인공신경망 기계 번역을 할 때 그는 대형 모델의 출현을 보고 싶지 않았습니다. 자신이 그렇게 잘했던 모든 것들이 더 이상 의미가 없다고 느끼고 인정하고 싶지 않았기 때문입니다.
앱소: 인간의 본성이죠.
LIU Zhiyuan: 99%의 사람은 인간 본성을 가지고 있습니다. 이 일을 하려면 사명감을 가져야 하고, 목표는 인간 본성을 뛰어넘어야 한다고 생각합니다.
...
앱소: 지금 AGI에 대해 이야기하기에는 너무 먼 이야기 아닌가요?
류지위안: 그렇게 생각하지 않습니다. 2022년 말에 ChatGPT가 나오기 전까지 저는 항상 AGI에 해결되지 않은 한 가지 문제가 있다고 생각했는데, 그것은 바로 상식의 문제, 즉 세상에 대한 상식을 어떻게 구축할 것인가 하는 문제였습니다.
예를 들어 오리는 머리 하나, 발 두 개, 날개 두 개, 그런 기본적인 상식이죠. GPT-3.5가 나오기 전에는 이런 지식을 데이터를 통해 배우기가 매우 어려웠다고 생각합니다. 컵을 테이블에서 바닥으로 쓸어내리면 컵이 어떻게 되는지 같은 물리적인 질문도 마찬가지입니다. 대형 모델과 관련된 상식적인 질문을 하면 대답을 못하죠.
ChatGPT가 등장한 이후에는 이러한 모든 상식을 데이터 기반 방식으로 모델이 학습할 수 있다는 것을 알게 되었습니다. 다만 이전에는 어떻게 호출해야 할지 몰랐는데 ChatGPT가 그 방법을 알려줬을 뿐입니다. 기술적인 경로는 거의 명확하다고 생각합니다. 학습해야 할 지식에 해당하는 데이터를 가져와서 모델에 학습하도록 제공하기만 하면 됩니다.
앱소: 대형 모델이 정말 사람처럼 세상을 이해할 수 있나요?
류즈위안: 이 모델은 매일 앱을 조작하는 사용자의 행동 습관을 학습하기 때문에 사용자의 선호도를 이해하지 못할 이유가 전혀 없습니다. 예를 들어, 제가 항공편을 예약하려고 하는데 언제 예약하려고 하는지 알려주면 바로 작동하는 식이죠.
그래서 제가 보기에 기술의 방향은 꽤 잘 정해져 있습니다. 데이터, 아키텍처, 성장이라는 세 가지 요소를 어떻게 해결하느냐의 문제일 뿐이며, 저는 이 부분에 대해 좀 더 낙관적으로 생각해야 한다고 생각합니다.
OpenAI는 6년 안에 초지능 회사가 될 것이라고 말하는데, 이는 매우 실현 가능한 목표라고 생각합니다.
앱소: 이전에도 예측한 바 있지만, 미래에는 대부분의 경우 실제로 엔드포인트 쪽에서 충분할 것이라고 생각한다고 하셨죠. 그렇게 되려면 어느 정도까지 발전해야 한다고 생각하시나요?
류즈위안: 사실 엔드사이드 테스트는 아인슈타인 수준으로 만들어야 서비스를 제공할 수 있으며, GPT-4 또는 GPT-4o 수준이면 충분합니다. 엔드 사이드 칩의 지식 밀도가 같은 속도로 향상된다면 향후 2년 내에 GPT-4 레벨을 엔드 테스트에 투입하여 실행할 수 있으며, 그러면 수요의 80% 이상을 엔드 사이드에서 완료할 수 있을 것으로 예상합니다.
...
류지위안: 제가 학생들에게 항상 하는 말은 절대 기득권자가 되지 말라는 것입니다. 이전에 온갖 이점을 누려왔기 때문이 아니라 자신이 혁명을 당했다는 사실을 인정하고 싶지 않을 뿐입니다.
많은 사람들이 자신이 혁명을 당했다는 사실을 인정하지 않으려 합니다. 통계적 기계 번역을 할 때는 신경망 기계 번역의 출현을 인정하지 않으려 했습니다. 인공신경망 기계 번역을 할 때 그는 대형 모델의 출현을 보고 싶지 않았습니다. 자신이 그렇게 잘했던 모든 것들이 더 이상 의미가 없다고 느끼고 인정하고 싶지 않았기 때문입니다.
앱소: 인간의 본성이죠.
LIU Zhiyuan: 99%의 사람은 인간 본성을 가지고 있습니다. 이 일을 하려면 사명감을 가져야 하고, 목표는 인간 본성을 뛰어넘어야 한다고 생각합니다.
...
앱소: 지금 AGI에 대해 이야기하기에는 너무 먼 이야기 아닌가요?
류지위안: 그렇게 생각하지 않습니다. 2022년 말에 ChatGPT가 나오기 전까지 저는 항상 AGI에 해결되지 않은 한 가지 문제가 있다고 생각했는데, 그것은 바로 상식의 문제, 즉 세상에 대한 상식을 어떻게 구축할 것인가 하는 문제였습니다.
예를 들어 오리는 머리 하나, 발 두 개, 날개 두 개, 그런 기본적인 상식이죠. GPT-3.5가 나오기 전에는 이런 지식을 데이터를 통해 배우기가 매우 어려웠다고 생각합니다. 컵을 테이블에서 바닥으로 쓸어내리면 컵이 어떻게 되는지 같은 물리적인 질문도 마찬가지입니다. 대형 모델과 관련된 상식적인 질문을 하면 대답을 못하죠.
ChatGPT가 등장한 이후에는 이러한 모든 상식을 데이터 기반 방식으로 모델이 학습할 수 있다는 것을 알게 되었습니다. 다만 이전에는 어떻게 호출해야 할지 몰랐는데 ChatGPT가 그 방법을 알려줬을 뿐입니다. 기술적인 경로는 거의 명확하다고 생각합니다. 학습해야 할 지식에 해당하는 데이터를 가져와서 모델에 학습하도록 제공하기만 하면 됩니다.
앱소: 대형 모델이 정말 사람처럼 세상을 이해할 수 있나요?
류즈위안: 이 모델은 매일 앱을 조작하는 사용자의 행동 습관을 학습하기 때문에 사용자의 선호도를 이해하지 못할 이유가 전혀 없습니다. 예를 들어, 제가 항공편을 예약하려고 하는데 언제 예약하려고 하는지 알려주면 바로 작동하는 식이죠.
그래서 제가 보기에 기술의 방향은 꽤 잘 정해져 있습니다. 데이터, 아키텍처, 성장이라는 세 가지 요소를 어떻게 해결하느냐의 문제일 뿐이며, 저는 이 부분에 대해 좀 더 낙관적으로 생각해야 한다고 생각합니다.
OpenAI는 6년 안에 초지능 회사가 될 것이라고 말하는데, 이는 매우 실현 가능한 목표라고 생각합니다.
2027초지능