뉴스/정보
OpenAI, 코드명 'Strawberry'로 새로운 추론 기술 개발 중
작성자
ㅇㅇ
작성일
2024-07-13 09:33
조회
1591
https://www.reuters.com/technology/artificial-intelligence/openai-working-new-reasoning-technology-under-code-name-strawberry-2024-07-12/
5월에 Reuters가 확인한 최근 OpenAI 내부 문서 사본에 따르면 OpenAI 내부 팀이 Strawberry를 개발하고 있습니다. Reuters는 OpenAI가 Strawberry를 사용하여 연구를 수행하는 방법에 대한 계획을 자세히 설명하는 문서의 정확한 날짜를 확인할 수 없었습니다. 소식통은 Reuters에 이 계획을 진행 중인 작업이라고 설명했습니다. 이 통신사는 Strawberry가 대중에게 공개되기까지 얼마나 가까운지 확인할 수 없었습니다
그 사람은 OpenAI 내부에서도 Strawberry의 작동 원리는 철저히 비밀로 유지된다고 말했습니다.
출처에 따르면, 이 문서에서는 Strawberry 모델을 사용하여 회사의 AI가 질의에 대한 답변을 생성할 뿐만 아니라 인터넷을 자율적이고 안정적으로 탐색하여 OpenAI가 "심층 연구"라고 부르는 작업을 수행할 수 있을 만큼 미리 계획할 수 있도록 하는 프로젝트를 설명합니다.
12명 이상의 AI 연구자와의 인터뷰에 따르면, 이런 문제는 지금까지 AI 모델이 해결하지 못한 문제입니다.
Strawberry와 이 기사에서 보도된 세부 정보에 대해 질문을 받은 OpenAI 회사 대변인은 성명을 통해 "우리는 AI 모델이 우리처럼 세상을 보고 이해하기를 바랍니다. 새로운 AI 기능에 대한 지속적인 연구는 업계에서 일반적인 관행이며, 이러한 시스템은 시간이 지남에 따라 추론이 개선될 것이라는 공통된 믿음이 있습니다."라고 말했습니다.
대변인은 딸기에 관한 질문에 직접적으로 대답하지 않았습니다.
스트로베리 프로젝트는 이전에 Q*로 알려져 있었는데, 로이터는 작년에 이를 회사 내부에서 획기적인 사건으로 간주했다고 보도했습니다.
올해 초에 OpenAI 직원들이 Q* 데모라고 알려준 것을 두 출처에서 보았는데, 오늘날 상업적으로 이용 가능한 모델에서는 도달하기 어려운 까다로운 과학 및 수학 문제에 답할 수 있다고 했습니다.
블룸버그에 따르면 OpenAI는 화요일에 열린 전체 내부 회의에서 새로운 인간과 유사한 추론 기술을 보유하고 있다고 주장하는 연구 프로젝트 데모를 보여주었습니다., 새 탭을 엽니다. OpenAI 대변인은 회의를 확인했지만 내용에 대한 자세한 내용은 밝히지 않았습니다. Reuters는 시연된 프로젝트가 Strawberry인지 확인할 수 없었습니다.
OpenAI는 이 혁신을 통해 AI 모델의 추론 능력이 획기적으로 향상되기를 기대하고 있으며, Strawberry에는 매우 큰 데이터 세트로 사전 학습된 AI 모델을 처리하는 특수한 방법이 포함되어 있다고 관계자는 말했습니다.
로이터가 인터뷰한 연구자들은 AI가 인간 또는 초인간 수준의 지능을 달성하는 데는 추론 능력이 핵심이라고 말했습니다.
대규모 언어 모델은 이미 모든 인간보다 훨씬 더 빠르게 복잡한 텍스트를 요약하고 우아한 산문을 구성할 수 있지만, 이 기술은 종종 논리적 오류를 인식하고 틱택토를 하는 것과 같이 사람들에게 직관적으로 보이는 해결책을 가진 상식적인 문제에는 미치지 못합니다. 이 모델이 이런 종류의 문제에 부딪히면 종종 허위 정보를 "환각"합니다.
로이터가 인터뷰한 AI 연구자들은 AI의 맥락에서 추론이란 AI가 미리 계획을 세우고, 물리적 세계가 어떻게 기능하는지 반영하고, 어려운 다단계 문제를 신뢰성 있게 해결할 수 있는 모델을 형성하는 것을 의미한다는 데 전반적으로 동의한다.
AI 모델의 추론 능력을 향상시키는 것은 주요 과학적 발견에서부터 새로운 소프트웨어 애플리케이션의 계획 및 구축에 이르기까지 모델이 모든 것을 수행할 수 있는 능력을 키우는 열쇠로 여겨진다.
OpenAI CEO Sam Altman은 올해 초에 다음과 같이 말했습니다., 새 탭을 엽니다AI에서 "가장 중요한 진보 분야는 추론 능력"이 될 것이라고 말했습니다.
Google, Meta, Microsoft와 같은 다른 회사들도 마찬가지로 AI 모델의 추론을 개선하기 위해 다양한 기술을 실험하고 있으며, AI 연구를 수행하는 대부분의 학술 연구실도 마찬가지입니다. 그러나 연구자들은 대규모 언어 모델(LLM)이 예측을 수행하는 방법에 아이디어와 장기 계획을 통합할 수 있는지에 대해 의견이 다릅니다. 예를 들어, Meta에서 일하는 현대 AI의 선구자 중 한 명인 Yann LeCun은 LLM이 인간과 같은 추론을 할 수 없다고 자주 말했습니다.
AI의 과제
Strawberry는 OpenAI가 이러한 과제를 극복하기 위한 계획의 핵심 구성 요소라고 이 문제에 정통한 소식통이 말했습니다. Reuters가 확인한 문서에는 Strawberry가 무엇을 가능하게 하려는지 설명되어 있지만 어떻게 하려는지는 설명되어 있지 않습니다.
최근 몇 달 동안 이 회사는 개발자와 다른 외부 당사자에게 상당히 진보된 추론 기능을 갖춘 기술을 출시할 시점에 있다는 신호를 비공개적으로 보내고 있다고 회사의 피치를 들은 네 사람이 말했습니다. 그들은 개인적인 문제에 대해 말할 권한이 없기 때문에 신원을 밝히기를 거부했습니다.
소식통 중 한 명은 스트로베리에는 OpenAI의 생성 AI 모델을 "사후 학습"하는 전문적인 방법이 포함되어 있다고 말했습니다. 즉, 일반화된 데이터로 이미 "학습"된 기본 모델을 특정 방식으로 성능을 다듬기 위해 조정하는 것입니다.
모델을 개발하는 훈련 후 단계에는 "미세 조정"과 같은 방법이 포함됩니다. 이는 오늘날 거의 모든 언어 모델에 사용되는 프로세스로, 인간이 모델의 응답에 따라 모델에 피드백을 제공하고 좋은 답변과 나쁜 답변의 예를 입력하는 등 여러 가지 유형이 있습니다.
Strawberry는 2022년 스탠포드에서 개발된 "Self-Taught Reasoner" 또는 "STaR"이라는 방법과 유사하다고 이 문제에 대한 지식이 있는 소식통 중 한 명이 말했습니다. STaR은 AI 모델이 반복적으로 자체 교육 데이터를 생성하여 더 높은 지능 수준으로 "부트스트랩"할 수 있게 하며, 이론적으로는 언어 모델이 인간 수준의 지능을 초월하도록 하는 데 사용될 수 있다고 개발자 중 한 명인 스탠포드 교수 노아 굿맨이 Reuters에 말했습니다.
"저는 그것이 신나는 동시에 두려운 일이라고 생각합니다... 만약 일이 그 방향으로 계속된다면 우리는 인간으로서 생각해야 할 심각한 일들이 있습니다." 굿맨이 말했다. 굿맨은 OpenAI와 제휴하지 않았고 Strawberry에 대해 잘 모른다.
첫 번째 소식통은 OpenAI가 Strawberry에게 목표로 하는 기능 중 하나는 장기 작업(LHT)을 수행하는 것이라고 문서에 적혀 있는데, 이는 모델이 미리 계획하고 장기간에 걸쳐 일련의 작업을 수행해야 하는 복잡한 작업을 말한다고 설명했습니다.
이를 위해 OpenAI는 OpenAI 내부 문서에 따르면 회사가 "심층 연구" 데이터 세트라고 부르는 모델을 만들고, 훈련하고, 평가하고 있습니다. Reuters는 해당 데이터 세트에 무엇이 들어 있는지 또는 장기간이 얼마나 긴지 확인할 수 없었습니다.
문서와 출처 중 하나에 따르면, OpenAI는 특히 자사 모델이 이러한 기능을 사용하여 "CUA" 또는 컴퓨터를 사용하는 에이전트의 도움을 받아 자율적으로 웹을 탐색하여 연구를 수행하기를 원하며, 해당 에이전트는 결과에 따라 조치를 취할 수 있다고 합니다. OpenAI는 또한 소프트웨어 및 머신 러닝 엔지니어의 작업을 수행하는 기능을 테스트할 계획입니다.
5월에 Reuters가 확인한 최근 OpenAI 내부 문서 사본에 따르면 OpenAI 내부 팀이 Strawberry를 개발하고 있습니다. Reuters는 OpenAI가 Strawberry를 사용하여 연구를 수행하는 방법에 대한 계획을 자세히 설명하는 문서의 정확한 날짜를 확인할 수 없었습니다. 소식통은 Reuters에 이 계획을 진행 중인 작업이라고 설명했습니다. 이 통신사는 Strawberry가 대중에게 공개되기까지 얼마나 가까운지 확인할 수 없었습니다
그 사람은 OpenAI 내부에서도 Strawberry의 작동 원리는 철저히 비밀로 유지된다고 말했습니다.
출처에 따르면, 이 문서에서는 Strawberry 모델을 사용하여 회사의 AI가 질의에 대한 답변을 생성할 뿐만 아니라 인터넷을 자율적이고 안정적으로 탐색하여 OpenAI가 "심층 연구"라고 부르는 작업을 수행할 수 있을 만큼 미리 계획할 수 있도록 하는 프로젝트를 설명합니다.
12명 이상의 AI 연구자와의 인터뷰에 따르면, 이런 문제는 지금까지 AI 모델이 해결하지 못한 문제입니다.
Strawberry와 이 기사에서 보도된 세부 정보에 대해 질문을 받은 OpenAI 회사 대변인은 성명을 통해 "우리는 AI 모델이 우리처럼 세상을 보고 이해하기를 바랍니다. 새로운 AI 기능에 대한 지속적인 연구는 업계에서 일반적인 관행이며, 이러한 시스템은 시간이 지남에 따라 추론이 개선될 것이라는 공통된 믿음이 있습니다."라고 말했습니다.
대변인은 딸기에 관한 질문에 직접적으로 대답하지 않았습니다.
스트로베리 프로젝트는 이전에 Q*로 알려져 있었는데, 로이터는 작년에 이를 회사 내부에서 획기적인 사건으로 간주했다고 보도했습니다.
올해 초에 OpenAI 직원들이 Q* 데모라고 알려준 것을 두 출처에서 보았는데, 오늘날 상업적으로 이용 가능한 모델에서는 도달하기 어려운 까다로운 과학 및 수학 문제에 답할 수 있다고 했습니다.
블룸버그에 따르면 OpenAI는 화요일에 열린 전체 내부 회의에서 새로운 인간과 유사한 추론 기술을 보유하고 있다고 주장하는 연구 프로젝트 데모를 보여주었습니다., 새 탭을 엽니다. OpenAI 대변인은 회의를 확인했지만 내용에 대한 자세한 내용은 밝히지 않았습니다. Reuters는 시연된 프로젝트가 Strawberry인지 확인할 수 없었습니다.
OpenAI는 이 혁신을 통해 AI 모델의 추론 능력이 획기적으로 향상되기를 기대하고 있으며, Strawberry에는 매우 큰 데이터 세트로 사전 학습된 AI 모델을 처리하는 특수한 방법이 포함되어 있다고 관계자는 말했습니다.
로이터가 인터뷰한 연구자들은 AI가 인간 또는 초인간 수준의 지능을 달성하는 데는 추론 능력이 핵심이라고 말했습니다.
대규모 언어 모델은 이미 모든 인간보다 훨씬 더 빠르게 복잡한 텍스트를 요약하고 우아한 산문을 구성할 수 있지만, 이 기술은 종종 논리적 오류를 인식하고 틱택토를 하는 것과 같이 사람들에게 직관적으로 보이는 해결책을 가진 상식적인 문제에는 미치지 못합니다. 이 모델이 이런 종류의 문제에 부딪히면 종종 허위 정보를 "환각"합니다.
로이터가 인터뷰한 AI 연구자들은 AI의 맥락에서 추론이란 AI가 미리 계획을 세우고, 물리적 세계가 어떻게 기능하는지 반영하고, 어려운 다단계 문제를 신뢰성 있게 해결할 수 있는 모델을 형성하는 것을 의미한다는 데 전반적으로 동의한다.
AI 모델의 추론 능력을 향상시키는 것은 주요 과학적 발견에서부터 새로운 소프트웨어 애플리케이션의 계획 및 구축에 이르기까지 모델이 모든 것을 수행할 수 있는 능력을 키우는 열쇠로 여겨진다.
OpenAI CEO Sam Altman은 올해 초에 다음과 같이 말했습니다., 새 탭을 엽니다AI에서 "가장 중요한 진보 분야는 추론 능력"이 될 것이라고 말했습니다.
Google, Meta, Microsoft와 같은 다른 회사들도 마찬가지로 AI 모델의 추론을 개선하기 위해 다양한 기술을 실험하고 있으며, AI 연구를 수행하는 대부분의 학술 연구실도 마찬가지입니다. 그러나 연구자들은 대규모 언어 모델(LLM)이 예측을 수행하는 방법에 아이디어와 장기 계획을 통합할 수 있는지에 대해 의견이 다릅니다. 예를 들어, Meta에서 일하는 현대 AI의 선구자 중 한 명인 Yann LeCun은 LLM이 인간과 같은 추론을 할 수 없다고 자주 말했습니다.
AI의 과제
Strawberry는 OpenAI가 이러한 과제를 극복하기 위한 계획의 핵심 구성 요소라고 이 문제에 정통한 소식통이 말했습니다. Reuters가 확인한 문서에는 Strawberry가 무엇을 가능하게 하려는지 설명되어 있지만 어떻게 하려는지는 설명되어 있지 않습니다.
최근 몇 달 동안 이 회사는 개발자와 다른 외부 당사자에게 상당히 진보된 추론 기능을 갖춘 기술을 출시할 시점에 있다는 신호를 비공개적으로 보내고 있다고 회사의 피치를 들은 네 사람이 말했습니다. 그들은 개인적인 문제에 대해 말할 권한이 없기 때문에 신원을 밝히기를 거부했습니다.
소식통 중 한 명은 스트로베리에는 OpenAI의 생성 AI 모델을 "사후 학습"하는 전문적인 방법이 포함되어 있다고 말했습니다. 즉, 일반화된 데이터로 이미 "학습"된 기본 모델을 특정 방식으로 성능을 다듬기 위해 조정하는 것입니다.
모델을 개발하는 훈련 후 단계에는 "미세 조정"과 같은 방법이 포함됩니다. 이는 오늘날 거의 모든 언어 모델에 사용되는 프로세스로, 인간이 모델의 응답에 따라 모델에 피드백을 제공하고 좋은 답변과 나쁜 답변의 예를 입력하는 등 여러 가지 유형이 있습니다.
Strawberry는 2022년 스탠포드에서 개발된 "Self-Taught Reasoner" 또는 "STaR"이라는 방법과 유사하다고 이 문제에 대한 지식이 있는 소식통 중 한 명이 말했습니다. STaR은 AI 모델이 반복적으로 자체 교육 데이터를 생성하여 더 높은 지능 수준으로 "부트스트랩"할 수 있게 하며, 이론적으로는 언어 모델이 인간 수준의 지능을 초월하도록 하는 데 사용될 수 있다고 개발자 중 한 명인 스탠포드 교수 노아 굿맨이 Reuters에 말했습니다.
"저는 그것이 신나는 동시에 두려운 일이라고 생각합니다... 만약 일이 그 방향으로 계속된다면 우리는 인간으로서 생각해야 할 심각한 일들이 있습니다." 굿맨이 말했다. 굿맨은 OpenAI와 제휴하지 않았고 Strawberry에 대해 잘 모른다.
첫 번째 소식통은 OpenAI가 Strawberry에게 목표로 하는 기능 중 하나는 장기 작업(LHT)을 수행하는 것이라고 문서에 적혀 있는데, 이는 모델이 미리 계획하고 장기간에 걸쳐 일련의 작업을 수행해야 하는 복잡한 작업을 말한다고 설명했습니다.
이를 위해 OpenAI는 OpenAI 내부 문서에 따르면 회사가 "심층 연구" 데이터 세트라고 부르는 모델을 만들고, 훈련하고, 평가하고 있습니다. Reuters는 해당 데이터 세트에 무엇이 들어 있는지 또는 장기간이 얼마나 긴지 확인할 수 없었습니다.
문서와 출처 중 하나에 따르면, OpenAI는 특히 자사 모델이 이러한 기능을 사용하여 "CUA" 또는 컴퓨터를 사용하는 에이전트의 도움을 받아 자율적으로 웹을 탐색하여 연구를 수행하기를 원하며, 해당 에이전트는 결과에 따라 조치를 취할 수 있다고 합니다. OpenAI는 또한 소프트웨어 및 머신 러닝 엔지니어의 작업을 수행하는 기능을 테스트할 계획입니다.
전체 0