최신논문
OS-Copilot: 자기 개선을 통한 일반 컴퓨터 에이전트를 향하여
작성자
작성일
2024-07-04 00:45
조회
368
https://arxiv.org/abs/2402.07456
컴퓨터와의 자율적 상호작용은 큰 잠재력을 지닌 오랜 과제였으며, 최근 대규모 언어 모델(LLM)의 확산으로 디지털 에이전트 구축의 진전이 현저히 가속화되었습니다. 그러나 이러한 에이전트의 대부분은 특정 소프트웨어나 웹사이트와 같은 좁은 영역과 상호작용하도록 설계되었습니다. 이러한 좁은 초점은 일반적인 컴퓨터 작업에 대한 적용 가능성을 제한합니다. 이를 위해 OS-Copilot을 소개합니다. 이는 웹, 코드 터미널, 파일, 멀티미디어 및 다양한 타사 애플리케이션을 포함하여 운영 체제(OS)의 포괄적인 요소와 인터페이스할 수 있는 범용 에이전트를 구축하는 프레임워크입니다. OS-Copilot을 사용하여 일반적인 컴퓨터 작업을 자동화하기 위한 자체 개선형 구현 에이전트인 FRIDAY를 만듭니다. 일반적인 AI 보조 벤치마크인 GAIA에서 FRIDAY는 이전 방법보다 35% 더 우수한 성능을 보이며 이전 작업에서 축적된 기술을 통해 보이지 않는 애플리케이션에 대한 강력한 일반화를 보여줍니다. 또한 FRIDAY가 최소한의 감독으로 Excel 및 Powerpoint를 제어하고 자체 개선하는 방법을 학습한다는 수치적 및 정량적 증거를 제시합니다. 우리의 OS-Copilot 프레임워크와 실증적 결과는 더욱 유능하고 범용적인 컴퓨터 에이전트에 대한 미래 연구를 위한 인프라와 통찰력을 제공합니다.
컴퓨터와의 자율적 상호작용은 큰 잠재력을 지닌 오랜 과제였으며, 최근 대규모 언어 모델(LLM)의 확산으로 디지털 에이전트 구축의 진전이 현저히 가속화되었습니다. 그러나 이러한 에이전트의 대부분은 특정 소프트웨어나 웹사이트와 같은 좁은 영역과 상호작용하도록 설계되었습니다. 이러한 좁은 초점은 일반적인 컴퓨터 작업에 대한 적용 가능성을 제한합니다. 이를 위해 OS-Copilot을 소개합니다. 이는 웹, 코드 터미널, 파일, 멀티미디어 및 다양한 타사 애플리케이션을 포함하여 운영 체제(OS)의 포괄적인 요소와 인터페이스할 수 있는 범용 에이전트를 구축하는 프레임워크입니다. OS-Copilot을 사용하여 일반적인 컴퓨터 작업을 자동화하기 위한 자체 개선형 구현 에이전트인 FRIDAY를 만듭니다. 일반적인 AI 보조 벤치마크인 GAIA에서 FRIDAY는 이전 방법보다 35% 더 우수한 성능을 보이며 이전 작업에서 축적된 기술을 통해 보이지 않는 애플리케이션에 대한 강력한 일반화를 보여줍니다. 또한 FRIDAY가 최소한의 감독으로 Excel 및 Powerpoint를 제어하고 자체 개선하는 방법을 학습한다는 수치적 및 정량적 증거를 제시합니다. 우리의 OS-Copilot 프레임워크와 실증적 결과는 더욱 유능하고 범용적인 컴퓨터 에이전트에 대한 미래 연구를 위한 인프라와 통찰력을 제공합니다.
전체 0