https://arxiv.org/abs/2312.13771

대규모 언어 모델(LLM)의 최근 발전으로 복잡한 작업을 수행할 수 있는 지능형 에이전트가 만들어졌습니다. 이 논문에서는 스마트폰 애플리케이션을 작동하도록 설계된 새로운 LLM 기반 멀티모달 에이전트 프레임워크를 소개합니다. 저희 프레임워크를 사용하면 에이전트가 탭핑 및 스와이프와 같은 인간과 유사한 상호 작용을 모방하여 단순화된 작업 공간을 통해 스마트폰 애플리케이션을 작동할 수 있습니다. 이 새로운 접근 방식은 시스템 백엔드 액세스가 필요 없으므로 다양한 앱에 적용 가능성이 확대됩니다. 저희 에이전트의 기능의 핵심은 혁신적인 학습 방법입니다. 에이전트는 자율 탐색을 통해 또는 인간 시범을 관찰하여 새로운 앱을 탐색하고 사용하는 방법을 학습합니다. 이 프로세스는 에이전트가 다양한 애플리케이션에서 복잡한 작업을 실행하기 위해 참조하는 지식 기반을 생성합니다. 저희 에이전트의 실용성을 보여주기 위해 소셜 미디어, 이메일, 지도, 쇼핑, 정교한 이미지 편집 도구를 포함한 10개의 다른 애플리케이션에서 50개 이상의 작업에 대한 광범위한 테스트를 수행했습니다. 결과는 저희 에이전트가 다양한 고수준 작업을 처리하는 데 능숙하다는 것을 확인합니다.