최신논문

지능형 Go-Explore: 거대한 기초모델의 어깨 위에 서기

작성자
ㅇㅇ
작성일
2024-07-04 11:36
조회
486


Go-Explore는 어려운 탐색 문제를 해결하도록 설계된 강력한 알고리즘 제품군으로, 발견된 상태를 보관하고 가장 유망한 상태로 반복적으로 돌아가고 탐색하는 원칙을 기반으로 합니다. 이 접근 방식은 Atari 게임 및 로봇 제어를 비롯한 다양한 까다로운 문제에서 초인적인 성능을 발휘하지만 탐색을 안내하기 위해 경험적 접근 방식을 수동으로 설계해야 하며 이는 일반적으로 시간이 많이 걸리고 실행 불가능합니다. 이 문제를 해결하기 위해 우리는 이러한 휴리스틱을 거대한 기초 모델(FM)이 포착한 지능과 내면화된 인간의 흥미 개념으로 대체하여 원래 Go-Explore의 범위를 크게 확장하는 지능형 Go-Explore(IGE)를 제안합니다. 이를 통해 IGE는 휴리스틱을 정의하기 어려운 복잡한 환경에서도 새로운 상태가 얼마나 흥미롭거나 유망한지(예: 새로운 객체, 위치 또는 동작 발견) 본능적으로 식별할 수 있는 인간과 같은 능력을 제공합니다. 더욱이, IGE는 미리 예측할 수 없었던 뜻밖의 발견을 인식하고 활용할 수 있는 흥미롭고 이전에는 불가능했던 기회를 제공합니다. 우리는 검색과 탐색이 필요한 다양한 언어 기반 작업에 대해 IGE를 평가합니다. 다단계 수학적 추론 문제인 Game of 24에서 IGE는 최고의 클래식 그래프 검색 기준보다 70.8% 빠른 속도로 100% 성공률을 달성했습니다. 다음으로, 부분적으로 관찰 가능한 그리드 세계인 BabyAI-Text에서 IGE는 훨씬 적은 수의 온라인 샘플로 이전 SOTA를 능가합니다. 마지막으로 TextWorld에서는 Reflexion과 같은 이전 SOTA FM 에이전트가 완전히 실패했던 장거리 탐색이 필요한 설정에서 성공할 수 있는 IGE의 독특한 능력을 보여줍니다. 전반적으로 IGE는 FM의 엄청난 강점과 강력한 Go-Explore 알고리즘을 결합하여 인상적인 탐색 기능을 갖춘 보다 일반적으로 유능한 에이전트를 만드는 연구의 새로운 지평을 열었습니다.

 
전체 0