최신논문
MLR-Copilot: 대규모 언어 모델 에이전트 기반 자율 머신 러닝 연구
작성자
작성일
2024-09-01 15:29
조회
1212
기술 발전과 혁신에 필수적인 머신 러닝 연구는 종종 본질적인 복잡성, 느린 실험 속도, 전문 지식의 필요성으로 인해 상당한 어려움에 직면합니다. 이를 바탕으로 대규모 언어 모델(MLR-Copilot)을 사용한 자율적 머신 러닝 연구라는 새로운 체계적 프레임워크를 제시합니다. 이 프레임워크는 대규모 언어 모델(LLM) 에이전트를 사용하여 연구 아이디어를 자동으로 생성하고 구현하여 머신 러닝 연구 생산성을 향상하도록 설계되었습니다. 이 프레임워크는 연구 아이디어 생성, 실험 구현, 구현 실행의 세 단계로 구성됩니다. 먼저 기존 연구 논문을 사용하여 LLM으로 구동되는 IdeaAgent에서 가설과 실험 계획을 생성합니다. 다음으로 구현 생성 단계에서는 이러한 계획을 ExperimentAgent를 사용하여 실행 파일로 변환합니다. 이 단계에서는 검색된 프로토타입 코드를 활용하고 선택적으로 후보 모델과 데이터를 검색합니다. 마지막으로 역시 ExperimentAgent에서 관리하는 실행 단계에서는 실행 가능한 연구 결과를 달성할 가능성을 높이기 위해 인간 피드백과 반복적 디버깅을 위한 메커니즘을 사용하여 실험을 실행합니다. 우리는 5가지 머신 러닝 연구 과제에 대한 프레임워크를 평가하고 실험 결과는 프레임워크가 연구 진행과 혁신을 촉진할 수 있는 잠재력이 있음을 보여줍니다.
전체 0