https://arxiv.org/abs/2401.08525

AI 커뮤니티가 점점 더 대규모 모델을 채택함에 따라, 이를 통합하기 위한 일반적이고 유연한 도구를 개발하는 것이 중요합니다. 우리는 훈련 가능한 모델과 동결된 모델을 모두 갖춘 사전 훈련된 기초 모델을 더 큰 멀티모달 네트워크로 원활하게 결합할 수 있는 새로운 모듈인 Gather-Attend-Scatter(GATS)를 소개합니다. GATS는 AI 시스템이 다양한 속도로 여러 모달리티에서 정보를 처리하고 생성할 수 있도록 지원합니다. 기존의 미세 조정과 달리 GATS는 원래 구성 요소 모델을 동결 상태로 유지하여 사전 훈련 단계에서 습득한 중요한 지식을 잃을 위험을 방지합니다. 우리는 게임, 로봇 공학 및 멀티모달 입출력 시스템에서 몇 가지 실험을 통해 GATS의 유용성과 다양성을 보여줍니다.