최신논문
Eagle 2: 프론티어 비전-언어 모델을 위한 처음부터 포스트 트레이닝 데이터 전략 구축
작성자
작성일
2025-01-28 15:46
조회
290
https://arxiv.org/abs/2501.14818
최근 오픈소스 비전 언어 모델(VLM)이 독점적 프런티어 모델에 더 가까운 기능을 제공하는 데 있어 유망한 진전이 이루어졌습니다. 그러나 대부분의 오픈소스 모델은 최종 모델 가중치만 게시하여 데이터 전략과 구현의 중요한 세부 사항을 대체로 불투명하게 둡니다. 이 연구에서는 데이터 중심 관점에서 VLM 사후 학습을 다루어 프런티어 VLM을 개발하는 데 있어 데이터 전략의 핵심 역할을 보여줍니다. 사후 학습 데이터 전략을 처음부터 연구하고 구축함으로써 오픈소스 커뮤니티를 위한 경쟁력 있는 모델 개발에 도움이 되는 개발 프로세스에 대한 자세한 통찰력을 공유합니다. 도입된 데이터 전략은 학습 레시피와 모델 설계와 함께 Eagle2라는 성능이 뛰어난 VLM 제품군으로 이어집니다. 구체적으로 Eagle2-9B는 다양한 멀티모달 벤치마크에서 최첨단 결과를 달성하여 특정 경쟁 모델을 최대 70B 매개변수와 일치시킵니다.
최근 오픈소스 비전 언어 모델(VLM)이 독점적 프런티어 모델에 더 가까운 기능을 제공하는 데 있어 유망한 진전이 이루어졌습니다. 그러나 대부분의 오픈소스 모델은 최종 모델 가중치만 게시하여 데이터 전략과 구현의 중요한 세부 사항을 대체로 불투명하게 둡니다. 이 연구에서는 데이터 중심 관점에서 VLM 사후 학습을 다루어 프런티어 VLM을 개발하는 데 있어 데이터 전략의 핵심 역할을 보여줍니다. 사후 학습 데이터 전략을 처음부터 연구하고 구축함으로써 오픈소스 커뮤니티를 위한 경쟁력 있는 모델 개발에 도움이 되는 개발 프로세스에 대한 자세한 통찰력을 공유합니다. 도입된 데이터 전략은 학습 레시피와 모델 설계와 함께 Eagle2라는 성능이 뛰어난 VLM 제품군으로 이어집니다. 구체적으로 Eagle2-9B는 다양한 멀티모달 벤치마크에서 최첨단 결과를 달성하여 특정 경쟁 모델을 최대 70B 매개변수와 일치시킵니다.
전체 0