https://arxiv.org/abs/2412.03555

PaliGemma 2는 Gemma 2 언어 모델 패밀리를 기반으로 하는 PaliGemma 오픈 비전-언어 모델(VLM)의 업그레이드 버전입니다. PaliGemma에서도 사용했던 SigLIP-So400m 비전 인코더를 2B 모델부터 27B 모델까지 모든 Gemma 2 모델과 결합했습니다. 이러한 모델을 여러 단계로 세 가지 해상도(224px, 448px, 896px)로 학습하여 미세 조정을 통해 전송할 수 있는 광범위한 지식을 제공합니다. 다양한 모델 크기와 해상도를 포함하는 기본 모델 패밀리를 통해 전송 성능에 영향을 미치는 요소(예: 학습률)를 조사하고 작업 유형, 모델 크기, 해상도 간의 상호 작용을 분석할 수 있습니다. PaliGemma의 범위를 넘어서는 전송 작업의 수와 범위를 더욱 확대합니다. 여기에는 표 구조 인식, 분자 구조 인식, 악보 인식과 같은 다양한 OCR 관련 작업은 물론, 길고 세부적인 캡션 및 방사선 보고서 생성까지 포함되며, PaliGemma 2는 이러한 작업에서 최첨단 결과를 얻습니다.