최신논문
고밀도 비전 작업을 위한 확산 기반 일반주의자를 향하여
작성자
작성일
2024-07-02 11:59
조회
325
https://arxiv.org/abs/2407.00503
동시에 여러 컴퓨터 비전 작업을 해결할 수 있는 일반화된 모델을 구축하는 것은 흥미로운 방향입니다. 최근 연구에서는 이미지 자체가 일반적인 목적의 시각적 인식을 위한 자연스러운 인터페이스로 사용될 수 있음을 보여주었고 고무적인 결과를 보여주었습니다. 이 논문에서는 확산 기반 비전 일반주의자를 탐구하는데, 여기서 우리는 다양한 유형의 고밀도 예측 작업을 조건부 이미지 생성으로 통합하고 이를 위해 사전 학습된 확산 모델을 재활용합니다. 그러나 기성품 잠재 확산 모델을 직접 적용하면 양자화 문제가 발생합니다. 따라서 우리는 픽셀 공간에서 확산을 수행하고 고밀도 비전 작업을 위해 사전 학습된 텍스트-이미지 확산 모델을 미세 조정하기 위한 방법을 제공합니다. 실험에서 우리는 네 가지 유형의 작업에 대해 우리의 방법을 평가하고 다른 비전 일반주의자와 경쟁력 있는 성능을 보여줍니다.
동시에 여러 컴퓨터 비전 작업을 해결할 수 있는 일반화된 모델을 구축하는 것은 흥미로운 방향입니다. 최근 연구에서는 이미지 자체가 일반적인 목적의 시각적 인식을 위한 자연스러운 인터페이스로 사용될 수 있음을 보여주었고 고무적인 결과를 보여주었습니다. 이 논문에서는 확산 기반 비전 일반주의자를 탐구하는데, 여기서 우리는 다양한 유형의 고밀도 예측 작업을 조건부 이미지 생성으로 통합하고 이를 위해 사전 학습된 확산 모델을 재활용합니다. 그러나 기성품 잠재 확산 모델을 직접 적용하면 양자화 문제가 발생합니다. 따라서 우리는 픽셀 공간에서 확산을 수행하고 고밀도 비전 작업을 위해 사전 학습된 텍스트-이미지 확산 모델을 미세 조정하기 위한 방법을 제공합니다. 실험에서 우리는 네 가지 유형의 작업에 대해 우리의 방법을 평가하고 다른 비전 일반주의자와 경쟁력 있는 성능을 보여줍니다.
전체 0