최신논문
연속 시간 일관성 모델의 단순화, 안정화 및 확장
작성자
작성일
2024-10-16 21:04
조회
546
https://arxiv.org/abs/2410.11081
일관성 모델(CM)은 빠른 샘플링에 최적화된 강력한 확산 기반 생성 모델 클래스입니다. 대부분의 기존 CM은 이산화된 시간 단계를 사용하여 학습되며, 이는 추가적인 하이퍼 매개변수를 도입하고 이산화 오류가 발생하기 쉽습니다. 연속 시간 공식화는 이러한 문제를 완화할 수 있지만, 학습 불안정성으로 인해 성공이 제한되었습니다. 이를 해결하기 위해 우리는 확산 모델과 CM의 이전 매개변수화를 통합하여 불안정성의 근본 원인을 식별하는 단순화된 이론적 프레임워크를 제안합니다. 이 분석을 기반으로 확산 프로세스 매개변수화, 네트워크 아키텍처 및 학습 목표에 대한 주요 개선 사항을 소개합니다. 이러한 변경을 통해 ImageNet 512x512에서 1.5B 매개변수에 도달하는 전례 없는 규모로 연속 시간 CM을 학습할 수 있습니다. 제안된 학습 알고리즘은 두 개의 샘플링 단계만 사용하여 CIFAR-10에서는 2.06, ImageNet 64x64에서는 1.48, ImageNet 512x512에서는 1.88의 FID 점수를 달성하여 기존 최고의 확산 모델과의 FID 점수 격차를 10% 이내로 줄였습니다.
일관성 모델(CM)은 빠른 샘플링에 최적화된 강력한 확산 기반 생성 모델 클래스입니다. 대부분의 기존 CM은 이산화된 시간 단계를 사용하여 학습되며, 이는 추가적인 하이퍼 매개변수를 도입하고 이산화 오류가 발생하기 쉽습니다. 연속 시간 공식화는 이러한 문제를 완화할 수 있지만, 학습 불안정성으로 인해 성공이 제한되었습니다. 이를 해결하기 위해 우리는 확산 모델과 CM의 이전 매개변수화를 통합하여 불안정성의 근본 원인을 식별하는 단순화된 이론적 프레임워크를 제안합니다. 이 분석을 기반으로 확산 프로세스 매개변수화, 네트워크 아키텍처 및 학습 목표에 대한 주요 개선 사항을 소개합니다. 이러한 변경을 통해 ImageNet 512x512에서 1.5B 매개변수에 도달하는 전례 없는 규모로 연속 시간 CM을 학습할 수 있습니다. 제안된 학습 알고리즘은 두 개의 샘플링 단계만 사용하여 CIFAR-10에서는 2.06, ImageNet 64x64에서는 1.48, ImageNet 512x512에서는 1.88의 FID 점수를 달성하여 기존 최고의 확산 모델과의 FID 점수 격차를 10% 이내로 줄였습니다.
전체 0