Как снять ограничение порядка генерации в autoregressive-моделях изображений

Авторегрессионные (AR) генераторы изображений теоретически мощны, но на практике негибки: обучение с фиксированным растровым порядком токенов закрепляет в модели единственный способ факторизации распределения изображений, лишая её возможности инпейнтинга, аутпейнтинга или…

Как снять ограничение порядка генерации в autoregressive-моделях изображений
Как снять ограничение порядка генерации в autoregressive-моделях изображений

Главное

  • AR-модели с фиксированным порядком не умеют инпейнтинг и редактирование.
  • Новый метод адаптирует готовые модели без полного переобучения.
  • Снижение вычислительных затрат в 3 раза по сравнению с обучением с нуля.
  • Сохраняется качество генерации при добавлении гибкости порядка.

Авторегрессионные (AR) генераторы изображений теоретически мощны, но на практике негибки: обучение с фиксированным растровым порядком токенов закрепляет в модели единственный способ факторизации распределения изображений, лишая её возможности инпейнтинга, аутпейнтинга или редактирования на этапе инференса. Существующие решения, включая современное семейство дискретной диффузии, обучаются с нуля на смеси порядков токенов, что требует примерно втрое больше вычислений, чем стандартное растровое обучение; дискретная диффузия дополнительно жертвует качеством генерации.

Новый подход позволяет адаптировать уже обученные AR-модели к генерации в произвольном порядке без повторного обучения с нуля. Вместо того чтобы переучивать модель на всех возможных порядках, авторы предлагают метод, который перенастраивает веса существующей модели, сохраняя её исходные знания. Это снижает вычислительные затраты и открывает путь к использованию готовых AR-моделей для задач, требующих гибкого порядка генерации, таких как редактирование изображений по маске или дорисовывание недостающих частей.

Технически метод основан на дообучении модели с использованием стратегии, которая имитирует различные порядки генерации, но делает это эффективно, не требуя полного переобучения. Эксперименты показывают, что адаптированная модель сохраняет качество генерации, сравнимое с исходной, и при этом приобретает новые возможности. Это значительный шаг к универсальным генеративным моделям, которые могут быть гибко применены к различным задачам без потери производительности.