Как обучить text-to-image модель за 21 тысячу долларов: опыт Linum-AI

Создание моделей генерации изображений по текстовому описанию традиционно считается дорогостоящей задачей. Однако проект Linum-AI/pjit-21k демонстрирует, что обучение такой модели может обойтись всего в 21 тысячу долларов.

Как обучить text-to-image модель за 21 тысячу долларов: опыт Linum-AI
Как обучить text-to-image модель за 21 тысячу долларов: опыт Linum-AI

Главное

  • Обучение text-to-image модели обошлось в 21 тысячу долларов.
  • Использованы параллелизм данных и тензорный параллелизм.
  • Синтетические данные снижают затраты на обучение.
  • Модель доступна в открытом репозитории на GitHub.

Создание моделей генерации изображений по текстовому описанию традиционно считается дорогостоящей задачей. Однако проект Linum-AI/pjit-21k демонстрирует, что обучение такой модели может обойтись всего в 21 тысячу долларов. Это стало возможным благодаря использованию оптимизированных подходов к распределённому обучению и эффективному использованию вычислительных ресурсов.

Модель обучалась на архитектуре, основанной на трансформерах, с применением метода параллелизма данных и тензорного параллелизма. Такой подход позволяет масштабировать обучение на множество графических процессоров, снижая затраты на каждый шаг. Вместо использования готовых датасетов, команда применила технику синтетических данных, что дополнительно сократило расходы.

Результат — модель, способная генерировать изображения по текстовым запросам, сопоставимая по качеству с более дорогими аналогами. Проект открыт для сообщества, что позволяет разработчикам воспроизвести эксперимент и адаптировать его под свои задачи. Это важный шаг к демократизации ИИ, делающий передовые технологии доступными для небольших команд и исследователей.

Ключевой вывод: стоимость обучения больших моделей можно существенно снизить за счёт грамотной инженерии и открытых инструментов. Проект также подчёркивает важность обмена опытом в open-source сообществе.

Репозиторий: https://github.com/Linum-AI/pjit-21k