Как обучить text-to-image модель за 21 тысячу долларов: опыт Linum-AI
Создание моделей генерации изображений по текстовому описанию традиционно считается дорогостоящей задачей. Однако проект Linum-AI/pjit-21k демонстрирует, что обучение такой модели может обойтись всего в 21 тысячу долларов.
Главное
- Обучение text-to-image модели обошлось в 21 тысячу долларов.
- Использованы параллелизм данных и тензорный параллелизм.
- Синтетические данные снижают затраты на обучение.
- Модель доступна в открытом репозитории на GitHub.
Создание моделей генерации изображений по текстовому описанию традиционно считается дорогостоящей задачей. Однако проект Linum-AI/pjit-21k демонстрирует, что обучение такой модели может обойтись всего в 21 тысячу долларов. Это стало возможным благодаря использованию оптимизированных подходов к распределённому обучению и эффективному использованию вычислительных ресурсов.
Модель обучалась на архитектуре, основанной на трансформерах, с применением метода параллелизма данных и тензорного параллелизма. Такой подход позволяет масштабировать обучение на множество графических процессоров, снижая затраты на каждый шаг. Вместо использования готовых датасетов, команда применила технику синтетических данных, что дополнительно сократило расходы.
Результат — модель, способная генерировать изображения по текстовым запросам, сопоставимая по качеству с более дорогими аналогами. Проект открыт для сообщества, что позволяет разработчикам воспроизвести эксперимент и адаптировать его под свои задачи. Это важный шаг к демократизации ИИ, делающий передовые технологии доступными для небольших команд и исследователей.
Ключевой вывод: стоимость обучения больших моделей можно существенно снизить за счёт грамотной инженерии и открытых инструментов. Проект также подчёркивает важность обмена опытом в open-source сообществе.
Репозиторий: https://github.com/Linum-AI/pjit-21k