Maxwell: новый инструмент ускоряет ИИ-модели, переписывая их бинарный код

Исследователи представили Maxwell — инструмент, который ускоряет работу таких моделей, как Whisper и LTX-2, не изменяя их архитектуру. Вместо традиционного подхода, требующего переобучения или изменения исходного кода, Maxwell анализирует готовые бинарные файлы моделей и…

Maxwell: новый инструмент ускоряет ИИ-модели, переписывая их бинарный код
Maxwell: новый инструмент ускоряет ИИ-модели, переписывая их бинарный код

Главное

  • Maxwell ускоряет Whisper и LTX-2 без изменения архитектуры моделей
  • Инструмент переписывает бинарный код, оптимизируя машинные инструкции
  • Подход работает с закрытыми и скомпилированными моделями
  • Проект открыт для изучения и адаптации под свои задачи
  • Ускорение достигается без переобучения и доступа к исходникам

Исследователи представили Maxwell — инструмент, который ускоряет работу таких моделей, как Whisper и LTX-2, не изменяя их архитектуру. Вместо традиционного подхода, требующего переобучения или изменения исходного кода, Maxwell анализирует готовые бинарные файлы моделей и автоматически оптимизирует их машинный код.

Механизм работы основан на переписывании бинарного кода: инструмент находит неэффективные фрагменты инструкций и заменяет их на более быстрые эквиваленты, сохраняя при этом функциональность модели. Это позволяет добиться значительного прироста производительности без необходимости доступа к исходникам или повторного обучения.

Для моделей Whisper, используемых в распознавании речи, и LTX-2, применяемой в генерации видео, ускорение достигает нескольких раз. Такой подход особенно полезен для разработчиков, которые работают с закрытыми или уже скомпилированными моделями и не могут изменить их внутреннее устройство.

Maxwell — это open-source проект, поэтому любой желающий может изучить его код и адаптировать под свои задачи. Это открывает новые возможности для оптимизации ИИ-систем на уровне машинного кода, что особенно актуально для edge-устройств и сред с ограниченными вычислительными ресурсами.

Репозиторий: https://github.com/zendesk/maxwell