Почему замена ИИ-модели занимает недели: данные опроса

Смена модели искусственного интеллекта в продакшене — задача, которая занимает от нескольких недель до месяцев, а не один день, как обещают шлюзы и роутеры. Опрос, проведённый среди компаний с числом сотрудников от 100 человек, показал: 47% респондентов меняли модель за…

Почему замена ИИ-модели занимает недели: данные опроса
Почему замена ИИ-модели занимает недели: данные опроса

Главное

  • 70% компаний тратят на замену модели недели и более, 36% — больше месяца.
  • 45% замен приводят к ухудшению производительности и возврату к старой модели.
  • Основная сложность — адаптация приложения, а не само переключение модели.
  • Стоимость выполнения задач может отличаться в разы в зависимости от «обвязки».

Смена модели искусственного интеллекта в продакшене — задача, которая занимает от нескольких недель до месяцев, а не один день, как обещают шлюзы и роутеры. Опрос, проведённый среди компаний с числом сотрудников от 100 человек, показал: 47% респондентов меняли модель за последний год, но 70% из них потратили на это значительное время, а 36% — более месяца. Только 13% назвали процесс почти мгновенным.

Основная сложность — не в самом переключении, а в адаптации приложения. Промпты, инструменты и тесты, заточенные под старую модель, могут работать некорректно с новой. Например, в PayPal для коммерческого агента перешли на меньшую модель, но точность оказалась недостаточной, и пришлось дорабатывать. В Box отмечают, что разница в поведении моделей особенно заметна на уровне «обвязки» — кода, который управляет вызовами модели и доступом к инструментам. Стоимость задач тоже меняется: в одном тесте одна и та же модель выполняла задачи на 63%, но при использовании разных обвязок цена за пройденную задачу отличалась в пять раз.

Опрос также выявил, что 45% компаний, заменивших модель, столкнулись с ухудшением результатов: им пришлось переделывать приложение или возвращаться к прежней модели. Это говорит о том, что простота замены — миф. Компании, которые хотят регулярно обновлять модели, должны закладывать время на тестирование и доработку, а не рассчитывать на автоматическое переключение.