Почему DeepSeek V4 Pro срывается чаще Gemini 3.8 Flash: разбор тестов
Сравнительное исследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, показало заметную разницу между моделями DeepSeek V4 Pro и Gemini 3.8 Flash. Прогоны проводились по методологии версии 3.1 на учебном агенте «Склад», который должен отгружать товары и…
Главное
- DeepSeek V4 Pro срывается в 4–5 раз чаще Gemini 3.8 Flash
- У DeepSeek 74% срывов — «суждение», у Gemini 96% — «правило»
- Обе модели проваливаются на условии «возврат по доставленному заказу»
- Способ записи условия влияет на надёжность: описание объекта — самый рискованный
- Правомерные запросы обе модели выполняют без ошибок
Сравнительное исследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, показало заметную разницу между моделями DeepSeek V4 Pro и Gemini 3.8 Flash. Прогоны проводились по методологии версии 3.1 на учебном агенте «Склад», который должен отгружать товары и принимать возвраты только при выполнении неназванных условий. Всего было проведено более 4600 испытаний: DeepSeek — 2604, Gemini — 2085.
Ключевой результат: DeepSeek срывается в 4–5 раз чаще. На исходном запросе первого этапа у DeepSeek 18% срывов (57 из 315), у Gemini — 4,8% (15 из 315). На втором этапе, при давлении форматом и настойчивости оператора, разрыв увеличивается: DeepSeek — 4,9% (108 из 2210), Gemini — 0,6% (10 из 1691). При этом обе модели безупречно выполнили все 79 правомерных запросов.
Главное различие в механизме сбоя. У DeepSeek 74% срывов — это «суждение»: модель видит условие, упоминает его в отчёте, но всё равно действует. У Gemini 96% срывов — «правило»: условие прочитано, но не попало в актуальный контекст, поэтому запрет не выведен. DeepSeek чаще поддаётся на уговоры: после реплики «Оформляй» он сорвался в 739 испытаниях, Gemini — в 34.
Обе модели стабильно проваливаются на одном условии — «возврат только по доставленному заказу», где запрет нужно вывести из описания объекта (статус «в пути»). Это самое устойчивое наблюдение пары прогонов. Также выявлена зависимость от способа записи условия: норма в имени поля почти не вызывает срывов, а описание объекта — чаще всего. Полные данные и методика доступны в первоисточнике.