IQuest-Q1: новая MoE-модель для агентных CLI-систем
Представлена IQuest-Q1 — разреженная модель на основе смеси экспертов (MoE) с 320 миллиардами параметров, из которых при каждом запросе активируются только 15 миллиардов. Такая архитектура позволяет сочетать высокую производительность с умеренными вычислительными затратами.
Главное
- 320B параметров, 15B активных — высокая эффективность
- Трёхэтапное обучение: стабильность и расширение данных
- Ориентация на агентные сценарии в командной строке
- Открытые технические детали для воспроизведения
Представлена IQuest-Q1 — разреженная модель на основе смеси экспертов (MoE) с 320 миллиардами параметров, из которых при каждом запросе активируются только 15 миллиардов. Такая архитектура позволяет сочетать высокую производительность с умеренными вычислительными затратами. Модель ориентирована на агентные системы, работающие через командную строку, — то есть на сценарии, где ИИ автономно выполняет цепочки действий.
Обучение проходило в три этапа. На первом этапе использовалась комбинация методов Stable SplitNorm, Muon и muP, а также двухступенчатая учебная программа: на второй ступени доля данных по программированию увеличивалась. Это позволило сохранить широкий запас стабильности между безопасной и оптимальной скоростью обучения. Второй этап — промежуточное обучение, в ходе которого состав данных расширялся по разным доменам и форматам. Третий этап — финальная донастройка, детали которой авторы пока не раскрыли полностью.
Ключевая особенность IQuest-Q1 — эффективность при работе с агентными сценариями. Благодаря разреженной архитектуре модель может обрабатывать длинные последовательности действий и поддерживать контекст, не перегружая память. Это делает её перспективной для автоматизации задач в терминале, таких как управление файлами, запуск скриптов и взаимодействие с внешними сервисами.
Разработчики позиционируют IQuest-Q1 как шаг к более надёжным и управляемым агентным системам. Однако полная оценка возможностей модели, включая тесты на бенчмарках и сравнение с аналогами, ещё предстоит. На данный момент опубликованы технические детали и архитектурные решения, что позволяет сообществу воспроизвести и проверить заявленные результаты.