LuthorSQL: локальная модель как быстрый «системный 1» для LLM-агентов

Современные LLM-агенты, которые обращаются к базам данных через инструменты, показывают высокую точность при генерации SQL-запросов. Однако каждый такой запрос отправляется во внешнюю платную модель, что приводит к задержкам, значительным расходам и утечке чувствительных…

LuthorSQL: локальная модель как быстрый «системный 1» для LLM-агентов
LuthorSQL: локальная модель как быстрый «системный 1» для LLM-агентов

Главное

  • LuthorSQL генерирует SQL за один проход, ускоряя работу агентов.
  • Локальная обработка снижает расходы и защищает данные компании.
  • Гибридная схема: быстрая локальная модель плюс медленный внешний контролёр.
  • Код проекта открыт, что позволяет адаптировать его под свои задачи.

Современные LLM-агенты, которые обращаются к базам данных через инструменты, показывают высокую точность при генерации SQL-запросов. Однако каждый такой запрос отправляется во внешнюю платную модель, что приводит к задержкам, значительным расходам и утечке чувствительных корпоративных данных за пределы организации. Например, агент на базе Claude Opus 5.5, обрабатывающий 10 000 запросов в день, обходится в сумму, превышающую 70 000 долларов в год, — и это только по прейскуранту.

Исследователи задались вопросом: можно ли использовать уже имеющееся локальное оборудование, чтобы снять часть нагрузки с внешних моделей, не теряя в точности? Ответ — LuthorSQL, неавторегрессионная модель, которая выступает в роли быстрого «системного 1» для более медленного LLM-агента. Она генерирует черновой SQL-запрос за один проход, а затем агент проверяет и уточняет его, что позволяет сократить количество обращений к внешнему API и повысить скорость обработки.

LuthorSQL оптимизирован для работы на локальных серверах, которые уже есть у организации, что снижает зависимость от облачных сервисов и уменьшает риски утечки данных. Такой подход не заменяет полностью внешние модели, но существенно разгружает их, оставляя за ними роль финального контролёра. Это особенно актуально для компаний, работающих с конфиденциальными данными и вынужденных соблюдать строгие требования по безопасности.

Разработчики опубликовали код модели в открытом доступе, что позволяет другим командам адаптировать решение под свои задачи. LuthorSQL — пример того, как гибридная архитектура, сочетающая локальные и внешние модели, может сделать использование ИИ в работе с базами данных более экономичным и безопасным.