Как перевести AI-агента из демо в прод: практики Anthropic

Агент, который в демо решает задачу за 30 шагов, в проде может застрять на 100 ходах. При этом каждый ход заново читает всю историю, поэтому цена растёт быстрее числа шагов: 100 ходов стоят в 5,3 раза дороже, чем 30.

Как перевести AI-агента из демо в прод: практики Anthropic
Как перевести AI-агента из демо в прод: практики Anthropic

Главное

  • Инструментов меньше, но крупнее: один вызов вместо трёх.
  • Контекст короткий: подгрузка по ходу, сжатие, субагенты.
  • RAG не нужен для баз до 200 тысяч токенов.
  • Лимит ходов и бюджет в долларах — обязательны.
  • Повторяйте только идемпотентные действия.

Агент, который в демо решает задачу за 30 шагов, в проде может застрять на 100 ходах. При этом каждый ход заново читает всю историю, поэтому цена растёт быстрее числа шагов: 100 ходов стоят в 5,3 раза дороже, чем 30. Если процесс [запрещенная организация] упал на середине и запущен заново, задача дорожает на 81%, а действия повторяются — например, клиент получает письмо дважды.

Чтобы такого не было, Anthropic рекомендует несколько практик. Инструментов должно быть меньше, но крупнее: вместо трёх эндпоинтов — один, который сам решает подзадачи. Ответы инструментов — короткими, ошибки — понятными модели. В контексте держите только нужное: подгружайте данные по ходу, сжимайте историю, для больших задач используйте субагентов.

RAG (поиск по базе знаний) нужен не всегда. Если база меньше 200 тысяч токенов, её можно целиком положить в промпт. Если больше — комбинируйте смысловой поиск с поиском по словам и переранжируйте результаты: это сокращает провалы поиска с 5,7% до 1,9%.

Главное — контроль цикла. Ставьте лимит ходов, бюджет в долларах и таймаут. Для временных ошибок используйте повтор, но только для идемпотентных действий. Прогресс храните вне процесса, а отправку, платёж и удаление — за подтверждением человека. Пишите трассу каждого шага и считайте цену успешной задачи, а не одного вызова.