Как перевести AI-агента из демо в прод: практики Anthropic
Агент, который в демо решает задачу за 30 шагов, в проде может застрять на 100 ходах. При этом каждый ход заново читает всю историю, поэтому цена растёт быстрее числа шагов: 100 ходов стоят в 5,3 раза дороже, чем 30.
Главное
- Инструментов меньше, но крупнее: один вызов вместо трёх.
- Контекст короткий: подгрузка по ходу, сжатие, субагенты.
- RAG не нужен для баз до 200 тысяч токенов.
- Лимит ходов и бюджет в долларах — обязательны.
- Повторяйте только идемпотентные действия.
Агент, который в демо решает задачу за 30 шагов, в проде может застрять на 100 ходах. При этом каждый ход заново читает всю историю, поэтому цена растёт быстрее числа шагов: 100 ходов стоят в 5,3 раза дороже, чем 30. Если процесс [запрещенная организация] упал на середине и запущен заново, задача дорожает на 81%, а действия повторяются — например, клиент получает письмо дважды.
Чтобы такого не было, Anthropic рекомендует несколько практик. Инструментов должно быть меньше, но крупнее: вместо трёх эндпоинтов — один, который сам решает подзадачи. Ответы инструментов — короткими, ошибки — понятными модели. В контексте держите только нужное: подгружайте данные по ходу, сжимайте историю, для больших задач используйте субагентов.
RAG (поиск по базе знаний) нужен не всегда. Если база меньше 200 тысяч токенов, её можно целиком положить в промпт. Если больше — комбинируйте смысловой поиск с поиском по словам и переранжируйте результаты: это сокращает провалы поиска с 5,7% до 1,9%.
Главное — контроль цикла. Ставьте лимит ходов, бюджет в долларах и таймаут. Для временных ошибок используйте повтор, но только для идемпотентных действий. Прогресс храните вне процесса, а отправку, платёж и удаление — за подтверждением человека. Пишите трассу каждого шага и считайте цену успешной задачи, а не одного вызова.