Как PayPal поднял точность ИИ-ассистента с 43% до 95% без смены модели
PayPal сообщил о значительном повышении точности внутреннего ассистента для анализа данных: с 43% до 95%. При этом базовая языковая модель осталась прежней.
Главное
- Бизнес-контекст важнее размера модели: точность выросла без смены LLM
- Отдельный слой знаний позволяет обновлять модели без перестройки
- Каждое действие агента проверяется на соответствие источнику истины
- Тестовые показатели могут не отражать реальную работу в продакшене
PayPal сообщил о значительном повышении точности внутреннего ассистента для анализа данных: с 43% до 95%. При этом базовая языковая модель осталась прежней. Секрет — в добавлении отдельного слоя знаний, содержащего бизнес-контекст: определения, шаблоны запросов и аналитические процедуры, которые используют сотрудники компании. Этот слой не встроен в модель, а существует отдельно, что позволяет обновлять модели без потери накопленной экспертизы.
По словам вице-президента PayPal по ИИ-продуктам Рен Чжан, модель могла корректно извлекать данные, но неверно интерпретировать их. Например, на вопрос о «новых аккаунтах» агент мог применить неправильное определение «нового». Решение — создать «золотые запросы» и аналитические плейбуки, которые задают правильные правила интерпретации. Такой подход делает систему независимой от конкретной модели: если появляется более совершенная LLM, ее можно подключить без перестройки знаний.
PayPal также внедрил систему контроля для агентов, выполняющих действия. Каждое предложенное решение проверяется на соответствие авторитетным источникам, а многие действия требуют одобрения человека. В рабочих процессах, например при расследовании инцидентов, агенты используют память, где хранятся сертифицированные данные и стандартные операционные процедуры. Особое внимание уделяется тестированию: результаты в продакшене могут отличаться от тестовых, поэтому важно отслеживать реальные запросы пользователей и корректировать систему с учетом этого.