Передача опыта в RL: как улучшить самообучение LLM-агентов

При обучении больших языковых моделей (LLM) для выполнения агентных задач часто используется обучение с подкреплением (Reinforcement Learning, RL) на основе скалярных наград. Такой подход отбрасывает детальную информацию об окружении, которую агент получает во время попытки…

Передача опыта в RL: как улучшить самообучение LLM-агентов
Передача опыта в RL: как улучшить самообучение LLM-агентов

Главное

  • Скалярные награды в RL теряют важные данные окружения.
  • Передача прошлого опыта ускоряет обучение агентов.
  • Метод особенно полезен для задач с длинными цепочками действий.
  • Требуется аккуратная обработка ошибок и наблюдений.
  • Подход поддерживает рекурсивное самоулучшение моделей.

При обучении больших языковых моделей (LLM) для выполнения агентных задач часто используется обучение с подкреплением (Reinforcement Learning, RL) на основе скалярных наград. Такой подход отбрасывает детальную информацию об окружении, которую агент получает во время попытки, например, журналы ошибок. Игнорирование этих данных замедляет обучение и ограничивает способность модели адаптироваться к сложным ситуациям.

Современные исследования предлагают решение: обернуть агента в специальную оболочку (harness), которая рефлексирует над прошлым опытом, сжимает его и передает в будущие попытки. Однако остается открытым вопрос, как именно конструировать эти передаваемые артефакты, чтобы максимально эффективно использовать накопленную информацию. Метод, названный Experience-Handoff Reinforcement Learning, фокусируется на формализации этого процесса.

Идея заключается в том, чтобы агент не просто получал награду за результат, но и использовал промежуточные данные — сообщения об ошибках, промежуточные вычисления, наблюдения за средой — для более быстрого и точного обучения. Такой подход ускоряет сходимость модели к оптимальному поведению и позволяет ей не повторять прошлые ошибки, что особенно важно для рекурсивного самоулучшения, когда модель обучается на собственном опыте.