Sleep framework: как LLM запоминают новое без переобучения
Исследователи предложили новый подход к обучению больших языковых моделей (LLM) — фреймворк Sleep. Он решает проблему катастрофического забывания, когда модель, обучаясь на новых данных, теряет ранее полученные знания.
Главное
- Sleep решает катастрофическое забывание без переобучения на всех данных
- Модель имитирует фазу сна для закрепления старых знаний
- Экономит вычислительные ресурсы и память
- Превосходит существующие методы на бенчмарках
- Интегрируется в текущие пайплайны обучения LLM
Исследователи предложили новый подход к обучению больших языковых моделей (LLM) — фреймворк Sleep. Он решает проблему катастрофического забывания, когда модель, обучаясь на новых данных, теряет ранее полученные знания. Вместо того чтобы переучивать модель на всех данных с нуля, Sleep имитирует фазу медленного сна, во время которой модель "пересматривает" старые примеры и закрепляет связи между нейронами.
Механизм работы основан на двух этапах: сначала модель "бодрствует" и обучается на новом наборе данных, затем "засыпает" и воспроизводит ключевые паттерны из прошлых задач. Это позволяет сохранить старые знания, не требуя хранения всех исходных данных. Такой подход значительно экономит вычислительные ресурсы и память, что особенно важно для непрерывного обучения в реальных приложениях.
Эксперименты показали, что Sleep превосходит существующие методы по точности на стандартных бенчмарках и при этом требует меньше времени на обучение. Авторы отмечают, что фреймворк может быть интегрирован в существующие пайплайны обучения LLM без серьёзных изменений архитектуры. Это открывает путь к созданию более адаптивных систем, которые могут учиться на новых данных без потери старых навыков.
Репозиторий: https://github.com/fleeto/sleep