Линейное внимание и стирание: почему стирание менее важно, чем запись
Линейное внимание — это метод, который сжимает контекст в состояние фиксированного размера, что позволяет обучать модель за линейное время и использовать постоянный объем памяти при инференсе. В моделях с гейтированным дельта-правилом состояние сначала затухает, а затем стирает…
Главное
- Линейное внимание сжимает контекст в состояние фиксированного размера.
- Стирание в гейтированных моделях менее чувствительно, чем запись.
- Концентрация энергии ключа снижает эффективность стирания.
- Упрощение стирания может повысить эффективность архитектуры.
Линейное внимание — это метод, который сжимает контекст в состояние фиксированного размера, что позволяет обучать модель за линейное время и использовать постоянный объем памяти при инференсе. В моделях с гейтированным дельта-правилом состояние сначала затухает, а затем стирает предсказание для входящего ключа перед записью нового значения. Модель Gated DeltaNet-2 (GDN-2) обобщает этот подход, добавляя поканальное затухание и раздельные полноранговые операции стирания и записи.
Однако анализ показывает, что обновления состояния гораздо менее чувствительны к стиранию, чем к записи. Это связано с тем, что активация ключей и нормализация единиц концентрируют энергию ключа в определенных направлениях, что делает стирание менее эффективным. Иными словами, модель тратит ресурсы на операцию, которая слабо влияет на итоговое состояние, тогда как запись играет ключевую роль в обновлении памяти.
Это наблюдение указывает на потенциальный дисбаланс в архитектуре: если стирание не столь критично, возможно, его можно упростить или вовсе отказаться от него, сосредоточившись на оптимизации записи. Это открывает путь к более эффективным линейным моделям внимания, которые либо используют меньше параметров, либо достигают лучшего качества при тех же затратах.
Исследование подчеркивает важность анализа чувствительности операций в архитектурах трансформеров. Понимание того, какие компоненты действительно влияют на поведение модели, позволяет создавать более компактные и быстрые алгоритмы без потери точности. В данном случае стирание оказывается второстепенным, что может упростить будущие реализации линейного внимания.