Линейное внимание и стирание: почему стирание менее важно, чем запись

Линейное внимание — это метод, который сжимает контекст в состояние фиксированного размера, что позволяет обучать модель за линейное время и использовать постоянный объем памяти при инференсе. В моделях с гейтированным дельта-правилом состояние сначала затухает, а затем стирает…

Линейное внимание и стирание: почему стирание менее важно, чем запись
Линейное внимание и стирание: почему стирание менее важно, чем запись

Главное

  • Линейное внимание сжимает контекст в состояние фиксированного размера.
  • Стирание в гейтированных моделях менее чувствительно, чем запись.
  • Концентрация энергии ключа снижает эффективность стирания.
  • Упрощение стирания может повысить эффективность архитектуры.

Линейное внимание — это метод, который сжимает контекст в состояние фиксированного размера, что позволяет обучать модель за линейное время и использовать постоянный объем памяти при инференсе. В моделях с гейтированным дельта-правилом состояние сначала затухает, а затем стирает предсказание для входящего ключа перед записью нового значения. Модель Gated DeltaNet-2 (GDN-2) обобщает этот подход, добавляя поканальное затухание и раздельные полноранговые операции стирания и записи.

Однако анализ показывает, что обновления состояния гораздо менее чувствительны к стиранию, чем к записи. Это связано с тем, что активация ключей и нормализация единиц концентрируют энергию ключа в определенных направлениях, что делает стирание менее эффективным. Иными словами, модель тратит ресурсы на операцию, которая слабо влияет на итоговое состояние, тогда как запись играет ключевую роль в обновлении памяти.

Это наблюдение указывает на потенциальный дисбаланс в архитектуре: если стирание не столь критично, возможно, его можно упростить или вовсе отказаться от него, сосредоточившись на оптимизации записи. Это открывает путь к более эффективным линейным моделям внимания, которые либо используют меньше параметров, либо достигают лучшего качества при тех же затратах.

Исследование подчеркивает важность анализа чувствительности операций в архитектурах трансформеров. Понимание того, какие компоненты действительно влияют на поведение модели, позволяет создавать более компактные и быстрые алгоритмы без потери точности. В данном случае стирание оказывается второстепенным, что может упростить будущие реализации линейного внимания.