Линейное внимание и стирание: почему стирание менее важно, чем запись
Линейное внимание — это метод, который сжимает контекст в состояние фиксированного размера, что позволяет обучать модель за линейное время и использовать постоянный объем памяти при инференсе. В моделях с гейтированным дельта-правилом состояние сначала затухает, а затем стирает…