当线性注意力遇上双向序列
查看图片
//
@爱可可-爱生活
:本文提出了 LION 框架，创新性地将全线性注意力等效转换为双向 RNN，实现了与传统 Transformer 相当的训练速度和与 RNN/SSM 相当的推理效率，显著提升了线性 Transformer 在双向序列建模任务中的实用性，并在图像分类和掩码语言建模任务上取得了有竞争力的性能。
查看图片
//
@爱可可-爱生活
:本文提出了 LION 框架，创新性地将全线性注意力等效转换为双向 RNN，实现了与传统 Transformer 相当的训练速度和与 RNN/SSM 相当的推理效率，显著提升了线性 Transformer 在双向序列建模任务中的实用性，并在图像分类和掩码语言建模任务上取得了有竞争力的性能。
[LG]《Linear Attention for Efficient Bidirectional Sequence Modeling》A Afzal, E A Rocamora, L N Candogan, P Puigdemont... [EPFL] (2025)
