本文通过将序列模型与测试时回归联系起来，提出了一个统一的框架，解-20250123060614

本文通过将序列模型与测试时回归联系起来，提出了一个统一的框架，解释了包括线性注意力、门控线性注意力、状态空间模型、在线学习以及 softmax 注意力等多种模型的本质，并揭示了QKNorm的理论基础和短卷积的重要性，强调了模型记忆容量而非序列长度是性能瓶颈的关键。