何时Transformer模型优于前馈和循环网络？一个统计视角 -20250318080441

何时Transformer模型优于前馈和循环网络？一个统计视角 查看图片 // @爱可可-爱生活 :本文从统计效率角度出发，通过引入 q-稀疏Token回归 (qSTR) 模型，揭示了 Transformer 在学习动态稀疏序列数据时，相较于前馈和循环神经网络，具有样本复杂度近乎与序列长度无关的统计优势，并从理论和实验上证实了 Transformer 在此类任务中的架构优越性，反直觉地表明即使在无限算力下，传统架构在统计效率方面仍存在局限。