取代Mamba，超越Transformer！扩展LSTM到数十亿参数

时隔27年，原作者携xLSTM回归，通过引入指数门控和修改记忆结构来增强传统LSTM的能力， 不仅打破了LSTM在处理长序列和复杂依赖关系方面的局限性，并在广泛的任务和基准测试中表现出了显著的性能。

为了加深大家对xLSTM的理解并结合到自己的 研究中，研梦非凡于11月14日晚（周四）， 为大家独家详解 《LSTM再升级！xLSTM连超Transformer和Mamba》 ，从LSTM的贡献与局限性到xLSTM的提出与具体实现，与Transformer的比较， 重点讲解xLSTM的框架以及实验研究 ，一文速通xLSTM，带来新的研究思路和突破！

👇🏻扫描二维码免费预约直播课！

直播课内容预览

一、论文核心要点

1. LSTM的贡献
2. Transformer的兴起
3. LSTM的局限性与挑战

二、研究背景

1. LSTM

• LSTM是什么
• LSTM的基本结构
• LSTM的工作原理
• LSTM的优点和局限性

2. sLSTM
3. mLSTM

三、重点工作

1. 线性注意力
2. 状态空间模型
3. 循环神经网络
4. 门控机制
5. 协方差更新规则
6. 最相关的模型
7. 残差堆叠架构

👇🏻扫描二维码找免费预约直播课！

四、xLSTM 架构算法详解

1. xLSTM的提出
2. xLSTM 架构的具体实现

3. 内存和速度考虑

五、实验和方法

1. 形式语言测试
2. 多查询关联回忆任务
3. 长距离竞技场测试
4. 方法比较与消融研究

六、拓展和局限性

1. 结果分析

• xLSTM的性能
• 可扩展性分析
• 与Transformer的比较

2. 总体结论

• xLSTM的贡献
• 未来展望

3. 局限性

• sLSTM 的并行化限制
• mLSTM 的CUDA内核优化
• 矩阵记忆的计算复杂度
• 遗忘门初始化
• 序列长度的影响
• 大规模实验的计算成本

👇🏻扫描二维码免费预约直播课！

研梦非凡科研论文指导

研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松产出科研论文成果。

科研论文idea，并非拍脑门就能产生，需要经过一遍遍做实验、跑代码、改模型、思路修正。 研梦非凡专业论文指导，和研梦导师一起找idea，共同解决科研问题。 授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<<< 左右滑动见更多 >>>