专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
出彩写作  ·  快速列措施做法提纲的小套路 ·  4 小时前  
成飞资料库  ·  做项目如何避免情绪焦虑和自我内耗 ·  13 小时前  
出彩写作  ·  一个笔杆子的习惯里,藏着他的进步空间 ·  3 天前  
出彩写作  ·  写材料狠人的干货笔记 ·  3 天前  
51好读  ›  专栏  ›  学姐带你玩AI

Mamba+时间序列预测!既要SOTA又要低开销!

学姐带你玩AI  · 公众号  ·  · 2025-01-05 18:16

正文

Mamba在性能和效率上的优势大家都有目共睹,因此最近越来越多研究也开始关注 Mamba+时间序列预测。

在时间序列预测中,数据的长期依赖性是一个核心的挑战。与Transformer等模型相比,Mamba在训练阶段和推理阶段都具有随序列长度线性增长的时间复杂度,这 显著提高了运算效率。 同时,Mamba的架构相对简单,去除了传统的注意力和MLP块,也 提供了更好的可扩展性和性能。

如SiMBA等多个基于Mamba的时间序列预测实践案例证明了这一方法的有效性,在实现SOTA的同时还能保持较低的计算开销。

为帮大家梳理Mamba时间序列预测的最新进展,我整理了最新发表的 11篇 高质量工作, 可参考的创新点都提炼好了,开源代码已附。

扫码添加小享, 回复“ 曼巴时序

免费获取 全部论文+开源代码

Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting

方法: 论文提出一种适应性地捕捉多变量时间序列数据的内部或者系列间依赖关系的新模型Bi-Mamba+,并且通过在Mamba中添加遗忘门来选择性地将新特征与历史特征进行补充性地结合,从而在更长的范围内保留历史信息。通过在模型中引入双向结构和分割时间序列为小块来更全面地建模时间序列数据。

创新点:

  • 提出了Bi-Mamba+模型,通过改进的Mamba+块和双向结构,更准确地预测了多元时间序列数据。
  • 设计了SRA决策器,基于Spearman相关系数自动选择通道独立或通道混合的标记策略,并将时间序列划分为片段以更细粒度地捕捉长期依赖关系。
  • 在8个广泛使用的真实世界数据集上进行了广泛实验,结果表明Bi-Mamba+在不同的预测长度下取得了优越的性能。

DTMamba : Dual Twin Mamba for Time Series Forecasting

方法: 论文提出一种名为DTMamba的模型,通过利用两个TMamba模块,有效捕捉时间数据中的长期依赖关系,从而在长期时间序列预测中取得更好的性能。

创新点:

  • 提出了DTMamba模型,该模型由两个TMamba块组成。通过利用两个TMamba块,DTMamba可以有效地捕捉时间数据中的长期依赖关系。
  • 引入了通道独立和反向通道独立的概念。在时间序列数据预测中,通道独立可以防止模型过拟合。为了使每个通道的数据可以独立处理,需要对时间序列数据进行重塑。作者提出的通道独立方法可以有效地处理这个问题,并且在模型性能上具有明显优势。

扫码添加小享, 回复“ 曼巴时序

免费获取 全部论文+开源代码

MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

方法: 论文介绍了一种名为MambaTS的新型多变量时间序列预测模型。通过改进选择性SSMs,该模型能够在全局上建立依赖关系,并在多个数据集和预测设置中取得了最新的最佳结果。

创新点:

  • 介绍了一种新的时间序列预测模型MambaTS,该模型在改进的选择性SSMs的基础上进行了构建。通过引入VST,作者有效地组织了所有变量的历史信息,形成了全局的回顾序列。
  • 提出了VAST,它可以在训练过程中发现不同变量之间的关系,并利用ATSP求解器确定最佳变量扫描顺序。
  • 引入了变量沿时间扫描机制(VST),将变量的标记以交替的方式在时间步中排列。这种结构化组织使模型能够更准确地捕捉时间序列数据中的长期依赖性和动态变化。







请到「今天看啥」查看全文