专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
南城发布  ·  明确了!可放宽至70周岁 ·  17 小时前  
南城发布  ·  明确了!可放宽至70周岁 ·  17 小时前  
逆行的狗  ·  搭建属于你自己的AI知识库 ·  昨天  
逆行的狗  ·  搭建属于你自己的AI知识库 ·  昨天  
昆明警方发布  ·  “顶流”眼中的昆明公安 ·  2 天前  
中国社会科学网  ·  常青松 ... ·  2 天前  
51好读  ›  专栏  ›  学姐带你玩AI

时间序列新范式!多尺度+时间序列,刷爆多项SOTA

学姐带你玩AI  · 公众号  ·  · 2024-06-11 18:37

正文

当我们面对复杂模式和多变周期的应用场景(比如金融市场分析)时, 采用多尺度时间序列来做分析和预测是个更好的选择。

这是因为: 传统时序方法通常只用固定时间窗口来提取信息,难以适应不同时间尺度上的模式变化。但多尺度时间序列通过调整时间分辨率和距离,不仅能捕捉到时序的局部细节,还能把握其长期趋势和周期性变化。这就大大提升了模型对新数据集的适应性和不同应用场景迁移能力,让我们能够实现更精确的时间序列预测。

举个比较热门的例子:Pathformer。
Pathformer结合了时间分辨率和时间距离的概念,采用自适应Pathways来根据输入时序的时间特征动态提取和聚合多尺度特征,取得了SOTA预测效果。

除此之外,研究者们已经开发了很多 创新的多尺度时间序列方案 ,我挑选了 最新的 10篇 给各位作参考,开源代码贴心附上,欢迎各位讨论~

扫码添加小享, 回复“ 多尺度时序

免费获取 全部论文+开源代码

Multi-Scale Transformer Pyramid Networks for Multivariate Time Series Forecasting

方法: 论文提出了一种多尺度Transformer金字塔网络(MTPNet)用于多元时间序列(MTS)预测。MTPNet通过将MTS数据分解为季节和趋势组件来处理时间依赖性,其中线性层用于直接从历史数据生成趋势组件的预测。同时,MTPNet用于建模时间依赖性并生成季节组件的预测。MTPNet利用多个Transformer来捕捉不同尺度上的时间依赖性,然后将这些多尺度潜在表示连接起来,并应用CNN层来生成季节组件的预测。

创新点:

  • 提出了一种维度无关嵌入技术,用于捕捉短期时间依赖关系。该技术将多元时间序列数据投影到高维空间中,同时保留原始的时间步长和变量维度。
  • 提出了一种新颖的多尺度Transformer金字塔网络(MTPNet),专门用于有效地捕捉多个不受限制的尺度上的时间依赖关系。该网络利用来自不同尺度Transformer的多尺度潜在表示来进行预测。
  • MTPNet尤其在包含细粒度信息的数据集中表现出色,能够有效捕捉从细粒度到粗粒度尺度的各种时间依赖关系。这一发现突出了MTPNet在分析以分钟为单位采样的多元时间序列数据方面的潜力。

Time Series Prediction Based on Multi-Scale Feature Extraction

方法: 论文提出了一种基于Transformer模型的多尺度特征提取模型MSFformer,用于解决长时间序列预测任务中长期依赖和短期特征提取不足的问题。研究通过引入一种新颖的特征卷积方法在CSCM中获取粗粒度信息,通过具有指定步长的卷积操作构建金字塔形数据结构,连续提取时间特征信息。

创新点:

  • MSFformer模型:提出了一种基于Transformer模型的多尺度特征提取模型,用于处理长期时间序列预测任务,能够有效提取长期依赖关系和短期特征,提高了模型的准确性和效率。
  • Skip-PAM组件:引入了Skip-PAM组件,通过多层级的注意力机制,在不同时间步长上处理输入数据,从而捕捉不同粒度的时间依赖关系,既能关注短期、细粒度的模式,又能捕捉宏观趋势和周期性。该组件有效提高了模型的预测能力。


扫码添加小享, 回复“ 多尺度时序

免费获取 全部论文+开源代码

HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling for Long-Term Forecasting

方法: 论文介绍了一种用于长期预测的分层多尺度遮蔽时间序列建模方法(HiMTM)。该方法包括分层多尺度Transformer(HMT)、解耦编码器-解码器(DED)、多尺度遮蔽重构(MMR)和跨尺度注意力微调(CSA-FT)等四个核心模块。

创新点:

  • 引入了层次多尺度Transformer,通过层次分割更精细的补丁,增强了处理具有多尺度特征的时间序列的能力。这种方法提供了多尺度特征提取能力,为掩蔽时间序列建模提供了更好的指导信号。
  • 在每个编码器层次上实现了专门用于重建掩蔽部分的解码器。这种多层次方法提供了不同层次的监督信号,从而更有效地指导预训练过程。这种方法克服了固定尺度重建的局限性,可以为时间序列提供多阶段的指导信号,更好地对时间序列进行建模。

MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting







请到「今天看啥」查看全文