本文介绍了在人工智能领域和时间序列预测领域中，自回归移动扩散（ARMD）模型的应用和优势。ARMD模型受自回归移动平均（ARMA）理论启发，重新定义了时间序列的扩散过程，实现了扩散机制与时间序列连续性之间的对齐，提升了模型性能。该模型在多个数据集上的表现超越了现有的基于扩散的时间序列预测模型。
ARMD模型通过结合扩散机制和自回归特性，实现了时间序列预测目标，在预测效果和训练推理时间等方面都有明显优势。
ARMD模型在七个广泛使用的时序预测数据集上的表现超越了现有的基于扩散的时间序列预测模型，并且和最先进的端到端时间序列预测模型取得了相当的效果。
在人工智能领域，目前有很多工作采用自回归方法来模拟或是替代扩散模型，其中视觉自回归建模（Visual AutoRegressive modeling，简称 VAR）就是其中的典型代表，该工作利用自回归取得了比传统基于噪声的扩散模型更好的生成效果，并且获得了人工智能顶级会议 NeurIPS 2024 的 best paper。
然而在时间序列预测领域，当前主流的扩散方法还是传统的基于噪声的方法，未能充分利用自回归技术实现时间序列建模。
近期，来自上海交通大学和东方理工的研究团队推出了自回归移动扩散（Auto-Regressive Moving Diffusion，简称 ARMD）模型。ARMD 模型受经典的自回归移动平均（ARMA）理论启发，重新定义了时间序列的扩散过程：如图一所示，与传统的基于噪声的扩散方法不同，
ARMD 将时间序列的演进看成是一个扩散过程，并采用了基于链式扩散的方式。它的前向过程由未来序列扩散到历史序列，并根据扩散步数通过滑动序列的操作生成中间状态；反向过程则通过历史序列‘采样’生成未来序列，实现了采样和预测目标的统一。
▲ 图1. 已有的基于噪声的时序扩散方法和ARMD的时序扩散方法对比
相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。
该项研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》为题，被 AAAI 2025 接收。
论文题目：
Auto-Regressive Moving Diffusion Models for Time Series Forecasting
https://arxiv.org/abs/2412.09328
https://github.com/daxin007/ARMD
针对时序预测任务，该研究用历史序列 去预测未来序列 ，其中 L 为历史序列的长度，T 为未来序列的长度。在该任务中，研究人员将历史序列的长度设置为与未来序列相同，即 。在 ARMD 中，时间序列的演进被概念化为一个扩散过程，时间序列的每一步都可以看成是扩散模型的一个状态，如图二所示。未来序列 （下标表示在序列中的位置，上标表示在扩散模型中的状态）作为前向扩散（演进）过程的初始状态，而历史序列 则是最终状态。不同于传统方法逐渐添加噪声生成中间状态，ARMD 通过对 进行滑动操作来生成中间状态（序列），使其逐渐接近历史序列。这一过程不仅保持了时间序列的连续性，还确保每个中间状态反映了时间序列演进的特定阶段。由初始状态到中间状态添加的内容可以定义为演进趋势，类似于传统扩散模型中的噪声。反向去噪（逆演进）过程则利用历史序列 来迭代生成（预测）未来序列 。ARMD 采用了一个基于距离的去噪（逆演进）网络，根据中间状态 和时间步 t 得到时间序列的演进趋势。
▲ 图2. ARMD 扩散模型示意图。在前向扩散（演进）过程中，未来序列逐渐被转化为历史序列。相反，反向去噪（反演进）过程则利用历史序列迭代地生成 / 预测未来序列。
在最终的采样（预测阶段），ARMD 从历史序列 开始，迭代生成对未来序列的预测，使采样过程和最终的时间序列预测目标对齐，从而使 ARMD 成为无条件的时序扩散模型。采样过程遵循 DDIM（Denoising Diffusion Implicit Models）的方法，用预测的演进趋势替代传统扩散模型中预测的噪声，并通过逐步去噪（反演进）得到对模型的最终预测。
经过在七个广泛使用的时序预测数据集上的大量实验，ARMD 模型的表现超越了现有的基于扩散的时间序列预测模型，并且和最先进的端到端时间序列预测模型取得了相当的效果。模型的预测结果如表一和表二所示：
▲ 表1. 时间序列预测实验之与基于扩散的时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。
▲ 表2. 时间序列预测实验之与端对端时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。另外，由于扩散过程的优化，ARMD 模型在训练推理时间和预测的稳定性方面相对于之前的时序扩散模型也有明显的优势。ARMD 模型的预测效果示例如图三所示：ARMD 在具有明显周期性或趋势特征的时间序列上展现了卓越的预测性能，能够有效地捕捉这些时间序列中的相关特征，且相对于其他扩散模型预测更加稳定。
综上所述，Auto-Regressive Moving Diffusion (ARMD) 模型通过重新诠释时间序列的扩散过程，结合时间序列的自回归特性，成功弥合了扩散机制与时间序列预测目标之间的差距。不同于传统方法从白噪声开始逐步添加噪声，ARMD 采用链式扩散策略，通过滑动操作将未来序列逐渐转化为历史序列，更准确地模拟时间序列的演化路径。该模型还引入了独特的反向去噪（逆演化）过程，利用历史序列迭代生成（预测）未来序列，有效捕捉时间序列的特征。实验结果和理论分析共同证明了 ARMD 作为一种稳健且有效的时间序列预测方案的巨大潜力。
▲ 图3. ARMD 和 Diffusion-TS 在给定相同历史序列的情况下，分别做出的 10 次不同预测的分布情况。ARMD 实现了更稳定且准确的预测。
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
