本文介绍一篇来自 NeurIPS 2024 中的工作，作者提出了 GLAFF 新框架，在该框架中，时间戳被单独建模以捕捉全局依赖关系。
在金融、交通、能源、医疗和气候等领域中，时间戳由于其包含的丰富季节性信息，具有为预测技术提供稳健全局指导的潜力。然而，现有工作主要关注局部观测，时间戳仅被视为一个可选的补充，没有得到充分利用。当从现实世界收集的数据受到污染时，全局信息的缺失会损害这些算法的稳健预测能力。
本文介绍一篇来自 NeurIPS 2024 中的工作，作者提出了 GLAFF 新框架，在该框架中，时间戳被单独建模以捕捉全局依赖关系。作为插件，GLAFF 自适应地调整全局和局部信息的组合权重，能够与任何时间序列预测主干模型无缝协作。在九个真实世界数据集上进行的广泛实验表明，GLAFF 显著提高了广泛使用的主流预测模型的平均性能，提升幅度达到 12.5%，比先前最先进的方法高出 5.5%。
Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspectivehttps://arxiv.org/abs/2409.18696https://github.com/ForestsKing/GLAFF现有的时间序列预测方法大多依赖于数值型的历史数据，并且假设这些数据的分布是相对稳定的。尽管这类方法能够在捕捉数据中的线性关系和周期性规律方面表现良好，但在面对由外部因素引起的非平稳性和异常情况时，它们往往显得力不从心。
比如，在节假日或特殊事件期间，人们的消费行为、出行模式等会发生显著变化，导致相关指标出现不同于平常的波动。如果模型不能充分考虑这些外部因素的影响，其预测结果可能会偏离实际情况，进而影响决策的准确性。
此外，现实世界中的数据常常因意外事件而遭受污染，如电力系统故障导致的异常高耗电量。缺乏对全局模式的深入理解使得现有方案易受模式异常及数据噪声的影响。
时间戳蕴含丰富的全局性季节特征，本应成为提升预测准确性的宝贵资源。例如，工作日通常会在特定时段迎来交通高峰期。遗憾的是，当前研究大多聚焦于局部观测的数值型数据，仅将时间戳作为可有可无的辅助信息源。
消融研究表明，即使去掉时间戳信息，大部分模型的表现也不会有显著退步，这反映出当前当前对于以时间戳为代表的全局信息利用不足。
针对上述问题，作者提出了一种通用框架 GLAFF。作为一款插件，GLAFF 能够无缝集成到任何预测主干之中，借助全局信息增强主流模型的鲁棒预测能力。
相较于通过 early fusion 整合时间戳信息的传统方法，基于 late fusion 的 GLAFF 不仅实现了不同类型信息间的平衡利用，还能有效抵御来自单一数据源的噪声干扰，从而显著增强了整个系统的稳定性和可靠性。
GLAFF 插件的整体架构图2所示。在主干网络根据局部观测提供初始预测后，GLAFF 利用全局信息对齐进行修正。
具体而言，它先通过 Attention-based Mapper 对包含全局信息的时间戳进行单独建模，并将它们映射到符合标准分布的观测值。随后，为了处理滑动窗口的观测值中存在异常的场景，作者利用 Robust Denormalizer 对初始映射进行逆规范化，从而减轻数据漂移的影响。最后，Adaptive Combiner 在预测窗口内动态调整全局映射和局部预测的组合权重，产生最终的预测结果。01 Attention-based Mapper采用 Transformer 模型中的编码器架构，包含了嵌入层、注意力模块以及投影层。类似于多数基于 Transformer 的编码器，GLAFF 通过嵌入层将同一时间的时间戳向量视为一个标记，以描述该向量的属性。紧随其后，多头自注意力被应用于标记间的交互，以建模时间戳之间的相互依赖，并由前馈网络单独处理以进行序列表示。最后，使用投影层来获得初始映射结果。借助注意力机制的长距离依赖性和并行计算能力，Attention-based Mapper 得以对以时间戳为代表的全局信息做到更充分的建模。针对数据漂移现象，GLAFF 对以时间戳为代表的全局信息采取了一种解纠缠的两阶段建模策略。第一阶段中，由 Attention-based Mapper 直接产生的原始映射值被假定遵循正态分布规律，以此降低建模时间戳与观测值之间依赖的难度。在第二阶段，基于历史窗口内初始映射值和实际观测值之间的分布偏差，Robust Denormalizer 再分别将初始映射值逆标准化为最终映射值，以减轻数据漂移的影响。标准的逆标准化操作通常考虑均值和方差的差异。然而，这种方法容易受到极值的影响，在观测数据含有异常时表现得不够鲁棒。作者分别使用中位数和分位数范围替代均值和标准差，使得 Robust Denormalizer 对异常情况更加稳健。鉴于现实世界的复杂性，模型偏差的数据偏好应该随着在线概念漂移而不断变化。当时间序列模式清晰稳定时，应该给予鲁棒的全局信息更多的关注。当时间序列模式模糊多变时，应该给予灵活的局部信息更多的关注。因此，作者提出了一种数据依赖策略来不断更新模型选择策略，自适应的动态调整全局信息和局部信息的组合权重。Adaptive Combiner 根据历史窗口内全局映射值和实际观测值之间的偏差，动态调整预测窗口内全局映射值和局部预测值的组合权重。之后，模型根据组合权重对双源信息进行求和，得出最终的预测结果。在九个常用数据集上的实验结果表明，GLAFF 一致地增强了四个广泛使用的主流预测基线的性能，充分证明了其有效性和优越性。表1：GLAFF与主流基线模型在多元时间序列预测中的误差除了评估指标之外，预测质量也至关重要。如下图所示，通过两个典型数据集上的对比分析可以看出，GLAFF 生成的结果不仅更加接近实际情况，而且对于局部异常值具有更好的抵抗能力，而其他单独运作的主干模型则容易受到此类扰动的影响。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
