专栏名称: 机器学习研究组订阅
连接人工智能技术人才和产业人才的交流平台
目录
相关文章推荐
宝玉xp  ·  转发微博-20250311213255 ·  昨天  
财经网科技  ·  算力平台纷纷接入通义 ... ·  昨天  
财经网科技  ·  算力平台纷纷接入通义 ... ·  昨天  
黄建同学  ·  Manus 开发团队成员的回复:这并不复杂 ... ·  昨天  
51好读  ›  专栏  ›  机器学习研究组订阅

ICLR 2025 | CATCH:基于频段通道感知的多变量时间序列异常检测框架

机器学习研究组订阅  · 公众号  · AI  · 2025-02-26 18:17

正文

多变量时间序列异常检测(MTSAD)旨在检测多变量时间序列中的异常数据。该技术被广泛应用于金融欺诈检测、疾病识别和网络安全威胁检测等领域。然而,现实中的多变量时间序列异常检测常面临挑战,传统方法难以检测复杂多样的异质子序列异常。


近日,来自华东师范大学和香港科技大学(广州)的研究团队提出了一种新型框架  CATCH,通过频域分块建模和通道感知机制,显著提升了多类型异常检测能力。研究团队在10个真实数据集和12个合成数据集上进行了广泛验证,CATCH 均展现出最优性能。这一创新成果为复杂场景下的异常检测提供了全新的解决方案。


图片

【论文标题】

CATCH: Channel-Aware Multivariate Time Series Anomaly Detection via Frequency Patching

【论文地址】

https://arxiv.org/pdf/2410.12261

【论文源码】

https://github.com/decisionintelligence/CATCH


主要挑战


01、 细粒度频率特征建模不足


在多变量时间序列中会出现异质的子序列异常,异常序列与正常序列在频域上会呈现出显著的差异,并且不同的子序列异常会体现在不同的频段上。


图片


如图 (a) 所示,可以看到季节性 (Seansonal) 异常和趋势性 (Trend) 异常主要体现在低频段上,而形状特征 (Shapelet) 异常和混合性(Mixture) 异常会体现在中高频段上。


传统的基于重构的异常检测方法在频率域中往往以粗粒度建模,导致高频段细节丢失,无法检测到相应的异常。


02、 复杂的通道间关系难以灵活建模


在多变量时间序列异常检测任务中,考虑通道之间的关系有助于更好地重构正常模式。


图片


如图 (b) 所示,可以观察到不同频段上通道间关联性的变化。在第三频段上,通道一和通道二相似,但与通道三不同;在第四频段上,所有通道都相似,但在第五频段上又呈现出差异。


然而,常用的通道独立(CI)和通道依赖(CD)策略存在两极分化。


  • CI 策略强制对不同通道使用相同的模型。尽管这一策略具有一定的鲁棒性,但它忽略了通道之间的潜在交互,可能在未见通道的泛化能力和建模容量上受到限制;

  • CD 策略则同时考虑所有通道,具有更大的建模容量,但可能受到无关通道噪声的干扰,从而降低模型的鲁棒性。


核心贡献


  • 为了解决多变量时间序列异常检测(MTSAD)问题,论文提出了一个通用框架——CATCH。该框架通过频域分块建模增强了子序列异常检测的能力,并在不同频段上整合了细粒度的自适应通道相关性。


  • 研究人员设计了通道融合模块(CFM),以充分利用细粒度的通道相关性。利用双层多目标优化算法,CFM 能够迭代地发现适当的通道相关性,并促进不相关通道的隔离和相关通道的聚类,从而提供了建模容量和稳健性。


  • 最后,研究人员在22个多变量数据集上进行了广泛的实验。结果表明,CATCH 的性能优于最先进的基线方法。


图片


模型框架


01、 整体框架


图2展示了 CATCH 框架的整体架构,它主要由三个主要模块组成:正向模块,通道融合模块(CFM),以及时频重构模块(TFRM)。


输入的多变量时间序列首先通过正向模块,其中包括 Instance Norm 层、FFT & Patching 层、以及 Projection 层。Instance Norm 层减少训练和测试数据之间的分布差异,提升模型泛化能力。FFT & Patching 层将时间序列转换为频域信号 ,并通过分块操作进行精细建模。


图片


其中 分别是实部和虚部的分块。投影层将频率分块投射到高维隐空间: 。处理后的时间序列进入通道融合模块 (CFM),以动态建模每个频带的通道相关性:


图片


本文利用时频重建模块 (TFRM) 重建所有频谱的实部和虚部分块,并同时获得它们的时间重建结果:


图片


其中, 是时域重建结果, 是频域重建结果。


02、 通道融合模块(CFM)


掩码生成器 (Mask Generator): 通过生成二值掩码矩阵来感知每个频带的通道关联,通过生成相应的掩码来隔离无关通道的负面影响。


图片


通道掩码 Transformer 层 (CMT): 在掩码生成器输出频带掩码矩阵后,本文利用 Transformer 层进一步捕捉细粒度的通道相关性。在每个注意力模块前应用层归一化,以减轻频率成分幅度较大的过度关注现象。


图片


使用掩码注意力机制进一步建模相关通道之间的细粒度关系,并通过计算方式结合掩码矩阵,保持梯度传播。


图片


通道相关性发现 (CCD): 为了优化掩码生成器,本文设计了两个损失函数来增强通道相关性。第一个是 ClusteringLoss,认为掩码生成器生成的通道间关联是局部最优的,并且依据这种关联制定相关通道和无关通道,从而采用类似对比学习 InfoNCE 损失函数的方法,鼓励注意力机制对相关通道进行聚类(反映在更高的注意力机制上);第二个是 RegularLoss,用于限制相关通道的数量,防止掩码生成器输出恒1矩阵。


图片


图片


03、 时间-频率重建模块(TFRM)


TFRM 包含两个部分:Flatten&Linear Head层,iFFT 层。在 CFM 完全提取细粒度通道相关性后,TFRM 将分块表示展平 (Flatten),并分别为实部和虚部块通过 Linear Head 实现频域重建,并最终通过 iFFT 获取时域重建。


图片


本文在时域和频域中均采用重建损失函数,分别增强逐点和子序列建模能力。时间和频率域的重建损失函数为:


图片


图片


04、 联合双重优化


总损失 主要由时域重构损失 和频域重构损失 ,通道相关性发现机制 (CCD) 中的 ClusteringLoss 和 RegularLoss 组成。







请到「今天看啥」查看全文