多变量时间序列异常检测(MTSAD)旨在检测多变量时间序列中的异常数据。该技术被广泛应用于金融欺诈检测、疾病识别和网络安全威胁检测等领域。然而,现实中的多变量时间序列异常检测常面临挑战,传统方法难以检测复杂多样的异质子序列异常。
近日,来自华东师范大学和香港科技大学(广州)的研究团队提出了一种新型框架 CATCH,通过频域分块建模和通道感知机制,显著提升了多类型异常检测能力。研究团队在10个真实数据集和12个合成数据集上进行了广泛验证,CATCH 均展现出最优性能。这一创新成果为复杂场景下的异常检测提供了全新的解决方案。
【论文标题】
CATCH: Channel-Aware Multivariate Time Series Anomaly Detection via Frequency Patching
【论文地址】
https://arxiv.org/pdf/2410.12261
【论文源码】
https://github.com/decisionintelligence/CATCH
主要挑战
01、
细粒度频率特征建模不足
在多变量时间序列中会出现异质的子序列异常,异常序列与正常序列在频域上会呈现出显著的差异,并且不同的子序列异常会体现在不同的频段上。
如图 (a) 所示,可以看到季节性 (Seansonal) 异常和趋势性 (Trend) 异常主要体现在低频段上,而形状特征 (Shapelet) 异常和混合性(Mixture) 异常会体现在中高频段上。
传统的基于重构的异常检测方法在频率域中往往以粗粒度建模,导致高频段细节丢失,无法检测到相应的异常。
02、
复杂的通道间关系难以灵活建模
在多变量时间序列异常检测任务中,考虑通道之间的关系有助于更好地重构正常模式。
如图 (b) 所示,可以观察到不同频段上通道间关联性的变化。在第三频段上,通道一和通道二相似,但与通道三不同;在第四频段上,所有通道都相似,但在第五频段上又呈现出差异。
然而,常用的通道独立(CI)和通道依赖(CD)策略存在两极分化。
核心贡献
模型框架
01、
整体框架
图2展示了 CATCH 框架的整体架构,它主要由三个主要模块组成:正向模块,通道融合模块(CFM),以及时频重构模块(TFRM)。
输入的多变量时间序列首先通过正向模块,其中包括 Instance Norm 层、FFT & Patching 层、以及 Projection 层。Instance Norm 层减少训练和测试数据之间的分布差异,提升模型泛化能力。FFT & Patching 层将时间序列转换为频域信号
,并通过分块操作进行精细建模。
其中
和
分别是实部和虚部的分块。投影层将频率分块投射到高维隐空间:
。处理后的时间序列进入通道融合模块 (CFM),以动态建模每个频带的通道相关性:
本文利用时频重建模块 (TFRM) 重建所有频谱的实部和虚部分块,并同时获得它们的时间重建结果:
其中,
是时域重建结果,
和
是频域重建结果。
02、
通道融合模块(CFM)
掩码生成器 (Mask Generator):
通过生成二值掩码矩阵来感知每个频带的通道关联,通过生成相应的掩码来隔离无关通道的负面影响。
通道掩码 Transformer 层 (CMT):
在掩码生成器输出频带掩码矩阵后,本文利用 Transformer 层进一步捕捉细粒度的通道相关性。在每个注意力模块前应用层归一化,以减轻频率成分幅度较大的过度关注现象。
使用掩码注意力机制进一步建模相关通道之间的细粒度关系,并通过计算方式结合掩码矩阵,保持梯度传播。
通道相关性发现 (CCD):
为了优化掩码生成器,本文设计了两个损失函数来增强通道相关性。第一个是 ClusteringLoss,认为掩码生成器生成的通道间关联是局部最优的,并且依据这种关联制定相关通道和无关通道,从而采用类似对比学习 InfoNCE 损失函数的方法,鼓励注意力机制对相关通道进行聚类(反映在更高的注意力机制上);第二个是 RegularLoss,用于限制相关通道的数量,防止掩码生成器输出恒1矩阵。
03、
时间-频率重建模块(TFRM)
TFRM 包含两个部分:Flatten&Linear Head层,iFFT 层。在 CFM 完全提取细粒度通道相关性后,TFRM 将分块表示展平 (Flatten),并分别为实部和虚部块通过 Linear Head 实现频域重建,并最终通过 iFFT 获取时域重建。
本文在时域和频域中均采用重建损失函数,分别增强逐点和子序列建模能力。时间和频率域的重建损失函数为:
04、
联合双重优化
总损失
主要由时域重构损失
和频域重构损失
,通道相关性发现机制 (CCD) 中的 ClusteringLoss 和 RegularLoss 组成。