本文介绍一篇 NeurIPS 2024 的工作，来自浙大的研究者提出了一个名为 Con4m 的上下文感知一致性学习框架，用于处理分段时间序列分类任务。
本文介绍一篇 NeurIPS 2024 的工作，来自浙大的研究者提出了一个名为 Con4m 的上下文感知一致性学习框架，用于处理分段时间序列分类任务。在这个任务中，原始时间序列通常包含多个类别，每个类别的持续时间各不相同（MVD），这给分类带来了独特挑战。
Con4m 框架通过利用 MVD 的上下文先验信息，在数据和标签两个层面上，指导模型关注有助于区分连续段落的上下文信息。同时，Con4m 通过适应性地改变训练标签来协调不一致的边界标签，从而训练出更鲁棒的模型。
【论文标题】
Con4m: Context-aware Consistency Learning Framework for Segmented Time Series Classification
【论文地址】
https://arxiv.org/abs/2408.00041
在分段时间序列分类任务中，原始时间序列通常包含多个类别，每个类别的持续时间各不相同，这给分类带来了独特挑战。现有的时序分类模型大多依赖于独立同分布的假设，专注于独立地对每个段落进行建模，忽略了连续段落之间的自然时间依赖性。此外，不同标注者可能会提供不一致的边界标签，导致模型性能不稳定。图1：分段时间序列分类中的标注不一致性、模型预测连贯性及边界样本挑战针对这些挑战，该论文的研究者首次提出了一个实用的一致性学习框架 Con4m（Context-aware Consistency Learning Framework），用于基于原始 MVD 进行分段时间序列分类任务。Con4m 通过整合数据和标签层面的先验知识，指导模型关注有助于区分连续段落的有效上下文信息。同时，研究者还设计了一种基于上下文感知预测的处理不一致训练标签的渐进式方法，以获得更鲁棒的模型。总的来说，论文旨在通过引入上下文信息和一致性学习来提高分段时间序列分类任务的性能，并解决现有方法在处理 MVD 数据时的局限性。Con4m 是一种针对分段时间序列分类（Segmented Time Series Classification, TSC）任务的一致性学习框架。它专门设计来处理具有多类别、每个类别持续时间不一（MVD）的原始时间序列数据。用于提取连续上下文表示的编码器是 Con4m 框架中的一个关键组件，它负责从时间序列数据中捕捉局部连续性和上下文信息。这个编码器主要通过以下步骤实现：- 高斯核平滑：编码器使用高斯核来平滑局部时间窗口内的时间片段表示，以促进连续性。这意味着在给定的时间窗口内，相邻时间点的特征表示会被平滑处理，以反映它们在时间上的接近性。
- 邻居信息聚合：为了增强目标实例的区分能力，编码器通过聚合邻居信息来提升表示的质量。这是基于图神经网络的同质性假设，即同一个类别的邻居信息对于改善目标实例的表示是有帮助的。
- 自注意力机制：编码器使用自注意力机制来动态地聚合来自其他时间片段的信息。自注意力允许模型学习到不同时间片段之间的依赖关系，并根据它们的相关性来调整权重。
- 多头部 Con-Attention 层：编码器通过堆叠多个 Con-Attention 层来构建 Con-Transformer，这是 Con4m 的连续编码器的骨干网络。每个 Con-Attention 层都包含多头注意力机制，可以捕捉不同子空间下的时间依赖性。
- 自适应尺度参数：每个时间片段可以学习自己的尺度参数σ，以便更好地适应边界片段的分类任务，因为边界片段可能属于不同的类别。
- 残差连接和层归一化：为了促进深层网络的训练，编码器在每个 Con-Attention 层后使用残差连接和层归一化，这有助于避免梯度消失问题，并提高模型的训练效率。
通过这些步骤，连续上下文表示编码器能够生成捕捉到时间序列局部连续性和上下文信息的特征表示，这些表示随后被用于分类任务，以提高模型对连续时间片段的分类性能。基于上下文信息的一致性类别预测模块是 Con4m 框架中的另一个关键组件，它专注于利用上下文信息来提高模型对连续时间片段的分类性能，并确保预测的一致性。这个模块主要通过以下步骤实现：- 邻接类别一致性判别：该模块通过训练一个判别器来确定两个连续的时间片段是否属于同一类别。这有助于模型学习到时间片段之间的类别转换和一致性。
- 上下文类别预测聚合：根据判别器的输出，模型将根据相似时间片段的预测结果进行加权聚合，从而使得模型的预测更加关注于上下文信息。
- 预测行为约束：该模块通过函数拟合来约束模型的整体预测行为，确保连续时间片段的预测结果在时间轴上是连贯的。例如，使用双曲正切函数（Tanh）来拟合预测结果，以确保预测的单调性。
- 独立预测与约束预测的融合：在训练阶段，模型生成独立的预测结果和受到上下文标签信息约束的预测结果。在推理阶段，模型将这两类预测结果进行融合，以产生最终的一致性预测。
- 标签更新策略：在训练过程中，模型会根据预测结果逐渐更新训练标签，以减少不一致标签的影响。这通过动态调整原始标签和模型预测之间的权重来实现。为了模拟真实世界中的标签噪声，该模块能够处理标签扰动，并通过模型的预测来逐步纠正扰动，从而提高模型对噪声标签的鲁棒性。
- 课程学习技术：该模块采用课程学习技术，先从数据集中标签一致性较高的“核心”部分开始学习，然后逐渐过渡到标签一致性较低的“边界”部分。
- 多任务学习：在某些实现中，该模块可能同时执行分类任务和邻接类别一致性判别任务，这有助于模型更好地理解时间片段之间的上下文关系。
通过这些步骤，基于上下文信息的一致性类别预测模块能够生成更加准确和一致的预测结果，特别是在处理分段时间序列数据时，能够更好地捕捉时间片段之间的依赖性和转换关系。对于 Con4m 框架效果的验证，研究者的实验在多个公共和私有数据集上进行，以展示模型的泛化能力。这些数据集可能来自不同的领域，如医疗健康、活动识别等，并且包含具有 MVD 特性的时间序列数据。研究者将 Con4m 与当前最先进的模型或经典方法进行比较，如其他时间序列分类模型、噪声标签学习模型等，以证明 Con4m 的优越性。为了模拟真实世界中的标签噪声，实验可能人为地在数据集上引入标签扰动，并观察 Con4m 在处理噪声标签时的表现。结果如下：同时研究者在 SEEG 上进行了具体的案例来展示 Con4m 在实际问题中的应用效果，以及它是如何改善预测一致性的。在这项工作中，研究者专注于原始时间序列数据中的多类别不同持续时间（MVD）特性，针对分段时间序列分类（TSC）任务，提出了一个新颖的上下文感知一致性学习框架 Con4m。研究者首先正式证明了有价值的上下文信息可以增强分类实例的区分能力。基于这一见解，研究者引入了数据局部性和标签一致性的上下文先验知识，引导模型关注更有助于区分连续时间片段的上下文信息。利用上下文信息的有效性，研究者组合提出了 Con4m 框架，它逐步协调训练过程中的不一致标签，以实现更鲁棒的模型。通过在两个公共和一个私有的 MVD 数据集上的广泛实验，研究者验证了 Con4m 在处理分段 TSC 任务中的优越性能，并进一步通过标签替换实验和案例研究，证明了其在协调不一致标签方面的有效性。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
