文章介绍了一个新的多实例学习 (multiple instance learning (MIL)) 框架，名为TimeMIL，旨在改善多变量时间序列分类（MTSC）的性能和模型兴趣模式可视化。
>>
加入极市CV技术交流群，走在计算机视觉的最前沿
Link:
https://arxiv.org/abs/2405.03140
Github Link:
https://github.com/xiwenc1/TimeMIL
文章由来自克莱姆森大学，圣路易斯华盛顿大学，亚利桑那州立大学，亚利桑那大学等多位学者共同完成，本文被《国际机器学习大会（ICML 2024）》接受。这篇文章介绍了一个新的多实例学习 (multiple instance learning (MIL)) 框架，名为TimeMIL，旨在改善多变量时间序列分类（MTSC）的性能和模型兴趣模式可视化.
深度神经网络，包括 Transformer 和卷积神经网络，显着改进了多元时间序列分类 (MTSC)。然而，这些方法通常依赖于监督学习 ( supervised learning)，而监督学习并不能完全考虑时间序列数据中模式的稀疏性和局部性（例如心电图中与疾病相关的异常点）。为了应对这一挑战，我们正式将 MTSC 重新定义为弱监督问题 (weakly supervised)，引入一种新颖的多实例学习 框架，以更好地定位感兴趣的模式并建模时间序列中的时间依赖性。其中这个框架将每个时间点视为一个实例（instance）和整个时间序列作为一个包(bag)，包的标签是已知的而实例的标签是未知的。 Figure. 1展示了不同问题（supervised learning VS MIL）的决策边界的示意图，Figure. 6 展示的从实验中得到的决策边界验证了我们的猜想。
文章也深入探讨了TimeMIL框架的理论基础，通过信息论的角度分析了模型对时间序列分类问题的处理方法。作者指出，传统的多实例学习方法未能充分利用时间序列数据的时序性质，而TimeMIL方法正是基于对时间序列时序特性的深入理解和利用，提出了一种更符合时间序列分析需求的弱监督学习策略。
方法部分主要包括了一个Time-Aware MIL Pooling 和 Wavelet Positional Encoding.
作者首先考虑到时序数据中的兴趣模式通常是稀疏的特性,将多元时序数据转换为多实例学习问题，并且利用信息论证明是时序数据中特有的时间依赖的重要性，因此引入了self-attention 机制对time slot为基础的instance进行多实例学习. 除此之外，考虑到self-attention中忽略时间节点的顺序关系 的问题，本文提出了一个可学习的Wavelet Positional Encoding module, 如figure 4所示.
在实验部分，作者展示了TimeMIL方法在28个数据集上的应用，结果显示该方法在多个数据集上的表现优于26种最新的技术，包括CNN、LSTM、MLP和Transformer等。此外，作者还对比分析了不同的池化策略和位置编码方式对分类性能的影响，证明了时间感知的池化和基于小波位置编码的有效性。同时多实例学习自带的可解释性也能使研究人员、从业者和利益相关者更容易理解/验证模型如何以及为何做出特定预测。
这篇文章不仅为时间序列分析提供了一种新的方法论视角，而且其提出的模型在实际应用中表现出色，尤其适用于医疗健康、金融分析、环境监测等领域，其中时间序列数据的分析和分类准确性至关重要。通过这种模型，研究人员和工程师可以更有效地识别和利用时间序列数据中的关键信息，推动相关领域的技术进步和应用创新。
公众号后台回复“
数据集
”获取100+深度学习各方向资源整理
