“时间序列+预训练大模型”再登顶级A会！思路绝佳复刻无压力，快冲！

今天我们来聊一个新兴的、创新空间很大的方向： 时间序列+预训练大模型。

预训练大模型因为在大规模多领域的数据集上进行训练，能学习到丰富的、跨领域的时间序列表示，在面对新的、没见过的时间序列数据时，它能够表现出更强的泛化性和数据处理能力，实现更高的准确性。

因此关于时间序列+预训练大模型的研究正在快速发展，并且已经在多个领域和应用中有了显著的成果，比如Chronos、清华Timer等，更有提高了42.8%性能的ViTST。

如果有同学有想法发论文，可以从 零样本和通用性 下手，这俩是这个方向关注的重点。另外为方便大家找参考，我整理了 10个 时间序列+预训练大模型最新成果 ，全都已开源可复现。

扫码 添加小享， 回复“ 时序预训练 ”

免费获取 全部论文+代码合集

Time Series as Images: Vision Transformer for Irregularly Sampled Time Series

方法： 论文介绍了一种新颖的方法，通过将非规则采样的时间序列转换为线图图像，然后利用预训练的ViT进行时间序列分类，类似于图像分类。该方法不仅简化了专门的算法设计，还具有成为时间序列建模的通用框架的潜力。

创新点：

• 将不规则采样的时间序列转化为线图图像，利用预训练的ViT进行时间序列分类。这种方法简单而直观，能够处理具有不同特征的时间序列数据，无论其是否规则、结构不同还是尺度不同。
• ViTST在缺失观测值的情况下展现出的鲁棒性：在“leave-sensors-out”设置中，即使在测试时掩盖了一半的变量，ViTST在绝对F1分数上比领先的专门基线提高了42.8%性能。

Chronos: Learning the Language of Time Series

方法： 论文提出了一种通用的预训练时间序列预测模型，名为Chronos，该模型基于语言模型框架，并通过简单的缩放和量化将时间序列标记化为离散的标记，以实现对未来模式的预测。实验证明，Chronos模型在训练语料库中的数据集上显著优于其他方法，并表现出良好的零样本性能。

创新点：

• Chronos将现有的语言模型体系结构和训练过程最小化地适应于时间序列预测，通过简单的缩放和量化处理，将时间序列离散化为离散的标记序列，然后可以使用现成的语言模型在这个“时间序列语言”上进行训练，而无需对模型体系结构进行任何修改。
• Chronos引入了数据增强策略，包括TSMixup和KernelSynth，来增强模型的鲁棒性和泛化能力。

扫码 添加小享， 回复“ 时序预训练