NeurIPS 2023 || 频域MLP—在13个时间序列数据集表现卓越

1. 基本信息和摘要

论文题目 :Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

作者 :Kun Yi, Qi Zhang, Wei Fan, Shoujin Wang, Pengyang Wang, Hui He, Defu Lian, Ning An, Longbing Cao, Zhendong Niu

机构 :北京理工大学,同济大学,牛津大学,悉尼科技大学,澳门大学,中国科学技术大学,合肥工业大学,麦考瑞大学

摘要 : 该论文研究了基于多层感知机(MLP)的时间序列预测方法。传统的MLP方法局限于点状映射,无法处理时间序列的全局性。为了解决这个问题,该论文探索了一种新的方向,即在频域中用MLP进行时间序列预测。具体来说,该论文首先提出了频域MLP,它能够捕获时间序列的关键模式,具有全局视角和能量聚集的特点。然后,该论文基于频域MLP提出了一个简单有效的时间序列预测架构FreTS。FreTS主要包含两个阶段:(1) 域转换,将时间序列从时域转换到频域;(2) 频域学习,在频域中分别对实部和虚部进行MLP学习。 实验表明,该方法在13个时间序列预测基准数据集上均优于当前最先进的方法。

2. 介绍

时间序列预测在许多实际应用中起着关键作用,如气候预测、交通预测、经济分析等。早期的统计预测方法包括ARIMA、滑动平均等。近年来,深度学习方法由于能提取时间序列的非线性复杂相关性而被广泛应用,例如基于RNN、CNN和Transformer的方法。

但是,这些复杂的模型结构通常计算开销较大。因此,一些基于MLP的简单高效方法被提出,如N-BEATS、LightTS等。但是,MLP方法局限于点状映射,无法处理时间序列的全局依赖性,这严重制约了其性能。

为了解决这个问题,本文探索了一种新的方向,即在频域中应用MLP进行时间序列预测 。实验发现,频域MLP能够从全局视角捕获时间序列的关键模式,并具有能量聚集的特点。因此,作者在此基础上提出了FreTS模型。

3. 方法

3.1 频域学习架构

FreTS的频域学习架构如图2所示。它主要包含以下两个学习器:

(1) 频域通道学习器:对每个时间步应用频域MLP,以学习通道之间的依赖性;

(2) 频域时间学习器:对每个通道应用频域MLP,以学习时间模式。

两个学习器都需要进行域转换,即用DFT将时域信号转换为频谱。学习结束后再转换回时域。

其中,输入 先与权重向量 相乘得到 ,然后进入频域通道学习器。对于每个时间步 ,有:

其中FreMLP表示频域MLP。 是频域表示, 是转换回时域的结果。

类似地,频域时间学习器对每个通道应用FreMLP,公式为:

最后,通过前馈网络得到预测输出 。

3.2 频域MLP

频域MLP通过分别学习复数的实部和虚部来实现,如图3所示。

对于复数输入 ,复数权重矩阵 ,复数偏置 ,频域MLP定义为:

其中,根据复数乘法法则,有:

这里