自去年底以来，时序预测领域正在经历重大转型，
从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」
。目前虽然有不少基础模型已经提出，但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。
近期，来自 Salesforce、新加坡国立大学、香港科技大学（广州）的研究者以模型专家化这一全新视角作为抓手，设计并提出了下一代时序预测基础模型 Moirai-MoE。
该模型将模型专业化设计在 token 这一细粒度运行，并且以完全自动的数据驱动模式对其赋能。
模型性能方面，不同于仅在少量数据集上进行评估的已有时序基础模型，Moirai-MoE 在一共39个数据集上进行了广泛评估，充分验证了其优越性。该工作的短文版本已被 NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。
【论文标题】
Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts
https://arxiv.org/abs/2410.10469
【代码仓库】https://github.com/SalesforceAIResearch/uni2ts/tree/main/project/moirai-moe-1
研究动机
训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性，这种时序数据的独特特性凸显了设计专业化模块的必要性。现有的解决方案主要分为两种：
-
第一种是通过基于语言的提示来识别数据源，从而实现非常粗粒度的数据集级别模型专业化；
作者认为，这种人为强加的频率级专业化缺乏普适性，并引入了一些局限性：
-
频率并不总是一个可靠的指标，无法有效地捕捉时序数据的真实结构。如下图所示，具有不同频率的时间序列可以表现出相似的模式，而具有相同频率的时间序列可能显示出多样且不相关的模式。这种人为强加的频率和模式之间的不匹配削弱了模型专业化的有效性，从而导致性能下降。
为了解决上述问题，作者提出了全新的时间序列统一训练解决方案 Moirai-MoE，
其核心思想是利用单个输入/输出投影层，同时将各种时间序列模式的建模委托给 Transformer 层中的稀疏混合专家
。通过这些设计，Moirai-MoE 的专业化以数据驱动的方式实现，并在 token 级别运行。
基于稀疏混合专家的时序基础模型
Moirai-MoE 构建在它的前序工作 Moirai 之上。虽然 Moirai-MoE 继承了 Moirai 的许多优点，但其主要改进在于：Moirai-MoE 不使用多个启发式定义的输入/输出投影层来对具有不同频率的时间序列进行建模，而是使用单个输入/输出投影层，同时将捕获不同时间序列模式的任务委托给Transformer中的稀疏混合专家。
此外，Moirai-MoE 提出了一种新型的利用预训练模型中知识的门控函数，并采用自回归的训练目标来提高训练效率。下面简要介绍 Moirai-MoE 的模块。
01
时序 Token 构造
Moirai-MoE 采用切块（patching）技术将时间序列输入切成没有重叠的小块，而后对小块进行标准化来缓解分布迁移的问题。为了在自回归模型中获取准确、鲁棒的标准化统计值，作者引入掩蔽率r作为超参数，它指定整个序列中专门用于正则化器计算的部分，不对这些 patch 计算预测损失。最后，一个输入投影层来负责把 patch 投影到和 Transformer 一样的维度，生成时序 token。
通过用 MoE 层替换 Transformer 的每个FFN来建立专家混合层。该 MoE 层由 M 个专家网络和一个门控函数 G 组成。每个 token 只激活一个专家子集，从而允许专家专注于不同模式的时间序列数据并确保计算效率。
在 Moirai-MoE 中，作者探索了不同的门控函数。首先使用的是最流行的线性投影门控函数，它通过一个线性层来生成专家子集的分配结果。此外，作者提出了一种新的门控机制，利用从预训练模型的 token 表示中得出的聚类中心来指导专家分配。这一方法的动机是，与随机初始化的线性投影层相比，预训练 token 表示的聚类更接近数据的真实分布，可以更有效地实现模型专业化。
为了同时支持点预测和概率预测两种预测模式，Moirai-MoE 的训练目标设定为优化未来混合分布的对数似然函数。
实验效果
