还记得一夜爆火的KAN吗?
KAN的核心特点是把激活函数放在权重上并参数化为样条曲线,让它具有灵活的函数拟合能力和一定的可解释性,以便更好地处理和捕捉时间序列中的复杂关系与非线性模式,帮助我们更全面地分析和预测时间序列数据。
因此
KAN非常适合作为时间序列预测
的创新点
,而且它是最新提出的模型,目前用的人很少,不过KAN单独使用会存在训练速度慢等问题,所以现在的主流思路是结合其他模型(比如LSTM、注意力机制等)加上个优化方法做创新。
为帮助同学们快速了解这个创新方向,我根据以上思路整理了
8个
最新发表的KAN+时间序列预测论文
给各位做案例参考,有开源代码的都附上了,建议想发论文的同学仔细研读。
扫码
添加小享,回复“
KAN时序
”
免费获取
全部
论
文+开源代码
Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
方法:
本论文介绍了Kolmogorov-Arnold网络(KANs)在时间序列预测中的新应用,利用其自适应激活函数来增强预测建模。受Kolmogorov-Arnold表示定理的启发,KANs用样条参数化的单变量函数代替传统的线性权重,使其能够动态学习激活模式。
创新点:
-
引入了Kolmogorov-Arnold Networks (KANs)这种新的神经网络架构,以替代传统的多层感知器。KANs利用了Kolmogorov-Arnold表示定理的理论基础,通过在网络的边缘上使用样条函数代替线性权重来进行建模。
-
通过将KANs应用于实际的卫星交通数据,该研究评估了KANs在时间序列预测中的实用性,并分析了可调参数数量对预测性能的影响。结果表明,KANs在低计算资源下能够实现更好的预测性能,并且比传统的多层感知器在错误度量上表现更好。
TKAN: Temporal Kolmogorov-Arnold Networks
方法:
论文提出了一种新的神经网络架构,称为TKANs,它结合了Kolmogorov-Arnold Networks和长短期记忆网络(LSTM)的特点,专门用于时间序列预测。该模型能够改善多个步骤的性能和稳定性,并在长期预测方面表现出色,对时间序列分析具有重要意义。
创新点:
-
门控机制:这些机制有助于管理信息流。模型决定随着时间的推移应保留或遗忘哪些信息。
-
时间Kolmogorov-Arnold网络(TKANs):TKAN层将RKAN架构与略微修改的LSTM单元相结合。这种组合为涉及复杂的顺序数据的任务提供了更强大的建模能力。
-
外部记忆模块:这种“记忆”可以存储与时间上下文相关的信息,并在处理过程中由网络访问。这样,网络就可以明确地学习和利用过去的信息。
扫码
添加小享,回复“
KAN时序
”
免费获取
全部
论
文+开源代码
SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series
方法:
论文介绍了一种新的改进方法,即将路径签名与Kolmogorov-Arnold网络相结合,以提高传统KANs在处理近似函数任务中的能力,通过使用包含丰富几何信息的路径签名,这一新方法不仅优于其他常规多变量时间序列数据的方法,而且为建模复杂时间关系提供了一个简单而强大的框架,并在金融建模或时间序列分析等领域展示了潜力。
创新点:
-
引入可学习路径签名和Kolmogorov-Arnold网络(KANs)的组合,以增强多元函数逼近的能力。
-
使用可学习路径签名层和KAN层,将路径特征与传统线性变换相结合,提高KANs的逼近能力。