专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
璞缇客精品酒店  ·  《福布斯旅游指南》公布!这座城市竟然有7家酒 ... ·  14 小时前  
南京日报  ·  南京紫金山下雪了! ·  2 天前  
南京日报  ·  南京紫金山下雪了! ·  2 天前  
8099999街头巷尾  ·  难怪成为昆明人的“新宠”,这里拍照真的巨出片! ·  3 天前  
8099999街头巷尾  ·  难怪成为昆明人的“新宠”,这里拍照真的巨出片! ·  3 天前  
51好读  ›  专栏  ›  学姐带你玩AI

发论文创新点来了!KAN+时间序列预测,更高性能表现、更低资源占用

学姐带你玩AI  · 公众号  ·  · 2024-07-27 18:23

正文

还记得一夜爆火的KAN吗?

KAN的核心特点是把激活函数放在权重上并参数化为样条曲线,让它具有灵活的函数拟合能力和一定的可解释性,以便更好地处理和捕捉时间序列中的复杂关系与非线性模式,帮助我们更全面地分析和预测时间序列数据。

因此 KAN非常适合作为时间序列预测 的创新点 ,而且它是最新提出的模型,目前用的人很少,不过KAN单独使用会存在训练速度慢等问题,所以现在的主流思路是结合其他模型(比如LSTM、注意力机制等)加上个优化方法做创新。

为帮助同学们快速了解这个创新方向,我根据以上思路整理了 8个 最新发表的KAN+时间序列预测论文 给各位做案例参考,有开源代码的都附上了,建议想发论文的同学仔细研读。

扫码 添加小享,回复“ KAN时序

免费获取 全部 文+开源代码

Kolmogorov-Arnold Networks (KANs) for Time Series Analysis

方法: 本论文介绍了Kolmogorov-Arnold网络(KANs)在时间序列预测中的新应用,利用其自适应激活函数来增强预测建模。受Kolmogorov-Arnold表示定理的启发,KANs用样条参数化的单变量函数代替传统的线性权重,使其能够动态学习激活模式。

创新点:

  • 引入了Kolmogorov-Arnold Networks (KANs)这种新的神经网络架构,以替代传统的多层感知器。KANs利用了Kolmogorov-Arnold表示定理的理论基础,通过在网络的边缘上使用样条函数代替线性权重来进行建模。
  • 通过将KANs应用于实际的卫星交通数据,该研究评估了KANs在时间序列预测中的实用性,并分析了可调参数数量对预测性能的影响。结果表明,KANs在低计算资源下能够实现更好的预测性能,并且比传统的多层感知器在错误度量上表现更好。

TKAN: Temporal Kolmogorov-Arnold Networks

方法: 论文提出了一种新的神经网络架构,称为TKANs,它结合了Kolmogorov-Arnold Networks和长短期记忆网络(LSTM)的特点,专门用于时间序列预测。该模型能够改善多个步骤的性能和稳定性,并在长期预测方面表现出色,对时间序列分析具有重要意义。

创新点:

  • 门控机制:这些机制有助于管理信息流。模型决定随着时间的推移应保留或遗忘哪些信息。
  • 时间Kolmogorov-Arnold网络(TKANs):TKAN层将RKAN架构与略微修改的LSTM单元相结合。这种组合为涉及复杂的顺序数据的任务提供了更强大的建模能力。
  • 外部记忆模块:这种“记忆”可以存储与时间上下文相关的信息,并在处理过程中由网络访问。这样,网络就可以明确地学习和利用过去的信息。

扫码 添加小享,回复“ KAN时序

免费获取 全部 文+开源代码

SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series

方法: 论文介绍了一种新的改进方法,即将路径签名与Kolmogorov-Arnold网络相结合,以提高传统KANs在处理近似函数任务中的能力,通过使用包含丰富几何信息的路径签名,这一新方法不仅优于其他常规多变量时间序列数据的方法,而且为建模复杂时间关系提供了一个简单而强大的框架,并在金融建模或时间序列分析等领域展示了潜力。

创新点:

  • 引入可学习路径签名和Kolmogorov-Arnold网络(KANs)的组合,以增强多元函数逼近的能力。
  • 使用可学习路径签名层和KAN层,将路径特征与传统线性变换相结合,提高KANs的逼近能力。







请到「今天看啥」查看全文