逆天顶会思路！傅里叶变换+Attention！创新性极强，足够支撑一篇高分论文

注意力机制 不愧是顶会大热门 ，结合傅里叶变换 狂发NeurIPS、AAAI、ISCA...比如NeurIPS 2024上的一篇，结合了傅里叶变换和深度学习（特别是注意力机制）来改进长期时间序列预测，在多个真实世界数据集上实现了SOTA预测性能！

实际上，这种结合在多个领域尤其是深度学习和信号处理领域都不可或缺。原因在于，它可以 显著提升模型的性能与精度 ，通过傅里叶变换提取频域特征，结合注意力机制动态关注关键信息，以提升复杂数据的信息捕捉效率，增强模型的解释性和鲁棒性。

因此，这种结合早已成了 深度学习领域的研究热点之一， 未来将会在更多应用领域发展。但它目前还存在许多问题有待解决（比如计算量大、泛化能力不足等），不过对于论文er来说，这也意味着 创新空间依然大。

本文挑选了 12篇 傅里叶变换+注意力机制最新论文 ，包含顶会成果以及开源代码，感兴趣的同学可以直接拿来作参考~相信大家可以很快找到灵感。

扫码 添加小享，回复“ 傅里叶注意 ”

免费获取 全部 论 文+开源代码

An attentive inductive bias for sequential recommendation beyond the self-attention

方法： 论文介绍了一种新的序列推荐模型，名为BSARec，它结合了傅里叶变换和注意力机制。BSARec利用傅里叶变换来注入一个关注细粒度序列模式的归纳偏差，并整合低频和高频信息以减轻过平滑问题。

创新点：

• 首次揭示了自注意力机制在序列推荐中存在的低通滤波和过度平滑问题，并通过引入傅里叶变换来注入感知偏置。
• BSARec模型通过结合低频与高频信息，成功解决了自注意力在序列推荐中导致的过度平滑问题。

FGA: Fourier-Guided Attention Network for Crowd Count Estimation

方法： 论文介绍了一种名为傅里叶引导注意力（FGA）的新型注意力机制，通过结合快速傅里叶卷积（FFC）与注意力机制来改进现有的群体计数方法，以解决传统卷积神经网络在捕捉全局和长程模式上的不足。

创新点：

• 利用快速傅里叶变换（FFT）结合空间注意力和通道注意力，实现对全局和局部特征的高效提取。
• 提出了一种新颖的双路径架构，将FFC和注意力机制结合起来，分别处理全局特征和半全局及局部特征。

扫码 添加小享，回复“ 傅里叶注意 ”

免费获取 全部 论 文+开源代码

Diffusion-based conditional wind power forecasting via channel attention

方法： 论文提出了一个名为DC-WPF的框架，该框架结合了频域分析和通道注意力机制，旨在提高风电点预测的准确性并提供相应的概率预测结果，从而增强预测模型的可靠性。实验证明DC-WPF在整体、一般和极端情况下的预测性能均优于现有方法。

创新点：

• 引入了基于离散余弦变换的频域特征捕获方法，通过通道机制技术，将这些频域信息整合到模型中，从而提高了风电预测的精度。
• 提出了一种条件扩散转换方法，用于将确定性风电预测转化为概率预测。