通过结合快速傅里叶变换的优势，
快速傅里叶卷积（FFC）
提供了一种高效的方式来执行卷积操作，特别是在需要全局上下文信息和跨尺度特征融合的场景中。
这种独特的频域操作不仅能提高特征提取的效率和质量，还可以加速计算过程。在实际应用中帮助我们
提高模型性能
，同时保持
较低的计算成本。
比如：
-
英伟达等团队提出的基于傅里叶的神经网络预测模型
FourCastNet
，在节点小时(node-hour)基础上比传统 NWP 模型快约 45,000 倍。
-
斯坦福团队引入
FlashFFTConv
来优化机器学习中长序列的FFT卷积，可将FFT卷积加速高达7.93倍。
为帮助同学们深入了解FFC原理，获取科研灵感，我整理了
10个
快速傅里叶卷积创新方案
，来源文章以及开源代码也列上了，方便同学们复现。
扫码
添加小享，回复“
FFC模块
”
免费获取
全部
论
文+开源代码
FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores
方法：
作者提出了一种新的系统FlashFFTConv，通过Monarch FFT分解对FFT卷积进行优化。该分解将FFT表示为一系列矩阵乘法操作，可以有效地映射到硬件上。通过简单的GPU成本模型，作者展示了如何根据序列长度调整分解的顺序p，以平衡FLOP成本和I/O成本。
FlashFFTConv还利用实值FFT算法将FFT操作的长度减半，并在输入进行零填充时有选择地跳过矩阵乘法操作的部分。此外，作者还提出了部分卷积和频率稀疏卷积的架构扩展，这些扩展可以减少内存占用和运行时间。
创新点：
-
FlashFFTConv是一种优化FFT卷积的新系统，通过Monarch分解FFT来提高卷积的效率和性能。
-
FlashFFTConv通过优化FFT卷积算法，提高了卷积序列模型的质量和效率。
-
FlashFFTConv还引入了部分卷积和频率稀疏卷积两种新的卷积算法，可以进一步减少内存占用和提高计算速度。
FOURCASTNET: A GLOBAL DATA-DRIVEN HIGH-RESOLUTION WEATHER MODEL USING ADAPTIVE FOURIER NEURAL OPERATORS
方法：
FourCastNet是一种全球数据驱动的深度学习(DL)天气预报模型，基于Fourier神经算子(FNO)和自适应Fourier神经算子(AFNO)。FourCastNet能够以很高的准确性生成高分辨率的风速和降水预报，预测速度更快、计算成本更低，并且能够生成大规模的集合预报。
创新点：
-
FourCastNet 的分辨率比现有的最先进基于DL的全球天气模型高出八倍，使其能够准确解析极端事件，如热带气旋和大气河。
-
在最长一周的预报时效内，FourCastNet 的预测结果可以与传统的数值天气预报(NWP)模型IFS相媲美，展现了数据驱动模型在补充甚至最终替代NWP方面的潜力。
-
FourCastNet 能够在数秒内生成非常大的集合预报，提高了对极端天气事件预警的可靠性，并能够快速评估其影响。
-
FourCastNet 比传统的NWP模型快大约45,000倍，并且能耗降低了12,000倍，使其成为天气预报的一种更高效、更经济的解决方案。
扫码
添加小享，回复“
FFC模块
”
免费获取
全部
论
文+开源代码
Fast-ParC: Capturing Position Aware Global Feature for ConvNets and ViTs
方法：
本文提出了一种名为ParC（Positional Aware Circular Convolution）的新型插入式操作，将Transformer和ConvNet的优点相结合。ParC通过使用全局卷积核和循环卷积来捕捉全局特征，并使用位置编码保持位置敏感性。与MHA相比，ParC将全局操作的时间复杂度从O(n^2)降低到O(n^3/2)。通过使用FFT（Fast Fourier Transform），Fast-ParC将ParC的复杂度进一步降低到O(n log n)。
创新点：
-
-
ParC操作是一种新颖的插入式操作，结合了ViT中使用的自注意力机制和纯卷积操作，具有全局感受野。
-
ParC操作可以更方便地在不同硬件平台上支持，并提高网络在分类任务上的性能。
-
-
-
Fast-ParC是ParC的一种基于FFT的加速版本，用于处理高分辨率输入特征。
-
Fast-ParC操作能够在高输入分辨率的情况下保持较低的计算预算，使ParC成为大多数计算机视觉任务的竞争性通用选择。
-
Fast-ParC操作进一步拓宽了ParC的应用场景。
