前沿论文 Arxiv'24 | FourierMamba: 傅里叶学习与Mamba结合的图像去雨

小白学视觉 · 公众号 · · 2025-01-22 10:05

正文

点击下方 “ PaperEveryday ”，每天获得顶刊论文解读

点击加入论文投稿、写作、阅读分享交流群

完整版论文中文解读PDF请加入知识星球获取

论文信息

题目：FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining

FourierMamba: 傅里叶学习与状态空间模型结合的图像去雨

作者：Dong Li, Yidi Liu, Xueyang Fu, Senyan Xu, Zheng-Jun Zha

论文创新点

引入Mamba技术到傅里叶空间 ：本文首次将 Mamba技术 引入到 傅里叶空间 中，用于图像去雨任务。通过利用Mamba的选择性扫描机制，能够在傅里叶空间中有效地建模不同频率之间的相关性，从而提升去雨效果。
空间维度的Z字形扫描方法 ：在空间维度的傅里叶空间中，作者提出了一种基于 Z字形编码 的扫描方法，将频率从低频到高频重新排列，从而有序地关联频率之间的连接。
通道维度的Mamba频率关联 ：在通道维度的傅里叶空间中，由于频率顺序沿轴排列，作者直接使用 Mamba 进行频率关联，从而改善了通道信息表示并增强了通道上的全局特性。
多维度傅里叶空间扫描策略 ：本文提出了 空间和通道维度 的双重扫描策略，分别通过Z字形扫描和Mamba扫描，系统地关联了傅里叶空间中的频率信息。

摘要

图像去雨旨在从雨天的图像中去除雨条纹并恢复清晰的背景。目前，一些使用傅里叶变换的研究已被证明对图像去雨有效，因为它作为捕捉雨条纹的有效频率先验。然而，尽管图像中存在低频和高频的依赖关系，这些基于傅里叶的方法很少利用不同频率之间的相关性来结合其学习过程，限制了频率信息在图像去雨中的充分利用。最近出现的Mamba技术展示了其在多个领域（如空间、时间）中建模相关性的有效性和效率，作者认为将Mamba引入其未探索的傅里叶空间以关联不同频率将有助于改善图像去雨。这促使作者提出了一种名为FourierMamba的新框架，该框架在傅里叶空间中使用Mamba进行图像去雨。由于傅里叶空间中频率顺序的独特排列，FourierMamba的核心在于不同频率的扫描编码，其中低频-高频顺序在空间维度（轴上未排列）和通道维度（轴上排列）中表现出不同的格式。因此，作者设计了FourierMamba，通过不同的设计在空间和通道维度上关联傅里叶空间信息。具体来说，在空间维度的傅里叶空间中，作者引入了Z字形编码来扫描频率，将顺序从低频到高频重新排列，从而有序地关联频率之间的连接；在通道维度的傅里叶空间中，由于频率顺序在轴上已排列，作者可以直接使用Mamba进行频率关联并改善通道信息表示。大量实验表明，作者的方法在定性和定量上都优于最先进的方法。

关键字

图像去雨，傅里叶变换，状态空间模型，Mamba，频率相关性

FourierMamba

2.3.1 整体框架

在图3中，作者展示了所提出的FourierMamba。给定一个雨天图像，FourierMamba首先使用卷积层生成维度为的浅层特征，其中和表示高度和宽度，表示通道数。随后，作者采用多尺度U-Net架构来获取深层特征。该阶段由一系列傅里叶残差状态空间组组成，每个组包含多个傅里叶残差状态空间块（FRSSB）。FRSSB包含作者的两个核心设计：傅里叶空间交互SSM块和傅里叶通道演化SSM块。它们分别从空间和通道维度关联傅里叶域信息，以充分利用频率信息。

2.3.2 傅里叶空间交互SSM

傅里叶空间交互状态空间模型（FSI-SSM）的结构如图3所示。作者首先应用LayerNorm将输入特征转换为。为了促进空间和频率信息之间的交互，FSI-SSM采用傅里叶分支和空间分支来协同处理。

傅里叶分支 ：通过快速傅里叶变换转换为傅里叶频谱，随后分解为幅度谱和相位谱。幅度谱和相位谱分别使用图2所示的渐进频率扫描方法进行处理，得到和。

其中FourScan是使用傅里叶空间扫描的序列变换。随后，作者对处理后的频谱进行逆傅里叶变换，并将其与SiLU的输出相乘。

其中是傅里叶分支的输出，是Hadamard积。

空间分支 ：在空间域中，作者将输入特征输入到两个并行的子分支中。一个子分支使用SiLU函数激活特征。另一个子分支在卷积后对特征进行空间Mamba。具体来说，空间Mamba采用与上述频率分支相同的操作序列，但SSM中的扫描使用图3所示的二维选择性扫描模块。最后，两个子分支的输出逐元素相乘，得到输出。

其中Conv是卷积，SpaScan是上述的空间Mamba。随后，作者使用残差连接将空间输出添加到。空间分支捕捉空间域中的全局特征，补充了傅里叶分支在频域中捕捉的频率相关性，从而有利于图像去雨的性能。因此，作者将空间和频率分支的输出连接起来，并使用卷积进行空间和频率信息的融合。

2.3.3 傅里叶通道演化SSM

先前的工作声称，选择关键通道可以避免SSM中的通道冗余。由于在通道维度傅里叶变换后，每个通道都包含所有通道的信息，作者在傅里叶域中进行通道交互，以有效地关联不同频率的通道。如图3所示，作者提出的傅里叶通道演化SSM（FCS-SSM）由三个顺序部分组成：沿通道维度应用傅里叶变换以获取通道维度的傅里叶域特征，扫描其幅度和相位，然后恢复到空间域。具体来说，假设输入特征为，作者首先对其进行全局平均池化。

其中对应于的幅度谱的中心点，有效地封装了特征的全局信息。然后，作者使用公式3中的通道维度傅里叶变换对进行变换，得到。基于此，作者使用公式4对进行处理，得到其幅度分量和相位分量。由于幅度谱和相位谱具有明显的信息意义，作者选择对这两个分量进行Mamba扫描。

其中ChaScan是一维序列变换，使用以下操作序列：

。其扫描方法如图2所示。在Mamba关联通道维度中的不同频率后，作者对其进行逆傅里叶变换，并将结果与SiLU激活后的通道特征相乘。

其中