专栏名称: 小白学视觉

本公众号主要介绍机器视觉基础知识和新闻，以及在学习机器视觉时遇到的各种纠结和坑的心路历程。

ECCV 2024 | 高效频域图像去雨与对比正则化

小白学视觉 · 公众号 · · 2024-12-12 10:05

正文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息

题目：Efficient Frequency-Domain Image Deraining with Contrastive Regularization

高效频域图像去雨与对比正则化

作者：Ning Gao, Xingyu Jiang, Xiuhui Zhang, and Yue Deng

源码：https://github.com/deng-ai-lab/FADformer

论文创新点

提出了一种高效的频率感知去雨框架（FADformer） ：作者提出了一个名为FADformer的新型框架，该框架通过在频域中捕获特征来实现高效的雨迹去除，这与仅依赖于空间域特征的方法相比，提供了一种新的视角和解决方案。
构建了融合傅里叶卷积混合器（FFCM） ：FADformer框架中的关键组件之一，FFCM，能够在空间和频域中进行卷积操作，这使得它在保持效率的同时具备了局部-全局特征捕获的能力，与自注意力机制相比，具有更高的计算效率。
引入了先验门控前馈网络（PGFN） ：PGFN通过引入残差通道先验（RCP）信息，以门控方式增强了局部细节和结构特征的恢复能力，这种结合先验知识的方法在去雨任务中显示出了其有效性。
开发了频域对比正则化（FCR） ：作者开发了一种新的频域对比正则化方法，该方法利用频域特征作为对比空间，有效地利用了负样本信息，并显著提高了去雨性能，这一方法在多个数据集和任务中都显示出了其普遍的有效性。

摘要

大多数当前的单图像去雨（SID）方法都是基于Transformer，通过全局建模实现高质量的重建。然而，它们的架构仅从空间域构建长距离特征，这在保持有效性的同时带来了显著的计算负担。此外，这些方法要么在训练中忽视了负样本信息，要么未能充分利用负样本中存在的雨迹模式。为了解决这些问题，作者提出了一种频率感知去雨变换框架（FADformer），它完全捕获频域特征以实现高效的雨迹去除。具体来说，作者构建了FADBlock，包括融合傅里叶卷积混合器（FFCM）和先验门控前馈网络（PGFN）。与自注意力机制不同，FFCM在空间和频域中进行卷积操作，使其具有局部-全局捕获能力和效率。同时，PGFN以门控方式引入残差通道先验以增强局部细节并保留特征结构。此外，作者在训练期间引入了频域对比正则化（FCR）。FCR促进了频域中的对比学习，并利用负样本中的雨迹模式来提高性能。广泛的实验表明了作者的FADformer的效率和有效性。

关键词

SID · 频率学习 · 对比正则化

3 方法

3.1 概述

我们的目标是两个：（1）建立一个既高效又擅长全局-局部建模的去雨网络，（2）创建一个利用负样本增强去雨性能的对比正则化。提出的频率感知去雨（FAD）框架的工作流程如图3所示。为了实现第一个目标，我们构建了一个名为FADformer的层次变换器类网络，它考虑了频域信息和先验知识。对于第二个目标，我们开发了一个使用频域作为对比空间的对比正则化项。

3.2 主干管道

给定一个雨天图像，我们首先使用卷积提取浅层特征，同时通过残差通道先验（RCP）计算结构先验图。随后，我们将特征通过一个三阶段的编码器-解码器网络进行深度特征提取。每个阶段由不同数量的FADBlocks堆叠而成，具有不同的空间分辨率域和通道维度，以提取多尺度特征。在每个FADBlock中，与自注意力机制不同，我们采用FFCM进行全局建模，仅涉及卷积和傅里叶变换操作。然后，PGFN被用来进一步丰富特征，以增强局部细节和纹理结构，由指导，其中是从轻量级先验分支（PB）编码浅层先验图获得的。特征的下采样和上采样涉及像素重组和像素洗牌操作[39]。跳跃连接[38]被用来融合来自同一阶段的编码器和解码器特征，然后通过逐点卷积进行通道压缩[12]。最后，一个卷积将特征转换到图像空间，产生残差图像。最终重建结果是通过获得的，其中表示FADformer的输出。

3.3 频率感知去雨块

FADBlock遵循变换器块[7]的范式，通过令牌混合器实现长距离特征感知，然后通过前馈网络（FFN）增强局部特征。不同之处在于，在全局特征处理阶段，FADBlock利用FFCM通过提取频域特征来实现空间域特征的全局建模，这比自注意力机制更高效。对于局部特征处理，根据去雨任务的先验知识，我们引入了PGFN，利用RCP先验作为门控特征，以协助增强FFN的结构恢复能力。数学上，给定特征作为第个FADBlock的输入，程序表示为：

其中表示BatchNorm；和分别表示FFCM和PGFN的输出。此外，表示RCP的特征图，其中是通过雨天图像计算的。融合傅里叶卷积混合器（FFCM）。回顾离散傅里叶变换（DFT），给定一个特征图，DFT可以形式化为如下：

其中基于傅里叶空间作为复数分量；和是傅里叶空间的坐标。如图2和方程（3）所示，傅里叶变换为图像去雨提供了两个优势。首先，它具有分离图像退化组件的能力，其中雨迹模式在频域中持有显著且不变的特征。其次，变换后的频率分量是从所有空间分量计算的，自然充当全局特征提取器。

因此，提出的FFCM有效地利用这两个优势。它具有与自注意力机制相似的全局感受野，但仅具有卷积的计算成本。FFCM架构，如图3.a所示，采用空间-频率concatenation设计来处理不同的雨迹特征，并实现局部-全局特征融合。在空间域操作中，该方法最初使用点卷积来提升输入特征并将其分成两组以提取多尺度局部特征，最终获得

。形式化为如下：

其中表示空间域中不同核大小的和深度卷积[8]。是点卷积，是GeLU激活。在频域操作中，经历DFT转换为实部和虚部分量。这些连接的分量经过核大小的卷积操作。调制后，实部和虚部分量被分割，逆DFT

ECCV 2024 | 高效频域图像去雨与对比正则化

正文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息

重磅干货，第一时间送达

题目：Efficient Frequency-Domain Image Deraining with Contrastive Regularization

高效频域图像去雨与对比正则化

作者：Ning Gao, Xingyu Jiang, Xiuhui Zhang, and Yue Deng

源码：https://github.com/deng-ai-lab/FADformer

论文创新点

摘要

关键词

3 方法

3.1 概述

3.2 主干管道

3.3 频率感知去雨块

请到「今天看啥」查看全文

ECCV 2024 | 高效频域图像去雨与对比正则化

正文

点击上方 (adsbygoogle = window.adsbygoogle || []).push({}); “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 论文信息

重磅干货，第一时间送达

题目：Efficient Frequency-Domain Image Deraining with Contrastive Regularization

高效频域图像去雨与对比正则化

作者：Ning Gao, Xingyu Jiang, Xiuhui Zhang, and Yue Deng

源码：https://github.com/deng-ai-lab/FADformer

论文创新点

摘要

关键词

3 方法 (adsbygoogle = window.adsbygoogle || []).push({});

3.1 概述

3.2 主干管道

3.3 频率感知去雨块

请到「今天看啥」查看全文

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

论文信息

3 方法