作者提出了一种针对恶劣天气条件（如雾和低光）的图像自适应目标检测方法。作者的框架使用可微处理滤波器进行图像增强，以便进行后期的目标检测。作者的框架引入了两种可微滤波器：
一种基于贝塞尔曲线（BPW）像素化的可微滤波器，另一种基于核的局部（KBL）可微滤波器。
这些滤波器将经典图像处理滤波器的功能统一在一起，并提高了目标检测的性能。作者还提出了一种针对BPW滤波器的跨域自适应数据增强策略。
作者的方法不需要针对特定数据的自定义滤波器组合、参数范围和数据增强。作者通过将所提出的基于增强鲁棒性的统一图像处理（ERUP）-YOLO方法应用到YOLOv3检测器上，来评估作者提出的改进方法。
在恶劣天气数据集上的实验表明，作者提出的滤波器与传统方法的表达能力相匹配或超过，并且 ERUP-YOLO在各种恶劣天气条件下（包括雾和低光条件）都取得了优越的性能。
1 Introduction
基于机器学习的目标检测方法通常在正常天气和良好曝光条件下进行训练，并取得了更高的性能。然而，当这些检测器应用于恶劣天气场景，如雾天或低光条件下时，性能会显著降低。恶劣天气导致训练和测试分布之间的域转移。为了减轻这些域转移，已经提出了几种方法。一些方法试图通过去雾[4, 19]或低光增强[6]来减少天气的影响。另一种方法将恶劣天气视为域自适应问题，旨在使正常条件和恶劣条件域的特征分布对齐。
此外，一种新兴的方法称为图像自适应目标检测，该方法结合了图像处理和域自适应。图像自适应方法 [12, 18] 将可微图像处理滤波器集成到目标检测 Pipeline 中。这些方法使用卷积神经网络（CNN）模型从输入图像中估计经典图像处理滤波器（如白平衡、伽马校正、色调映射、对比增强和锐化）的参数。然后，使用估计的参数应用这些经典滤波器对输入图像进行预处理，然后将其作为输入传递给目标检测器。
虽然这些图像自适应方法展现出令人鼓舞的结果，但它们在滤波器表示的复杂性方面仍存在一些问题。这种复杂性包括组合、顺序和多个滤波器的各种参数范围。这种复杂性导致冗余滤波器处理和需要针对每种恶劣天气条件手动定制滤波器组合。随着滤波器数量增加，这种定制的复杂性呈指数增长。因此，对于实现高效且无需定制的图像自适应预处理器，简化预处理滤波器的表示至关重要。
本文提出了一种新颖的图像自适应目标检测方法，该方法具有更简单且无需定制化的图像处理滤波器。作者重新考虑了经典预处理滤波器的作用，并假设这些滤波器通过全局和局部增强来提高目标检测性能。基于这一假设，作者统一了经典滤波器，并仅用两个简单且可微分的滤波器来表示这些滤波器。作者的贡献如下：
作者提出了一个基于图像自适应的目标检测方法，称为增强鲁棒性统一图像处理（ERUP-YOLO）。作者的关键思想是将经典的图像处理滤波器统一并泛化为两种简单且可微分的滤波器：基于贝塞尔曲线像素级（BPW）滤波器和基于核的局部（KBL）滤波器。
作者所提出的方法不需要针对特定数据对滤波器组合和参数范围进行定制。
利用作者的BPW滤波器，作者还提出了一个域无关的数据增强方法，该方法可以广泛应用于恶劣天气条件。
作者证明了作者提出的BPW和KBL滤波器与经典滤波器的表达力相当或超过。
作者还展示了ERUP-YOLO在恶劣天气数据集上，与最先进的图像自适应方法相比，实现了最高的目标检测精度。
2 Related Work
Object Detection
目标检测是计算机视觉领域的一个基本任务，它能够在图像中定位和分类物体。主要的算法方法可以大致分为两类。第一类是两阶段的处理过程，如FasterRCNN[26]和MaskRCNN[7]。第二类是一种基于回归的一阶段方法，如YOLO系列[24, 25]，RetinaNet[16]，SSD[17]，FCOS[28]，DETR[1]，DINO[30]和RT-DETR[31]，这些方法直接使用一个CNN或Transformer为基础的架构，通过一个CNN或Transformer架构来预测目标标签和边界框坐标。
虽然这些目标检测方法在基准数据集上取得了显著的性能，但当应用于在恶劣条件（如雾、雾霾或低光条件下拍摄的照片时，它们的准确性通常会显著降低。这主要是因为大多数传统检测器是在正常天气和良好曝光条件下训练的数据集上进行训练的。
Adverse Weather Conditions
为解决恶劣天气条件下的目标检测挑战，已经探索了各种方法。一种直接的方法是将输入图像通过恶劣天气条件降质后重构为清晰的图像 。MSBDN [4] 利用 U-Net 架构进行除雾。GridDehazeNet [19] 在预处理和后处理引入了注意力机制，以减少去雾图像的人工伪影。ZeroDCE [6] 在无参考场景下实现了轻量级增强。
另外，为了在正常和恶劣条件图像之间弥合域间隙，提出了基于域自适应的技术，用于目标检测任务 。这些域自适应方法可以分为基于训练的方法，这些方法学习域不变的特征，以及利用特定条件的物理模型的物理方法。作为域不变的方法，DAYOLO [9] 通过联合最小化目标检测和域分类损失，对 YOLO 进行域自适应。
DSNet [11] 通过在雾天数据集上进行目标检测和图像增强的多任务学习，提高了检测精度。物理方法 [27] 使用雨和雾条件下的物理透射模型估计特定条件下的条件特定先验，并采用对抗训练进行适应。最近，一种新兴的图像自适应目标检测方法 [12, 18] 被提出。
Image Adaptive Object Detection
[12, 18] 图像自适应目标检测方法将可微图像处理滤波器集成到检测 Pipeline 中。刘等人[18]提出了IA-YOLO，其中包含了六个滤波器：去雾、白平衡、伽马校正、对比增强、色调映射和锐化。他们的方法从输入图像中估计滤波器参数，应用滤波器，并将处理后的图像传递给检测器。虽然他们在不良数据集上实现了高精度，但IA-YOLO需要手动自定义不同条件的滤波器组合和参数范围。为了解决这个问题，Kalwar等人[12]提出了GDIP-YOLO，它将六个滤波器并行处理，并通过加权求和的方式组合它们的输出。这种门控结构模块（GDIP块）消除了手动自定义。他们还提出了MGDIP-YOLO，通过使用多个GDIP块依次处理输入图像及其特征。这些方法可以被视为将超网络[2]的概念应用到图像处理 Pipeline 。超网络是估计其他神经网络权重参数的神经网络，已在图像增强网络[21]中使用。类似地，图像自适应目标检测方法估计图像处理滤波器的参数，使得检测任务可以更快、更高效地进行图像变换。
然而，这些先前的方法存在两个遗留问题。首先，独立处理滤波器可能导致它们之间出现不必要的交互，并有可能进行改进。其次，它们仍然需要特定条件下的数据增强策略，如应用雾模型或伽马调整，缺乏跨条件的统一方法。为了克服这些问题，作者旨在将滤波器的功能统一到一个集成模块中，同时利用这个统一模块进行有效和通用的数据增强。尽管图像自适应方法可以应用于各种目标检测方法，在本研究中，作者遵循先前的方法，并基于YOLO进行评估。
3 Conventional Image Filters
在本节中，作者解释了先前的图像自适应方法[12, 18]中使用的图像处理滤波器，以帮助理解作者提出的算法。每个模块都需要参数来确定处理程度，并使其可微分。刘等人[18]提出了这些滤波器，它们广泛地将滤波器分为三类：像素级滤波器，用于对像素进行全局强度映射；锐化滤波器，用于增强图像的锐度；去雾滤波器，用于去除雾气。
Pixel-wise Filters
像素级滤波器包括以下四种滤波器：伽马滤波器、白平衡滤波器、对比度滤波器和色调滤波器。这些滤波器旨在将输入图像像素强度
转换为
。
参数为γ的伽马滤波器和参数为（Wr, Wg, Wb）的白平衡滤波器分别表示为Po=Pi^γ和Po=(Wr
ri, Wg
gi, Wb*bi)。如图3所示，当γ值小于1时，伽马滤波器会降低对比度，而当γ值大于1时，它会增强低亮度。
该滤波器通过以下表达式表示：图3的左起第二个图显示了对比滤波器将强度值以S型
从图3的左起第二张图可以看出，参数α调整了S型曲线的形状。
在分段线性滤波器中，输入像素强度
的范围
被分成 L 个区间，并在每个区间
上定义一个分段线性函数，以改变每个区间的斜率，其中
。胡等人提出的滤波器有一组非负参数
，对应于每个区间，并使用
作为可微形式表示如下：
在这里，
表示在区间
内的线的斜率。在先前的实现[12, 18]中，
的值被设置为范围
，而每个区间的斜率取决于参数设置的相对值。图3中最左边第三张图展示了音调滤波器的极端参数情况(
)，其中
的一个值为0.5，其他为2，或者反过来。
Sharpen Filter
使用了去模糊化 Mask 技术[23]对图像的高频分量进行带通处理。这个过程可以用图像
、空间坐标
、高斯模糊卷积
和参数
表示如下：
先前的研究[12, 18]使用了固定的参数σ=5和核大小为13的高斯模糊参数。这个方程可以抽象地表示为将图像I与卷积核K_s卷积的结果：
Defog Filter
刘等人[18]提出了一种基于去雾方法He等人[8]的学习型去雾滤波器。在基本去雾方法中，一个模糊图像
可以表示为：
其中
是介质传输图，
是全局大气光。
是由每个通道
中的特定位置估计得到的。
刘等人在[18]中引入了可学习参数ω到t(x)，将其定义为：
因此，去雾图像可以表示为：
接下来，作者将用一种更抽象的方式来表示这个方程。通过令
，它可以被写成：
Observation of Conventional Filters
传统滤波器需要确定每个滤波器的最优参数范围。例如，在传统方法的实现中，音调滤波器参数
的取值范围为[0.5, 2]，锐化滤波器参数
的取值范围为[0, 5]，对比滤波器参数
的取值范围为[-1, 1]。
作者重新考虑了传统滤波器的功能，并假设将它们集成在一起可以导致更通用的滤波器。作者更抽象地看待传统滤波器：像素级滤波器是一组将输入像素强度
转换为输出
的映射，而锐化和去雾滤波器可以表示为以图像为输入的函数组合。基于这些观察，作者旨在统一滤波器，实现简单的有效图像增强，用于目标检测。
4 Proposed Method
从对滤波器的观察中，作者提出采用新的滤波器，同时保留先前的框架，实现传统滤波器功能的统一。作者提出的算法遵循先前的框架，如图2（a）所示，使用滤波器参数预测器。该框架在输入图像上使用预测参数的滤波器，过滤后的图像被输入到YOLOv3中。整个框架使用仅用于YOLOv3的检测损失进行端到端训练。
作者引入了两种新的可微分滤波器：
1）基于贝塞尔曲线的像素点（BPW）滤波器，将传统像素点滤波器统一；
2）基于核的局部（KBL）滤波器，使用局部线性函数全面近似传统除雾和锐化滤波器。此外，利用BPW滤波器的表达力，作者提出使用滤波器进行数据增强。
