在将基于机器学习的高级驾驶辅助系统（ML-ADAS）部署到现实世界场景中，恶劣天气条件构成了一个重大挑战。
传统上在晴好天气数据上训练的ML模型在面对极端雾气或大雨等场景时会失误，可能导致事故和安全风险。
本文通过提出一种新颖的方法来解决这一问题：使用去噪深度神经网络作为预处理步骤，将恶劣天气图像转换为晴好天气图像，从而增强了ML-ADAS系统的鲁棒性。
所提出的方法消除了在ML-ADAS流程中重新训练所有后续深度神经网络（DNN）的需要，因此节省了计算资源和时间。
此外，它还改善了驾驶员的视线，这对于在恶劣天气条件下安全导航至关重要。通过利用在增强的KITTI数据集上训练的UNet架构，结合合成恶劣天气图像，作者开发了Weather UNet（WUNet）DNN以去除天气伪影。
作者的研究显示，在恶劣天气条件下，使用WUNet预处理在目标检测方面取得了显著性能提升。特别是，在极端雾气的场景中，作者提出的解决方案将YOLOv8n的平均精度（mAP）分数从4%提升到70%。
1 Introduction
在现实世界中部署机器学习高级辅助驾驶系统（ML-ADAS）的一个主要挑战是恶劣的天气条件[1, 2]。例如，在晴朗天气图像上训练的目标检测器，如流行的YOLO系列模型，在极端雾等恶劣天气下不可避免地无法进行预测。这是因为深度神经网络（DNN）适应于训练数据集中的呈现领域，并且目标领域的微小变化会超出DNN的知识领域[7]。例如，如果数据集只包含晴朗天气的图像，那么该模型对恶劣天气的鲁棒性就会成为问题，可能导致潜在的事故和安全风险。因此，作者的所有DNN都需要进行强化，以实现在恶劣天气下性能损失最小。
更大的挑战是获取包含不同天气条件的数据集。在如暴风雨或浓雾等极端天气下驾驶自然是不安全的。这就是为什么目前没有公开的道路场景数据集可以用来强化ML-ADAS特征。在目标检测领域[8]已经进行了一些尝试。然而，这些数据集只记录了安全驾驶仍然可能的温和天气条件。为了在现实世界中提供ADAS功能，作者需要解决极端天气情况。此外，复杂的ML-ADAS还包括像车道线检测和距离估计等附加功能，这些功能没有广泛的恶劣天气数据集。因此，作者决定使用多种图像增强方法来模拟恶劣天气条件并创建一个合成数据集。作者将雾、雨和雪作为要模拟的条件。
图1突出了解决领域变化的策略。一种方法，如图1a所示，是在不同天气条件下重新训练系统中的所有DNN。这样，所有的DNN都能适应所有天气领域。然而，这个过程计算成本极高且耗时。而且，在观察前方道路场景方面，对驾驶员并没有提供帮助。虽然驾驶员可能会从健壮的ML-ADAS DNN接收到音频提示，但他们仍然处于“盲目”操作状态。因此，将所有与恶劣天气相关的噪声完全移除，可视化增强的道路场景仍然在驾驶员辅助中占有优先地位。
因此，如图1b所描述，作者不是重新训练所有网络，而是开发了一个去噪DNN，该DNN本质上处理输入的恶劣天气图像并提供一个晴朗天气的图像。在将图像输入到所有后续ML-ADAS DNN之前，使用这个模块作为预处理步骤，保留了这些网络的性能，因为它们接收到属于晴朗天气领域的过滤图像。因此，作者避免了重新训练 Pipeline 中所有后续DNN的昂贵步骤。最重要的是，通过这种方法，作者能够向驾驶员显示晴朗天气的图像，以提供额外的视觉辅助。此外，它还允许作者使用最先进的开源模型进行车道分割、目标检测和深度估计。
为边缘设备设计ADAS受到多种现实世界约束，包括实时性能、能效和安全。因此，作者的主要目标是实现这些约束之间的最佳权衡，以确保尽可能高的安全程度。考虑到这一点，作者图1b中描述的策略的一个潜在缺点是用于图像增强的新DNN引入的额外延迟。作者通过缩小问题范围来解决这个缺点：作者将输入图像划分为多个切块，WUNet处理这个切块批次，而不是整个图像。这使作者能够根据输入图像大小的缩小成比例地缩小网络。这个方案的细节在第二节中描述。
Motivational Case Study
在图2中，作者展示了在清晰图像上训练的高准确度目标检测器在恶劣天气条件下工作时无法保持其准确度。在如此关键的条件下，驾驶员非常依赖机器学习高级辅助驾驶系统（ML-ADAS）的帮助。然而，由于系统的mAP仅为4%，与对向交通发生碰撞的风险很高，因为该系统实际上“失明”了；它无法检测到任何物体。因此，很明显，有必要增强ML-ADAS深度神经网络对恶劣天气的鲁棒性，以确保在现实世界部署后的驾驶员安全。第III部分描述了目标检测器YOLOv8n的规格以及针对恶劣天气条件的扩展KITTI数据集。
Our Novel Contributions
entire image.
为了在不重新训练所有使用的深度神经网络的情况下，增强机器学习高级辅助驾驶系统（ML-ADAS）对多种不利天气条件的鲁棒性，作者提出了一个预处理深度神经网络以在不利天气中构建清晰图像。作者提出的WUNet基于流行的UNet架构，并在扩展了增强处理的KITTI数据集上训练，以创建合成的不利天气图像。在极端雾天情况下，WUNet预处理将目标检测性能从4%提升到70%的mAP，超过了0.5的IoU阈值。关于实验设置的详细信息可以在评估与讨论部分找到。总之，作者做出了以下主要贡献：
-
WUNet：作者开发了一个预处理深度神经网络，用于在将输入图像传递给ML-ADAS模块之前，在不利天气中构建清晰图像。
-
作者通过扩展KITTI数据集，包含了雾天、雨天和雪天图像，合成了一套不利天气数据集。
-
作者设计了一个深入的评估方案，以衡量去噪算法在不同天气逆境中对目标检测性能的影响。
-
作者展示了将UNet的复杂性降低以减少特定于消除天气相关伪影/噪声任务的延迟的潜力，通过将输入图像作为一批作物处理，而不是整张图像。
2 Methodology for Robustifying against Adverse Weather
图3展示了作者提出的解决方案。作者采用了流行的UNet编码器-解码器架构[9]来构建作者的天气UNet（WUNet），以处理各种天气条件下的图像并生成清晰图像。这张图像随后可被目标检测器和其他后续的深度神经网络使用，以避免重新训练的成本。进一步的细节将在以下各节中讨论。
Data Generation
为了解决公开可用数据集的限制，作者决定创建一个包含不利天气图像的综合数据集。随着计算机视觉的发展，有许多开源图像增强库可供选择。然而，作者选择了imgaug库，因为它在生成逼真的天气条件方面具有有效性[10]。利用这个广泛的数据集，作者可以训练一个深度神经网络（DNN），使其学会将不利天气图像映射到它们清晰的对应图像。通过这种方式，作者获得了清晰的图像，这些图像不仅有助于驾驶员的视觉，也提高了所有机器学习高级驾驶辅助系统（ML-ADAS）特性的性能。
Model Selection
尽管已经做出了类似的努力来创建预处理去噪深度神经网络，通常用例仅限于单一天气条件，如雾气去除 。相比之下，作者旨在用单个DNN解决所有天气情况。流行的 UNet 编码器-解码器架构在类似任务（如图像超分辨率和深度估计）中表现良好，这些任务强调图像重建。由于它的功能与作者的策略相符，作者在作者的流程中采用了它。
