L4DR：恶劣天气下的 Lidar 与 4D 雷达融合3D 目标检测方法 ！

Lidar基的视觉系统对3D目标检测至关重要，这对自主导航至关重要。但是，由于恶劣天气条件下Lidar点云质量的恶化，它们在降级方面表现出了性能下降的问题。将Lidar与具有抗恶劣天气的4D雷达传感器相结合，有望解决这个问题。

然而，Lidar与4D雷达的融合具有挑战性，因为他们关于数据质度和恶劣天气条件下的降级程度存在显著差异。

为了解决这些问题，作者提出了L4DR，一种在恶劣天气条件下有效实现Lidar和4D雷达融合的3D目标检测方法。作者的L4DR包括 Mult - Modal Encoding（MME）和 Foreground - A ware Denoising（FAD）技术，以弥合传感器之间的差异，这是Lidar与4D雷达早期融合互补性的首次探索。

此外，作者设计了一种**Inter-**Modal **Inter- Modal ( M )并行特征提取 Backbone 与一个Multi-Scale Gated Fusion（MSGF）模块相结合，以抵制恶劣天气条件下传感器降级程度不同的问题。

在带有模拟雾的VoD数据集上的实验评估表明，L4DR更适应于变化的天气条件。

在不同雾 Level 下，它分别实现了显著的性能提升，将3D mAP提升到了传统Lidar仅有的方法上的19.99%。此外，在K-Radar数据集上的结果验证了L4DR在实际恶劣天气条件下的性能提升是一致的。

Introduction

3D目标检测对无人平台的视觉系统至关重要，广泛应用于智能机器人导航[14, 13]和自动驾驶[15]。完全自动驾驶（FDA，第5级）依赖于能够在恶劣天气下提供精确3D边界框的天气坚固的3D目标检测，即使在各种具有挑战性的恶劣天气条件下也是如此[14]。由于LiDAR传感器的分辨率高且抗干扰能力强，LiDAR基础的3D目标检测已成为主流研究领域。然而，LiDAR传感器对天气条件极为敏感。在雨和雾等恶劣场景下，扫描信号受到显著降低并产生大量噪声[15, 16]。这种降级会严重影响3D检测器，降低自主感知系统的可靠性。

除了LiDAR，4D（范围，方位角，多普勒和高度）毫米波雷达越来越多地被认可[16, 17]。如图1（a）所示，4D雷达在恶劣天气下的鲁棒性、速度测量和检测范围方面优于LiDAR。4D雷达的毫米波信号比雾、雨、雪等微粒子形成的波长大得多，因此对天气干扰的敏感性较低。如图1（b）所示，随着天气恶劣程度的增加，LiDAR和4D雷达性能差距越来越小。因此，4D雷达传感器适用于各种天气条件。然而，LiDAR在物体分类和分辨率方面仍远远领先于雷达。这些情况使得将4D雷达和LiDAR数据的融合以提高3D目标检测具有可行性。一些创新的融合方法，如InterFusion[18]，M Fusion[19]和3D-LRF[10]，显示了将LiDAR和4D雷达进行融合的初步探索，与仅使用LiDAR或仅使用4D雷达的模型相比，性能有显著改进。尽管取得了这些进展，但在恶劣天气条件下将LiDAR和4D雷达传感器的融合并没有解决数据质量的巨大差异和恶劣天气条件下传感器降级的不同程度问题。如图2（a）所示，一个主要挑战来自于LiDAR传感器和4D雷达传感器之间极大的数据质量差异。第二个挑战在于恶劣天气条件下传感器的不同程度降级。图2（b）显示，在恶劣天气条件下，LiDAR传感器数据受到严重降级。相反，4D雷达的数据质量降低显著较低[16, 17]（关于不同天气条件下实际LiDAR和4D雷达点云分布的详细信息见附录A.1）。这促使在考虑数据融合时优先使用不同程度的数据质量敏感性传感器和天气条件。恶劣天气条件下现有LiDAR和4D雷达融合方法没有充分考虑数据质量的巨大差异和传感器降级的不同程度问题。

为了应对上述挑战，作者提出L4DR，一种通过激光雷达和4D雷达融合的天气强大3D目标检测方法。作者设计了一个多模态编码（MME）模块和一个前景感知去噪（FAD），以解决大量数据质量的显著差异。这个创新率先在减轻激光雷达和4D雷达之间的数据质量差异的同时使用早期数据级融合策略，同时改善了每个模态的数据质量。为了适应不同天气条件下传感器各种程度的降级，L4DR采用了互模态和内模态（ IM ） Backbone 和多尺度门控融合（MSGF）模块，自适应地关注不同天气条件下的显著模式特征。

在图3中，作者在VoD[18]和K-Radar数据集[13]上的全面测试展示了L4DR在各种模拟和实际恶劣天气干扰下的韧性和优越性能。作者的主要贡献如下：

• 作者引入了创新的Multi-Modal Encoder（MME）模块，该模块在无需依赖错误率较高的过程（例如深度估计、高度压缩）的情况下实现激光雷达和4D雷达融合，有效地弥合了激光雷达和4D雷达数据质量的巨大差异。
• 作者设计了一个 ^{2}$} Backbone 和多尺度门控融合（MSGF）模块，自适应从不同天气条件下的激光雷达和4D雷达传感器中提取显著特征。这使得模型能够在恶劣天气条件下的不同程度降低传感器降级。
• 在两个基准测试集，VoD和K-Radar上的广泛实验表明，作者的L4DR在各种恶劣天气条件和各种程度的降级下都具有有效性，在两个数据集上都实现了新的最先进性能。

然而，尽管这些主流方法在正常天气下获得了出色的性能，但它们在恶劣天气条件下的健壮性和改进空间仍需提高。

基于激光雷达的3D目标检测在恶劣天气下。 激光雷达传感器在恶劣天气条件下（如雪、雾和雨）可能受到降级。物理仿真（Teufel等人，2022年；Hahner等人，2022、2021年；Kilic等人，2021年）已探索以生成点云来演示恶劣天气下的激光雷达数据现象，以缓解数据稀缺问题。(Charron，Phillips和Waslander，2018；Heinzler等人，2020)利用了DROR、DSOR或卷积神经网络（CNNs）对激光雷达噪声点进行分类和过滤。(Xu等人，2021年)设计了一个通用的补全框架，解决了跨不同天气条件下的域适应问题。(黄等人，2024)设计了一个通用的知识蒸馏框架，将其在雨天表现迁移到晴天表现。然而，这些方法主要依赖于单一的激光雷达模式数据，这些数据会在恶劣天气条件下受到激光雷达质量下降的约束。

近年来，基于激光雷达（LiDAR）和雷达（radar）的融合3D目标检测越来越受到关注。MVDNet（Qian等人，2021年）设计了一个用于融合LiDAR和雷达的框架。ST-MVDNet（Li等人，2022年）和ST-MVDNet++（Li，O'Toole和Kitani，2023年）在MVDNet的基础上引入自训练的教师-学生结构，以提高模型性能。Bi-LRFusion（Wang等人，2023年）框架采用双向融合策略以提高动态目标检测的性能。然而，这些研究仅关注3D雷达和LiDAR。随着研究进展，最新的研究继续推动LiDAR-4D雷达融合的发展。M -Fusion（Wang等人，2022年）和InterFusion（Wang等人，2022年）探索了新的LiDAR和4D雷达融合方法。然而，这些方法并未考虑并在恶劣天气条件下克服融合4D雷达和LiDAR的挑战，以促进 weather-robust 3D目标检测。

Methodology

基于LiDAR的融合3D目标检测 对于一个户外场景，作者用 表示LiDAR点云，其中 ， ，用 表示4D雷达点云，其中 ， ，其中 表示单个点， 表示3D世界坐标， 和 分别表示模态 （LiDAR）和 （雷达）的点数和点特征初始值。随后，从多模式模型 中提取深特征 ， 。目标检测3D是使用融合特征 回归3D边框 ， ，其中 提供融合方法。每个边框 用3D坐标、大小和方向进行编码，表示为 。

LiDAR和4D雷达传感器之间的显著质量差异 。如前所述，在同一场景中， 和 之间存在巨大差异。具体地，作者使用Chamfer距离（Borgefors，1986）定量衡量VoD（Palffy等人，2022）数据集中 和 点云之间的距离。结果为 ，即LiDAR和4D雷达之间在同一场景中的点云之间差异，表明 和 之间存在显著差异。这种数据质量差异现象对将数据进行融合造成了巨大挑战。

为充分融合两种模态，一种可能的解决方案是使用 来增强高度稀疏的 ，由于缺乏判别性详细信息。因此，作者的 L4DR 包括了一个 多模态编码器 （M-ME，图4(a)），它在数据编码器 Level 进行早期融合互补性。然而，作者发现直接数据融合也会导致 中的大量噪声传播到 。因此，作者在 MME 之前将 前景感知去噪 （FAD，图4(b)）集成到 L4DR 中，用于过滤掉 中的大部分噪声。

在恶劣天气条件下 LiDAR 传感器的严重降级 。与 4D 雷达相比，LiDAR 点云 更容易受到恶劣天气条件的影响，导致数据质量降低和特征表示变化 。以雾天为例，作者对 VoD 数据集进行了四种不同程度的雾模拟（Hahner 等人，2021年）(捐赠为 )（见图4(b)），以模拟不同程度的雾天。模拟的 LiDAR 数据记作 ,其中 ，表示雾模拟程度，0 表示无雾天气。接下来，余弦相似度 被用于定量衡量在不同的雾模拟 下的特征 与同一场景中的雾级零 的特征之间的相似性。余弦相似度如下所示：

表1的结果表明， 在不同的卷积层 中变异程度显著受到雾级 的影响。在实际场景中，由于天气条件不断变化， 频繁变化，这也将影响融合特征 的表示。这种现象对具有恶劣天气鲁棒稳定优势的 具有不利影响，从而阻碍了实现恶劣天气鲁棒的 3D 检测器。

先前的backbone只能将多种模态特征 进行融合，而这个过程中，每个模态的优势并没有被充分利用，导致在处理 的频繁波动时面临挑战。为了解决这个问题，并确保在各种天气条件下实现强大的融合，作者提出了 交互模态和内部模态融合( ,图4(c)) 的backbone。这种设计同时强调了交互模态和内部模态特征，增强了模型的适应性。然而，这些特征之间存在冗余。从gated融合技术[16, 21, 22]中得到启发，作者提出了 多尺度门控融合(MSGF,图4(d)) 模块。MSGF利用交互模态特征 对内在模态特征 和 进行过滤，有效减少了特征冗余。作者的实验结果在表5中显示， 和 MSGF 模块显著增强了模型应对不同恶劣天气条件的能力，确保了天气健壮性。

Foreground-Aware Denoising (FAD)

由于多径效应，四维雷达包含大量的噪声点。尽管在数据采集过程中应用了恒虚警率（CFAR）算法以消除噪声，但噪声水平仍然较大。在早期数据融合之前进一步减少四维雷达数据的杂波噪声至关重要，以防止噪声扩散。鉴于背景点对目标检测的贡献最小，本工作引入了点 Level 的目标（foreground）语义分割来实现四维雷达去噪，执行前景点知（Foreground-Aware）去噪。具体而言，作者首先利用PointNet++ [13]与一个分割头作为 ，对四维雷达中的每个点预测前景语义概率 。然后，过滤掉前景概率低于预测阈值 的点，即