ReFeree: 基于毫米波雷达的轻量级且鲁棒的特征定位方法

位置识别在实现鲁棒的长期自动化中扮演着重要角色。现实世界中的机器人会面临各种天气条件（如阴天、大雨和降雪），而大多数传感器（如摄像头、LiDAR）基本上在可见光或近可见光波段的电磁波下工作，这使得它们对恶劣天气条件非常敏感，从而使得可靠的定位变得困难。相比之下，毫米波雷达由于使用长波电磁波而受到的环境变化影响较小，并且不受天气的限制，因此越来越受到关注。在本研究提出了一种基于雷达的轻量级且鲁棒的位置识别方法，通过选择一维环形描述子实现旋转不变性和轻量化，并通过利用自由空间和特征之间的相反噪声特性来减轻错误检测的影响，从而提高鲁棒性。此外该方法还可以估计初始航向，这有助于构建结合里程计和配准的SLAM系统，同时考虑车载计算能力。该方法在各种场景下进行了严格的验证（如单次、多个会话和不同的天气条件）。特别是在缺乏结构信息的极端环境下（如OORD数据集），作者验证了该描述子在实现可靠的位置识别性能上的效果。补充材料和代码可以在以下网址获取：https://sites.google.com/view/referee-radar。

图1. 所提出的位置识别成功地在充满多径和散斑噪声的雷达图像中识别出正确的回环，相比之下，毫米波雷达SC对多径现象表现出脆弱性，常常导致错误回环的识别。此外轻量描述符子42×1形状能够在KAIST序列的Mulran数据集上，使用Nvidia Jetson Nano执行SLAM。

本文提出了一种基于雷达的轻量级且鲁棒的全局描述子，称为ReFeree，该方法利用极坐标系下的雷达图像，不需要进行笛卡尔坐标转换。本文的主要贡献如下：

• 轻量化、鲁棒性和旋转不变性描子： 通过快速从雷达图像中提取特征并使用自由空间信息的描述符，实现了鲁棒的位置识别。如图1所示，基于自由空间的描述能够检测到基于特征的描述漏掉的回环，因为它减弱了多径效应和散斑噪声的影响。此外，所提出的方法可以通过旋转不变性属性在相反方向上找到回环。与其他方法相比，该描述符至少轻量4倍，最多轻量600倍，结合KD树搜索过程，提升了车载计算机的使用性能。

• 初始航向和半度量信息： 与之前的方法不同，我们的方法通过估计重访位置与当前位置之间的1自由度航向，实现了半度量定位。估计出的初始航向提高了配准性能的效率和鲁棒性，帮助构建SLAM系统。

• 广泛的评估与开源： 我们在各种场景下（如单次、多次会话和不同天气条件，包括极端环境）对所提出方法的位置识别性能进行了评估。此外，我们将描述符应用于完整的SLAM管线中进行实际验证，并在NVIDIA Jetson Nano上进行轻量级在线验证和测试车载计算性能。我们还将通过开源分享所提出的方法，贡献给雷达机器人社区。

概述

毫米波雷达传感器在工作过程中会遭遇多种噪声，如虚假回波、散斑噪声和多径反射，这些噪声会影响图像的有效信息提取，为了应对这些挑战，研究者提出了两种描述子：R-ReFeree（用于位置识别）和A-ReFeree（用于估计初始航向）。此外所提出的方法还结合了里程计和图优化，以实现同步定位与地图构建（SLAM）。

图2. 该方法的流程图。在前端进行特征提取并生成描述子：用于位置识别的R-ReFeree和用于初始航向估计的A-ReFeree。在后端通过位置检索和姿态图优化获得雷达地图。ReFeree模块中雷达图像上的白色方块和蓝色方块分别代表按范围和按角度划分的块，而构成范围块和角度块的白色和蓝色方块分别表示特征和自由空间，红色方块则表示单位角度下最远的特征。

特征提取

为了从嘈杂的雷达图像中提取有意义的信息，我们使用了一种受文献[17]启发的特征提取算法，该算法涉及将信号分解为高频和低频信号，并根据非线性高斯滤波器进行整合，最终整合后的信号表示每个范围单元的功率回波，并通过阈值处理从原始雷达信号中提取有效特征。与该算法不同，在信号平滑步骤中采用了一种简单的线性均匀滤波器，以实现更快的计算，这使得它更适合于车载计算机。这些从整合信号中提取的特征构成了雷达特征图像。

位置描述（ReFeree）

尽管特征提取过程解决了高强度值掩盖有意义信息的问题，但噪声无法完全去除。为了减轻噪声带来的错误检测影响，我们使用自由空间来生成描述符，而不是单纯依赖特征。我们将特征提取过程的结果分为真实检测（成功分类特征）和错误检测（未能正确分类特征）。错误检测使得准确估计物体位置变得困难，从而对依赖特征生成描述符的方法产生重大影响。因此，我们关注特征提取中的错误检测，认为它包括将自由空间误识别为特征，反之亦然。这两种错误检测情况可以从特征和自由空间的角度进行分析，如表I所示。

将自由空间误认为特征从特征提取的角度来看是一个假阳性，但从提取自由空间的角度来看则是一个假阴性。反之，将特征识别为自由空间从特征提取的角度来看是一个假阴性，但从提取自由空间的角度来看则是一个假阳性。这种相互关系可以用公式表示，其中上标F和f分别代表特征和自由空间，符号#表示数量。这种互惠关系表明，从自由空间角度来看，错误检测的数量等于从特征角度解读的错误检测数量。错误检测对描述的影响可以通过错误检测率进行数值计算，即假检测数量（#False）除以特征数量（#Feature）或自由空间数量（#Free space）。如表II所示，自由空间的数量显著大于特征的数量，这意味着在单个雷达图像中，自由空间的错误检测率相对低于特征的错误检测率。这显著有助于减轻误分类的影响。

1) R-ReFeree： 与之前的研究不同，R-ReFeree通过使用按范围划分的块实现了旋转不变性，克服了对角度变化的脆弱性。它使用自由空间标识符来区分自由空间与其他信息，从而生成描述符，统计自由空间的数量。该方法能有效地识别雷达图像中的特征并减少因角度变化引发的问题。

2) A-ReFeree： A-ReFeree作为一维自由度航向估计器，能够识别与当前位置不同角度的重访位置。它通过分析自由空间的信息，计算到最远特征的距离，帮助进行航向估计。虽然这个过程需要一定时间，但在检测回环时，A-ReFeree提供了必要的航向信息。

通过合理利用这两种ReFeree，系统不仅实现了旋转不变性和初始航向的估计，还增强了实时位置识别能力，适用于车载雷达传感器的应用。这种高效的分工方法提升了雷达系统在复杂环境中的实用性和准确性。

位置识别

作者构建R-ReFeree以识别重访位置，从而修正累积的姿态误差。为加快搜索速度，我们从候选位置构建KD-Tree，并使用L2范数计算查询R-ReFeree Rq与候选R-ReFeree Rc之间的距离。通过最小化距离，我们可以找到最优候选位置 c∗c^*c∗，条件是该距离低于设定的阈值。

SLAM

1. 配准：通过R-ReFeree，我们能够识别重访位置，并通过A-ReFeree获取两个位置的初始航向。利用A-ReFeree的半度量信息，调整候选位置时，最接近的距离索引表示航向。我们将估计的初始航向转换为旋转矩阵，并计算与查询点云之间的匹配。通过扫描对扫描匹配算法（Nano-GICP），我们能快速获得相对变换矩阵，以确保查询点云和候选点云之间的精确匹配。此外，为了防止错误匹配，进行几何验证，通过计算ICP结果的适合度分数来进一步确认回路的准确性。

2. 姿态图优化：由于雷达里程计的测量会累积误差，因此环闭合对构建一致的地图至关重要。姿态图优化的目标是最小化错误，包括从相对位姿估计和雷达里程计估计得来的数据。通过对路径图的优化，我们能减少因传感器测量导致的误差，从而提高地图的一致性和可靠性。

所有实验在配备RTX 3080的AMD Ryzen 7 5700X桌面电脑上进行，以评估整体性能，同时在Nvidia Jetson Nano上评估SLAM管道的车载计算能力，将所提出的方法与最近的开源方法进行了比较。

数据集

描述性能

这里介绍了该描述子在功能上优于其他描述子的两个特性。 轻量性 ：我们报告了描述符的轻量性。如表IV所示，基于VLAD的方法大约比我们的描述符大600倍，而RaPlace大约大6倍。此外，我们的轻量级描述符结合KD-Tree搜索可以在车载计算机上进行在线位置识别。 半度量和初始航向 ：只有Radar SC和我们的方法包含半度量信息，但Radar SC没有提供初始航向。因此只有所提出的方法能够在ICP中提供初始航向的支持。

单次会话中的位置识别

1. 整体性能和处理时间：我们在Mulran数据集上评估了多种指标。表V展示了整体位置识别性能。我们观察到，所提出的方法在所有序列中超越了所有指标。虽然基于VLAD的描述符在相对于其大小时具有快速检测速度，但其缺点是需要预训练，且速度随着轨迹长度的增加而成比例下降。

2. 旋转误差和初始航向估计：初始航向在SLAM管道中起着关键作用，因为它显著提升了ICP的性能。我们比较了当F1分数达到最大时我们方法计算的旋转误差（RE）。如表V所示，我们的方法在两个序列中均提供了平均旋转误差。我们的办法还可以估计在1492帧和1041帧之间的初始航向，这是一种相反的方向关系，适用于反向循环。然而，其他方法无法估计初始旋转，因为它们没有保留旋转信息。图3(b)显示了我们的方法可以估计初始航向，图3(c)展示了成功的对齐结果。

图3。查询点云（红色）和候选点云（绿色）分别在DCC 01的1492帧和1041帧中。（a）未估计初始航向的点云。（b）在转换源点云时应用初始航向后。（c）在(b)状态下通过ICP优化后的可视化结果。

多会话中的位置识别

旋转不变性 ：由于雷达图像包含半度量信息，移动一列意味着角度的变化。因此，我们分析了在移动查询雷达图像的列时，候选雷达图像的一致性，以检查旋转不变性。图4展示了我们方法的旋转不变性。只有Radar SC、FFT-RadVLAD和我们的方法保持一致的性能。我们的方法中可以检查到微小的变化，因为在特征提取步骤中，内核区域在移动时略有不同。此外，无法通过FFT获得旋转不变性的RadVLAD表现不一致，而RaPlace的拉东变换处理也干扰了一致性。

图4：在Hydro序列中，通过移动查询雷达图像的列获得的Recall@1。Hydro序列中的雷达图像意味着移动一列大约相当于0.9度。

PR曲线和F1-召回曲线 ：在极端环境中，来自结构信息的特征稀疏性使得通过几何验证进行准确的循环验证变得具有挑战性。图5中的PR曲线表明，所提方法在召回率增加时保持高精度，表明它有效区分真实的循环。图5和表VI中的F1召回曲线展示了区分循环的能力，并表明我们的描述符能够检测到许多循环。

图5：从左到右依次为Bellmouth、Maree和Hydro的F1-Recall曲线和PR曲线，分别位于顶部、中部和底部。

整体性能 ：为了评估在极端环境中自由空间的性能，我们利用了OORD数据集。与依赖结构的其他方法不同，所提方法取得了显著的结果。特别是处理时间与前一部分的RadVLAD和FFT-RadVLAD相似，几乎快了3倍。表VI显示，自由空间能够在特征稀缺的极端环境中稳健地描述位置。我们还在称为Oxford Radar Robotcar的数据集中验证了该方法。

在不同天气条件下的位置识别

1. 整体性能：尽管雷达传感器数据在恶劣天气条件下相较于摄像头或激光雷达更具鲁棒性，但仍会产生嘈杂和强烈的信号。表VIII展示了描述符在这些差异下的整体性能。RadVLAD在雪天序列中的良好表现是因为其训练时使用的Bellmouth序列与Boreas的雪天序列具有相似的噪声状态。然而，我们的方法仍保持高性能，并且与其他方法相比处理速度最快。

2. 嵌入距离矩阵：如图6所示，我们通过利用查询（晴天序列）和来自地图的候选（雪天序列）之间相似距离的最近距离构建了嵌入距离矩阵。图6(a)、(b)、(c)、(d)、(e)中看到的伪影是由于查询与候选之间的度量距离过远导致的错误环路检测。这种现象被Gadd等人称为感知模糊或别名，在我们的结果中至少出现得比GT少。此外，沿着距离矩阵对角线方向的前向环路检测结果与GT最为相似。距离矩阵中最显著的点是反向环路结果，突出显示在红色方框中，与对角线方向垂直。红色方框中的这些反向环路结果在我们的方法中描绘得最为清晰，并且最接近GT。

图6。嵌入距离矩阵由查询（晴天序列）与来自地图的候选（雪天序列）之间的最近距离构成。GT是两个姿态的实际位置之间的距离，Radar SC是余弦距离，RaPlace是互相关和自相关，而RadVLAD、FFT-RadVLAD和我们的方法则使用L2距离。距离矩阵中每个描述符的值表示与其各自距离的最近嵌入距离的索引为1，其余为0。

SLAM

1. 姿态图优化：如图7所示，我们比较了基线里程计算法与通过我们的SLAM管道优化的姿态，并与EVO库中的真实姿态进行了对比。通过我们提出的方法，我们成功演示了管道中的环检测和闭合。因此，基线算法中的里程计发生偏离，但通过我们的优化方法成功收敛到与真实轨迹相似的路径。表IX展示了根据指标的定量评估结果，表明我们的方法将平均位置误差（APE）减少了约50倍。

图7. 展示了Mulran的KAIST序列中里程计、优化后的姿态和真实轨迹的定性结果对比。

2. 处理时间：我们测量了在Mulran序列的DCC上，桌面和Jetson Nano上SLAM管道的处理时间。桌面的结果如图8左侧所示。尽管进行了并行处理，由于雷达图像的较大尺寸，描述符生成过程仍消耗了最多的时间。图8右侧显示了Jetson Nano上的处理时间，表明该设置在车载环境中达到了约4-5 Hz的速度。由于雷达传感器数据的操作频率为4Hz，这足以证明我们描述符的轻量性和实时性能。

图8. 左侧为桌面端的处理时间，右侧为Nvidia Jetson Nano的处理时间。

消融实验

通过将基于雷达的特征算法应用于空闲空间进行了消融实验。如表X所示，这些算法的表现优于现有的基于雷达的方法。此外通过空闲空间生成的描述子性能相似，因此采用我们的方法在车载计算机上提升在线性能是最合适的选择。

本文提出了一种基于雷达的轻量且鲁棒的全局描述子，利用特征和空闲空间进行位置识别。通过各种实验（例如单次、多次和不同天气环境下的实验），我们证明了该方法的优越性。此外借助空闲空间的特性，在极端环境下也实现了位置识别，并且在Jetson Nano上运行了适合该描述子的里程计和快速配准算法进行SLAM。在未来的工作中，将提出基于雷达的分布式SLAM方案，突显其轻量化优势，并期待其能够与测量空闲空间的传感器实现跨模态融合。