历史光栅化地图发大力！港中文提出HRMapNet：日日新的在线地图新方案

智能车情报局 · 公众号 · · 2024-10-28 17:19

正文

直播预告

10月30日14点， 黑芝麻智能嵌入式工程师李俊何、Nullmax售前产品高级经理周政将分别以 《黑芝麻智能山海工具链：深度学习模型量化与部署实战》、《全栈量产智驾应用算法在C1200家族芯片上的部署》 为主题带来直播讲解，感兴趣的朋友可以扫码报名~

写在前面&笔者的个人理解

无图NOA以来，研究人员focus在端到端的在线矢量地图构建上，该技术在鸟瞰图（BEV）空间中实现，希望能够替代传统成本较高的离线高精（HD）地图。但是当前方法在恶劣环境下的准确性和鲁棒性很容易受限。为此本文提出了HRMapNet，其利用低成本的历史光栅化地图来增强在线矢量化地图的感知能力。历史光栅化地图来源于先前预测的结果，因此可以提供当前帧一定的先验信息。为了充分利用历史地图，作者设计了两个模块来增强BEV特征和地图元素的查询。对于BEV特征，本文设计了特征聚合模块，以编码图像和历史地图的特征。对于地图元素的查询，则设计了一个查询初始化模块，以赋予查询从历史地图中得到的先验信息。这两个模块对于在在线感知中利用地图信息至关重要。HRMapNet能够与大多数现有的在线矢量化地图感知方法集成。问鼎nuScenes和Argoverse 2 SOTA。

开源链接：https://github.com/HXMap/HRMapNet

相关工作总结

自动驾驶技术中，高精HD地图对于车辆导航至关重要，它们可以详细表述如车道线、人行横道和道路边界等矢量化地图元素的位置与结构。这些地图以往通过离线方式并结合SLAM等技术构建的。

单帧地图感知

早期的地图感知研究主要集中在车道线检测、道路拓扑推理或地图分割上，这些研究通常产生光栅地图，并需要额外的后处理步骤来生成用于后续任务的矢量化地图元素。例如，HDMapNet通过聚类分析预测的光栅地图来构建最终的矢量化地图。

VectorMapNet和MapTR等工作直接预测矢量化地图。VectorMapNet设计了一个地图元素检测器和一个多边形生成器来构建最终的矢量化地图。MapTR提出了一种统一的排列等价模型，并采用DETR框架直接预测矢量化地图元素。这些突破性的研究推动了在线矢量化地图感知技术的发展，并激发了一系列旨在提升性能的新方法。MapTR的改进版MapTRv2在解码器中引入了解耦的自注意力机制和辅助损失，显著提高了预测精度。ScalableMap利用地图元素的结构特性，设计了一种渐进式解码器以支持长距离感知。MapVR引入了可微分的光栅化和基于渲染的损失函数，以增强对细节的敏感度。此外，BeMapNet和PivotNet等方法通过预测贝塞尔控制点和支点，而非固定数量的点，来提高预测的准确性。

利用额外信息的地图感知

上述方法仅利用单帧图像进行地图元素的预测，这限制了性能的进一步提升。最新的研究进展已经开始突破单帧感知的局限，通过整合额外的信息来提升性能。例如一些研究探索了如何利用额外的标准清晰度（SD）地图来辅助HD地图感知和车道拓扑理解。还有研究利用卫星地图来增强车载图像数据，以改善地图感知。这些方法虽然提高了性能，但需要额外的数据源，从而增加了在线建图的成本。

时间信息作为在线感知中更容易获得的补充信息，在BEV特征学习和目标检测中已被广泛利用。在矢量化地图感知方面，StreamMapNet通过查询传播和BEV特征融合来利用时间信息。SQD-MapNet引入了流查询去噪技术，以增强时间一致性。这些方法通常利用时间上短期的先前帧来辅助感知。

如果能够收集并利用所有时间信息，就可以构建一个地图。一些工作利用过去的LiDAR扫描构建的地图被用于自动驾驶中的目标检测。NMP构建了一个用于地图分割的由历史BEV特征组成的地图。然而，BEV特征占用大量的内存，这限制了它的实际应用。以nuScenes数据集中的波士顿地图为例，BEV特征需要超过11GB的内存在NMP中。相比之下，本文提出维护一个低成本的历史光栅化地图进行矢量化地图感知，大幅减少了内存开销。

HRMapNet方法详解

概述

HRMapNet框架旨在作为现有在线矢量化地图感知技术的补充。如图2所示，该框架通过维护一个全局历史光栅化地图来辅助在线感知过程。输入环视图像后，从共享的主干网络中提取2D特征，并将其转换到鸟瞰图（BEV）空间。作者引入了地图编码器和特征聚合模块，以及一个新颖的查询初始化模块，这些模块在原始地图解码器之前工作，旨在赋予基础查询来自本地地图的先验信息，使搜索所需地图元素的过程更加高效。最终矢量化地图元素直接从预测头输出，并可以光栅化以合并到全局地图中。

图 2: 所提出的 HRMapNet 架构图。图中的灰色块表示与现有最先进在线矢量化地图感知方法保持一致的部分

全局光栅化地图

下面首先介绍用于保存历史信息的光栅化地图。如图2左下角所示，矢量化地图被光栅化以更新全局地图。与[19]类似。简而言之，光栅化地图中每个像素的标签是基于其与矢量化元素边界的距离来确定的。从每个时间点i的在线预测中，作者可以获取一个语义掩码，称为本地光栅化地图，其中和表示BEV空间中感知范围的空间形状；是地图元素类别的数量，，分别代表车道线、人行横道和道路边界。因此，指示对于每个类别，位置是否存在地图元素；值1表示存在，值0表示不存在。作者使用的这种光栅化地图类似于占用网格地图，这是机器人导航和建图中一个成熟的概念。Occ研究了如何从局部观测更新全局地图。作者使用类似的方法来更新全局光栅化地图，其中和表示全局地图的空间形状。对于地图更新，每个像素的本地坐标的首先被转换为全局坐标，基于自车姿态：

其中和分别是相对旋转和平移，表示将连续坐标转换为光栅化地图中的离散坐标的四舍五入函数。或者，给定全局坐标和姿态，其对应的本地坐标为：

然后，全局地图可以根据每个类别的本地地图进行更新。以一个类别为例：

其中由公式(2)确定，记录了每个地图元素类别的状态，和是基于本地预测结果更新状态的设定值。这种简单的方法有效地将局部结果整合到全局地图中，便于持续细化和更新。对于在线感知，基于自车姿态从全局地图中检索本地光栅化地图，并使用阈值来确定每个类别的地图元素是否存在：

其中由公式(1)确定。

在本文的实现中，全局地图被缩放到8位无符号整数值以减少内存消耗。因此，光栅化地图只占用很小的内存空间，大约每公里1MB。

BEV特征聚合

BEV特征已经有很多相关工作。例如MapTRv2使用BEVPoolv2获取BEV特征，其中是特征通道的数量。作者保持这个模块不变，并引入一个聚合模块，以利用本地地图中的先验信息增强BEV特征。在HRMapNet中，检索到的局部地图作为先验，指示哪些位置值得更多关注以进行地图元素感知。因此，受FBBEV的启发，作者在本地地图中存在地图元素的位置（即）添加额外的BEV查询。这些额外的BEV查询被投影到图像上，通过空间交叉注意力提取相关特征。然后，在本地地图中存在地图元素的位置获得额外的BEV特征。对于没有地图元素的位置（即），相应的额外BEV特征被设置为零。这些额外的BEV特征被公式化为。在特征聚合模块中，、和被融合在一起：

这里，被添加到作为额外补偿。此外，可以被视为具有明确语义信息的特殊BEV特征。因此，作者将它们与BEV特征连接起来，并使用卷积获得增强的BEV特征以供进一步处理。

查询初始化

除了将检索到的光栅化地图融合到BEV特征中外，作者还设计了一个新颖的查询初始化模块，以促进对所需地图元素的有效搜索。在DETR框架中，一组可学习的查询将与提取的特征交互，以搜索所需的元素。没有先验信息，查询将从随机状态开始搜索，通过多个解码器层逐步细化预测结果。在HRMapNet中，检索到的光栅化地图提供了有关地图元素可能存在位置的先验信息，从而可以有效地促进地图元素查询搜索所需元素。如图2右侧所示，所提出的查询初始化在原始地图解码器之前工作。基础查询首先与从本地地图嵌入的先验特征进行交互。具体来说，对于检索到的本地地图中地图元素存在的有效位置，其位置与可学习的位置嵌入相关联；语义向量被投影到标签嵌入中，使用线性投影。然后，作者为每个有效位置获得地图先验嵌入：