点击下方
卡片
，关注
「3D视觉工坊」
公众号
选择
星标
，干货第一时间送达
来源：计算机视觉工坊
添加小助理：cv3d008，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入「
3D视觉从入门到精通
」知识星球
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 论文信息
标题：Velocity Field: An Informative Traveling Cost Representation for Trajectory Planning
作者：Ren Xin, Jie Cheng, Sheng Wang, Ming Liu
机构：The Hong Kong University of Science and Technology、HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute
原文链接：https://arxiv.org/abs/2409.13282
1. 摘要
轨迹规划包括生成一系列在不久的将来要遵循的空间点。然而，由于驾驶环境的复杂性和不确定性，自动驾驶汽车(AVs)不可能穷尽式地设计规划规则来优化未来轨迹。为了解决这个问题，我们提出了一种称为速度场的局部地图表示方法。这种方法为轨迹规划任务提供了方向和速度先验，简化了复杂城市驾驶中的规划过程。使用我们提出的损失，可以从人类驾驶员的演示中学习航向和速度先验。此外，我们开发了一个基于迭代采样的规划器来训练和比较本地地图表示之间的差异。我们研究了在真实数据集上规划性能的局部地图表示形式。与已知的栅格化成本图相比，我们的方法显示了更高的可靠性和计算效率。
2. 引言
轨迹规划是自动驾驶系统的关键组成部分，因为它使车辆能够高效地、安全地沿着目标路径到达预定目的地。现有的规划方法可分为两类：基于规则的方法和基于学习的方法。
该图示展示了我们提出的速度场生成和规划模块的框架，以及它们的训练过程。绿色箭头表示潜在变量的传递。参考线、地图元素、自车和代理车辆的运动以及几何信息通过多层感知机（MLP）/门控循环单元（GRU）模块进行编码。采用全局注意力来建模物体之间的交互。多模态MLP解码器为自车生成初始猜测，并为其他代理车辆生成预测。橙色箭头表示损失与每个模块之间的关系：专家演示通过损失函数（如距离度量、选择概率和速度目标）为模型参数提供监督信号。黑色箭头代表规划过程：迭代轨迹优化器在初始猜测附近进行采样；调用查询函数获取自车轨迹候选点上的速度信息；通过加权求和计算每条轨迹的成本；选择前n条轨迹进行下一次迭代；经过一定数量的迭代后，选择成本最小的轨迹作为最终输出轨迹。
基于规则的方法依赖于手动设计的规则来避免在驾驶环境中与物体发生碰撞，例如基于距离的距离测量和速度策略，如图1（a）所示。然而，这些规则通常局限于特定场景，从而限制了它们的泛化能力。基于学习的方法，特别是基于模仿学习的方法，学习轨迹与驾驶环境之间的映射，提供了更广泛的应用范围。然而，直接将驾驶环境映射到规划轨迹通常被认为可解释性较差。
神经运动规划器（NMP）引入了一种新方法，它结合了基于规则和基于学习方法的优点，从而提高了规划模块的泛化能力和可解释性。具体来说，该方法使用深度神经网络将感知信息转换为场景中每个时空点的驾驶成本（图1（b）），并选择总成本最低的采样轨迹。然而，卷积神经网络生成的成本图带来了显著的计算负担，无法满足实时性要求。此外，在高速场景中规划需要更大的地图范围，而网格尺寸过大则会导致规划精度降低。同时，车辆后方或不可达区域的大规模网格也会进行预测，造成计算资源的浪费。因此，该方法在计算时间、地图范围和网格尺寸之间面临权衡。此外，纯成本值仅提供时空位置信息，未考虑高阶运动信息。例如，驶向路边和沿路边行驶的成本应有所不同，而成本图无法传达道路限速信息。
为解决这些挑战，我们提出了速度场（VF），它包含两个新颖的关键设计。首先，为克服计算权衡，我们提出了基于注意力机制的隐式地图概念]。在我们的方法中，驾驶环境信息被编码为键值对，而轨迹采样位置被编码为查询，以获取该位置的驾驶成本。这种方法避免了将潜在变量显式解码为栅格化地图，并输出不相关位置的成本值，从而提高了计算效率，并且不存在网格范围和尺寸之间的权衡。其次，类似于占用地图和占用流之间的关系，我们用速度矢量替换了原始的成本值（图1（c）），从而引入了高阶运动信息。通过计算轨迹速度与速度先验之间的差异来估计行驶成本。我们在记录真实场景的数据集上验证了我们的方法。
3. 效果展示
该图示展示了在给定时间步长下计算行驶成本的三种方法。红色车辆代表自动驾驶车辆，最右侧的实白线描绘了交通信号灯前的停车线，且每个场景中的交通信号灯都处于红灯状态。(a) 测量自动驾驶车辆与其他车辆和交通信号灯之间的距离。然后实施手动定义的规则来确定跟车速度和变道操作。(b) 代表一类地图表示方法，该方法为驾驶环境中的每个点提供行驶成本。它引导车辆轨迹尽可能多地通过低行驶成本区域。(c) 使用速度向量来引导车辆的行驶轨迹。例如，它指示车辆在停车标志附近的停车线前减速并停车，以及与其他车辆保持相同速度行驶。
4. 主要贡献
我们的贡献主要包括以下三个方面：
1）我们探索了一种新颖的可解释矢量化驾驶局部地图表示方法，称为速度场（VF），它以直接且高效的方式提升了规划性能。
2）我们开发了一种高效的迭代轨迹优化器，它与所提出的地图表示方法无缝兼容，支持训练和推理过程。
3）我们在记录的真实场景中以闭环形式部署了速度场和基于迭代优化的规划器，证明了我们的方法在实现人类相似性和安全性改进方面的有效性。
5. 方法
