利用 ResNet-50 与 IMU 数据优化自动驾驶车辆的多模态轨迹估算 ！

预测自主车辆轨迹仍然是一个关键挑战，尤其是在城市和密集区域，由于其他车辆和行人的不可预测行为。

多模态轨迹预测通过考虑基于多样化环境数据的多条可能未来轨迹，增强了决策制定。

在这种方法中，作者利用ResNet-50从高清地图数据中提取图像特征，并使用IMU传感器数据计算速度、加速度和偏航率。

一个时间概率网络被用于计算潜在轨迹，选择最准确和概率最高的轨迹路径。

这种方法将高清地图数据集成到自主车辆轨迹预测中，以提高预测的健壮性和可靠性。

1 Introduction

自动驾驶车辆（AVs）正在改变作者对交通的看法，承诺使作者的道路更加安全和高效。自动驾驶车辆面临的一个关键挑战是预测自身车辆、其他车辆、行人和自行车的路径。这对于避免碰撞[20]和确保平稳驾驶[19]至关重要。近年来，研究行人一直在探索将高清晰度（HD）地图与各种数据源结合使用，以提高这些预测的准确性[1]。HD地图提供了关于道路的详细信息，包括车道线、交通标志和道路形状。这些信息可以帮助自动驾驶车辆更好地理解周围环境并做出更准确的决策。通过将HD地图与轨迹预测模型相结合，最近的研究表明在预测其他道路使用者的行进路径方面取得了改进的准确性[14]。图1展示了包含标准自动驾驶系统必要组件的标准端到端流程。

在本文中，作者介绍了模型MapsTP，它利用HD地图中的详细信息来增强轨迹预测。同时它还考虑了传感器数据以理解道路上不同用户（如汽车、行人和自行车）的行为。这种全面的方法对于开发能在城市环境中安全高效导航的自动驾驶车辆至关重要。

作者的模型通过结合HD地图来预测自身车辆轨迹。在当前研究中，本研究的范围是提高对自身车辆轨迹的精确预测，并将其与现有基准进行对比。本研究的主要成就包括：

1. 作者开发了一个利用HD地图数据预测自身车辆轨迹的模型。详细的环境特征和车辆状态被处理以生成多个可能的轨迹。
2. 作者使用nuScenes数据集[10]将作者的模型与四种领先的 Baseline 轨迹预测模型进行了对比。作者的评估展示了作者的模型与现有方法相比的表现，证明了其在预测车辆路径方面的有效性。

2 Research Background

对车辆未来移动的预测研究已经进行了许多年。最初的研究使用基于物理的动力学模型来估计未来的位置，在短期轨迹上展现了良好的准确性。然而，这些模型在准确预测受外部因素（如天气条件、交通状况和驾驶员意图，例如变道、导航目标[14, 15]）严重影响的长期车辆行为方面存在困难。近年来，研究转向了深度学习方法，特别是循环网络，以提高预测的准确性。这些方法融合了涉及历史数据和相邻实体上下文信息，为车辆移动预测提供了更为细致的方法。

多模态预测是一种技术，用于预测每个涉及目标的可能路径集，考虑到其不可预测的行为，如速度和方向的变化。为了解决预测多种结果的困难，常常使用深度学习方法。这些包括生成对抗网络[1]和图神经网络[13]。这些系统各自使用独特的方法解决多模态轨迹问题。最近的研究和[16]基于使用条件变分自编码器高效预测多条车辆轨迹的概念。尽管这些基于采样的方法具有优势，但它们在随机选择阶段缺乏显式计算每条预测路径概率的方式。

此外，随着计算机视觉的显著进步，扩散模型开始被用于理解道路使用者的行为并生成各种车辆轨迹预测。然而，由于使用了顺序采样过程，这些模型通常需要大量时间。受到这些先前方法的启发，作者设计了作者的模型MapsTP，它使用高清地图图像和时空概率网络来估计自我车辆的精确轨迹预测。

3 Our Approach

在本节中，作者解释了作者提出的架构是如何工作的，并详细介绍了涉及的每个组件。作者的方法融合了高清地图、特征提取以及一个时空概率网络，以准确预测车辆轨迹。

HD Maps

高清晰度地图对于提供关于车辆周围环境的详细和准确信息至关重要。这些地图包含了精确的车道标记、道路边界、交通标志和其他安全导航所必需的关键特征。通过利用高清晰度地图，系统可以全面理解道路结构和布局，这对于准确的轨迹预测至关重要。

Feature Extractor

特征提取器（ResNet-50）模块负责处理高清地图数据和传感器输入，为预测模型生成有意义特征。传感器输入通常包括偏航率、速度和加速度，提供关于车辆状态的实时信息。特征提取器将IMU传感器的原始数据转换为与车辆随时间移动相对应的离散段，突出显示如车道位置、交叉口和道路几何等重要特征。这些提取的特征随后被送入系统的下一阶段。

Spatio-Temporal Probabilistic Network (STPN)

STPN旨在根据提取的特征预测可能的轨迹。这个网络考虑了空间关系（如道路布局和代理）和时间动态（如车辆速度和加速度）来生成一组可能的轨迹 。每条单独的轨迹 都分配了一个概率得分，表示它作为正确预测的可能性。

概率网络可以用一个函数 表示，该函数将特征向量 映射到一组带有相关概率的可能轨迹：

其中 是第 条轨迹的概率。作者通常表示 变化的索引范围。如果有 条可能的轨迹，索引 从1到 变化。

Maximum Probability and Output Trajectory

一旦生成了轨迹，系统就会识别概率最大的轨迹。这条轨迹代表了车辆最可能遵循的路径。最后一步是将这条轨迹投影回高清地图上，得到指导车辆移动的输出轨迹。

图2： 作者提出的方法 ：用于车辆轨迹规划的HD地图集成。该过程从特征提取器分析这些输入以创建图像特征开始。然后，概率网络分析这些特征，评估多个潜在的轨迹，并为每条轨迹分配概率。

输出轨迹确保车辆遵循安全且高效的路径，同时考虑到来自高清地图的详细道路信息和实时状态输入。

4 实施细节

作者使用ResNet-50 [11]（带有预训练的ImageNet [23]权重）作为主干网络实施作者的方法。从conv5层提取高级特征并进行全局池化，然后与如[14]中描述的包括速度、加速度和偏航率的智能体状态向量结合。这个模型预测在6秒视野内的轨迹。训练参数包括固定的学习率 ，批量大小为32，共50个周期。这个设置有效地整合了视觉和动态信息，以实现可靠的轨迹预测。

5 Experimental setup and Evaluations

在本节中，作者讨论了研究中使用的数据集，并深入研究用于评估作者 Baseline 模型性能的具体评估指标。

Nuscenes Dataset

为了评估作者的方法，作者选取了nuScenes数据集[13]，该数据集包含了在波士顿和新加坡拍摄的1000个视频序列。每个视频时长为20秒，包含40帧，总计有40,000个样本。该数据集被划分为训练集、验证集和测试集，每个集合分别包含700、150和150个场景。

Evaluation Metrics

作者通过将作者的模型与最先进的模型进行比较，使用一组全面的性能指标来计算评估指标，以评估其有效性和鲁棒性，这如同先前的研究[25, 26]。

MinADE ：作者计算了 个预测轨迹中最小平均位移误差和最终位移误差，用于自车轨迹预测。

MinFDE ：作者计算了 个预测轨迹中最小最终位移误差，用于自车轨迹预测。

MinFDE ：类似于[23]，为了计算漏检率，作者考虑了一个给定的距离 和STPN模型生成的 个最可能的预测。如果这些预测与 GT 值之间的最小距离大于 ，作者就将其计为漏检。

其中 表示真实的未来时间步，而 代表预测的未来时间步。

结果

在本节中，作者展示了作者的分析，其中包括定性和定量两个部分。作者的定量分析提供了数据的统计概览，突出了关键趋势和模式，而作者的定性分析则提供了深入洞察和对结果情境的理解。

Quantitative Analysis

作者进行了彻底的实验分析，将作者的模型与四个基准模型进行了比较：

[4]，[10]，[11]，和[12]。这些基准代表了根据最近提出的模型在轨迹预测方面的最先进水平。进行这一比较的目的是确定作者的模型在预测轨迹方面与这些已确立的模型相比表现如何。作者试图确定作者的模型是否超越了或与当前基准的能力相符。通过这一评估，作者旨在识别模型的优点和不足，这有助于作者确定潜在改进的领域。为了评估作者的模型在nuScenes数据集上的表现，作者检查了生成的轨迹序列 。

作者在数据集上对模型的表现进行了评估，针对不同的 值，其中 设置为5、10和15。为了计算MinADE ，MinFDE 和MissRate ，作者使用公式1、2和3。在训练阶段，作者的目标是在训练集上最小化MinADE ，如表格1所示。本质上，作者试图通过在每个 个时间间隔内减小预测轨迹与实际轨迹之间最小的差异来减少它们之间的不一致性。这一策略使作者能够提高模型预测的精度，并在nuScenes数据集上验证其有效性。

Qualitative Analysis

如图3所示，在左侧，作者利用Nuscene提供的高清地图或栅格地图数据。高清地图提供了关于车辆周围环境的详细和精确信息。这些地图信息包括精确的车道标记、道路边界、交通标志以及场景中存在的其他物体。在中间，以红色描绘的多模型轨迹预测。这个可视化展示了多条可能的轨迹，每条轨迹代表了一个车辆可能采取的潜在路径，考虑了诸如速度和方向等各种因素。它提供了关于车辆在不同情境下可能遵循的多样化路径的宝贵洞见。请注意，作者的模型的轨迹预测得到了很好的体现，正如右侧以绿色表示的 GT 情况所证明的。与 GT 情况的一致性展示了作者模型在准确预测车辆轨迹方面的有效性。

在图3中，作者考虑了预测轨迹的最高概率，但也考虑了不同情境下的其他概率。

7 结论

在本文中，作者提出了一个简单的MapsTP解决方案，通过将它们与状态变量一起作为输入来使用。

作者采用像ResNet-50这样的基本卷积神经网络架构从高清地图中提取特征。随后，作者使用一个STPN来计算潜在的轨迹。

作者的方法在准确高效地预测轨迹方面显示出良好的结果，超越了当前最先进的技术。多模型轨迹预测允许计算场景中多条可能的路径，有助于进行更好、更精确的决策。

在未来的研究中，作者旨在通过整合Lidar和雷达等多传感器来提升车辆轨迹预测。此外，作者计划纳入像Argoverse等其他数据集，以进一步提高作者方法的鲁棒性和泛化能力。

参考

[1].MapsTP: HD Map Images Based Multimodal Trajectory Prediction for Automated Vehicles.

扫描下方二维码，添加 AI驾驶员

获取更多的 大模型 与 多模态 等信息