加利福尼亚大学最新！V2XPnP：多智能体V2X时空融合新方案

今天自动驾驶之心为大家分享 加利福尼亚大学最新的工作—V2XPnP！ 论文提出了面向多智能体感知与预测的V2X时空融合新方案。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

V2XPnP的算法概览

V2X 技术为缓解单一车辆系统在观测能力上的局限性提供了一个有前景的范式。之前的研究主要集中在单帧协同感知上，该方法融合了来自不同空间位置的智能体信息，但忽略了时间线索和时间相关任务（例如，时间感知和预测）。本文聚焦于V2X场景中的时间感知和预测任务，并设计了单步和多步通信策略（即何时传输），同时考察了这两种策略与三种融合策略——早期融合、后期融合和中间融合（即传输什么信息）的结合，并提供了与各种融合模型的综合基准（即如何融合）。此外，本文提出了V2XPnP，一个新的中间融合框架，适用于单步通信中的端到端感知和预测。本文的框架采用统一的基于Transformer的架构，有效建模跨时间帧、空间智能体和高清地图的复杂时空关系。本文还引入了V2XPnP序列数据集，该数据集支持所有V2X协作模式，并解决了现有现实世界数据集的局限性——这些现有数据集仅支持单帧或单模式的协作。大量实验表明，本文的框架在感知和预测任务中均优于现有的最先进方法。

• 论文链接：https://arxiv.org/pdf/2412.01812

主要贡献

1. 本文提出了V2XPnP，一个V2X时空融合框架，采用了一种新颖的中间融合模型，适用于单步通信。该框架基于统一的Transformer架构，集成了多种注意力融合模块，用于V2X时空信息的融合。
2. 本文引入了首个大规模现实世界V2X序列数据集，涵盖多个智能体和所有V2X协作模式（即VC、IC、V2V、I2I），包括感知数据、物体轨迹和地图数据。
3. 本文对各种时空融合策略进行了广泛分析，并为所有V2X协作模式下的协同感知和预测任务提供了全面的基准，展示了所提模型在协同时间感知和预测任务中的最先进性能。

方法设计：

自动驾驶系统需要准确感知周围的道路用户，并预测其未来轨迹，以确保安全和互动驾驶。尽管在感知和预测方面已有一些进展，但单一车辆系统仍然面临感知范围有限和遮挡问题，这影响了驾驶性能和道路安全。因此，V2X技术作为一种有前景的范式应运而生，能够让联网自动驾驶车辆（CAVs）和基础设施共享互补信息，减少遮挡，从而支持全面的环境理解。

尽管V2X技术具有潜力，现有的研究主要集中在逐帧协同检测，该方法聚合来自不同空间位置的智能体信息。然而，这些研究忽略了跨序列帧的时间线索，而这些线索对于定位之前可见但当前未检测到的物体[44]以及预测物体未来轨迹[29]至关重要。V2X在增强这些时间相关任务，特别是在协同时间感知和预测方面的潜力，仍然很大程度上未得到探索。本文旨在解决多智能体协作中的关键问题：（1）应传输什么信息？（2）何时传输？（3）如何跨空间和时间维度融合信息？为了回答“应传输什么信息”，本文扩展了单帧协同感知中的三种融合策略（即早期融合、后期融合和中间融合），以涵盖时间维度。关于“何时传输”，本文引入了单步和多步通信策略，以捕捉多帧时间信息。至于“如何融合”，本文对各种时空融合策略进行了系统分析，为所有V2X协作模式下的协同感知和预测任务提供了全面的基准。

在这些策略中，本文提倡在单步通信中使用中间融合策略，因为它有效地平衡了精度和增加的传输负载之间的权衡。此外，它能够传输中间时空特征，使其非常适合端到端的感知和预测，支持跨多个任务的特征共享，并减少计算需求，如图1所示。基于这一策略，本文提出了V2XPnP，一个V2X时空融合框架，利用统一的Transformer结构进行有效的时空融合，涵盖时间注意力、自空间注意力、多智能体空间注意力和地图注意力。每个智能体首先提取其跨帧和自空间特征，这些特征可以支持单车感知和预测，同时减少通信负载，然后多智能体空间注意力模型将单智能体特征在不同智能体之间进行融合。