预测规划统一新框架！利用一致性模型的端到端预测规划器来了（普林斯顿大学）

今天自动驾驶之心为大家分享 普林斯顿大学 的最新工作！ 基于一致性模型的自动驾驶端到端预测规划器！ 如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

写在前面&笔者的个人理解

一篇关于集成了自动驾驶预测和规划的最新算法框架文章。轨迹预测和规划是自动驾驶系统当中至关重要的两个组成部分。在早期的传统自动驾驶系统当中，预测和规划属于是各自独立的模块，这种范式限制了执行交互式规划的能力。因此，本文我们提出了一个新颖的统一数据驱动框架，将预测和规划与一致性模型相结合。我们提出的算法模型以更少的采样步骤实现了更好的性能，使其更适合实时部署。

首先，我们先介绍模块化预测和规划范式的问题。然后引出我们本文所提出算法模型的网络结构和细节。接下来是在WOMD数据集上的实验结果和指标分析，最后是本文所得出的结论。

简介

为了在动态环境中安全高效地行驶，自动驾驶汽车必须有效地预测并与各种道路参与者互动，包括其他车辆和行人。这通常需要一个预测模块来预测其他代理的未来轨迹，以及一个规划模块来为自车生成轨迹。虽然预测模块已广泛采用数据驱动的方法来从人类驾驶数据中学习，但规划模块通常依赖于基于优化的方法。这两个模块通常以解耦、交替的方式运行。

但是这种解耦的方法引入了根本性的限制。规划器生成的交互行为本质上是被动的，而不是主动的，因为规划器响应其他代理，而不考虑它们如何对自车做出反应。这种限制可能导致计算成本高昂的心理理论推理。在高度交互的场景中，例如车道合并，主动规划是必不可少的，被动规划可能会导致自车卡住。现有的解决方案要么难以随着代理数量的增加而扩展，要么由于对解决方案搜索空间的限制性探索而损害了最优性。

此外，模块化方法可以独立优化预测和规划，与联合训练的端到端框架相比，这通常会导致效率降低。预测和规划模块之间的交替也引入了延迟和计算效率低下，使得满足实时操作的需求变得具有挑战性。

近年来，扩散模型被广泛应用于自动驾驶领域。它们对条件分布进行建模的能力使它们非常适合轨迹规划应用，因为它允许结合规划和预测的关键背景，包括轨迹历史、地图信息、自车的目标位置等。与 Transformer 模型相比，基于扩散的方法还支持可控生成，以仅在测试时通过引导采样来满足额外要求，而无需任何额外的训练。然而，扩散模型通常需要许多采样步骤才能获得高质量的样本，这使得满足自动驾驶汽车实时操作的需求变得具有挑战性。

考虑到上述提到的相关问题，在本文中我们提出了一种基于一致性模型的端到端预测规划器，旨在在单一数据驱动框架内统一规划和预测。大量的实验表明，我们提出的算法模型在Waymo Open Motion Dataset数据集上与现有各种方法相比在轨迹质量、约束满足和交互行为方面的优势。

论文链接：https://arxiv.org/pdf/2502.08033

这里也推荐下自动驾驶之心《端到端自动驾驶》实战课程！ 课程全面梳理了完全端到端、专注于PnC的端到端方法。课程已全部更新完毕，随到随学！

拼团大额优惠！欢迎加入学习~

算法模型网络结构&细节梳理

Motion-Transformer Encoder

在本文中，我们通过规划目标来规划自车的轨迹，同时预测其他车辆的交互行为。为了将轨迹历史和地图信息编码为一致性模型的条件输入，我们采用了 MTR 的编码器架构。这种基于 Transformer 的架构通过局部注意机制有效地对场景上下文进行建模，从而实现代理与路线图之间的高效交互建模，同时保持内存效率。它还引入了一个具有损失函数的密集预测头来单独训练此编码器。此外，需要注意的是，我们的方法是与编码器无关的，允许灵活选择任何合适的场景编码器与我们基于一致性模型的预测规划器集成。

Consistency Model

一致性模型仅需一个或几个采样步骤就能从复杂分布中生成高质量样本。它由正向扩散过程和逆向扩散过程组成。假设 是我们数据集中的轨迹，我们首先使用在整个数据集上计算的平均值和标准差对 中所有的轨迹进行标准化。

令 为此类归一化轨迹的空间， 是数据分布。在前向过程中，我们首先从 中抽取初始样本 。然后我们应用增加噪声的方式，通过 步来逐渐破坏 。具体来说，在每一步 ，我们从正态分布中进行采样，并且假设破坏的数据可以从下式子获得

我们通过选择足够大的噪声方式，通过重复从数据中进行采样并通过加性高斯噪声进行破坏时，进而得到相应的分布。

假设， 是条件信息空间。在逆向过程中，我们的目标是学习一个具有参数 的一致性函数，该函数映射嘈杂的轨迹样本、条件以及噪声级别直接到相应的干净样本。这是通过选择特定的函数形式来实现的。

对于一致性模型训练，我们的目标是加强 输出在相邻采样步骤中的一致性。一致性训练通过最小化以下损失函数进行实现。

在数据生成过程中，我们首先抽取样本。然后使用训练好的一致性模型。我们通过首先预测近似的干净数据，然后从正态分布中抽样来进行迭代抽样。