点击下方
卡片
，关注
「3D视觉工坊」
公众号
选择
星标
，干货第一时间送达
来源：深蓝AI
添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
本篇针对端到端自动驾驶中运动任务总是会降低检测和跟踪性能的负迁移问题，提出了DMAD，这是一种新的端到端自动驾驶架构，它将语义学习和运动学习分离，消除了负迁移的影响。此外，本文还利用语义任务之间的相关性来促进端到端训练过程中的正迁移。实验结果表明，本文方法在开环规划评估中实现了最先进的碰撞率，而无需对规划模块进行任何修改。
论文标题：Divide and Merge: Motion and Semantic Learning in End-to-End Autonomous Driving
论文作者：Yinzhe Shen, Ömer Şahin Taş, Kaiwen Wang, Royden Wagner, Christoph Stiller
论文地址：
https://arxiv.org/pdf/2502.07631
感知环境及其随时间的变化对应于两个基本但异构的信息类型：语义和运动。先前的端到端自动驾驶工作在单个特征向量中表示这两种类型的信息。然而，
预测和规划等运动任务总是会降低检测和跟踪性能，这种现象在多任务学习中被称为负迁移。
为了解决这个问题，本文提出了神经贝叶斯运动解码，这是一种新的并行检测、跟踪和预测方法，它分离了语义学习和运动学习，这类似于贝叶斯滤波器。具体而言，本文采用了一组与检测和跟踪查询并行运行的学习运动查询，共享一组统一的递归更新的参考点。此外，本文还采用交互语义解码来增强语义任务中的信息交换，促进正向迁移。在nuScenes数据集上的实验表明，
检测性能提高了5%
，
跟踪性能提高了11%
。本文方法在开环规划评估中实现了最先进的碰撞率，而无需对规划模块进行任何修改。
模块化端到端（E2E）自动驾驶（AD）正在逐渐受到关注，这是因为它结合了传统流程方法和严格的E2E方法的优势。
模块化的E2E框架本质上代表了一项多任务学习挑战。
预计各种任务是互补的，共同提高了整体系统性能。然而，
设计不佳的多任务学习结构不仅无法促进互学习，还对单个任务产生不利影响，这种现象被称为负迁移。
主流的模块化E2E方法通常采用顺序结构（如图1a所示）。
▲图1｜ E2E结构的比较
©️【深蓝AI】编译
这种结构与执行驾驶任务时的人类倾向一致，并且展现出有前景的规划性能。然而，这些方法展现出目标检测和跟踪的负迁移。换而言之，联合训练的E2E模型的感知性能通常不如没有运动预测和规划任务的模型。
本文通过检查学习的异构信息的类型（语义和运动）来分析负迁移的根本原因。
语义信息包括周围目标、车道、十字路口等类别，而运动信息则描述了环境中发生的时间变化。顺序方法连续执行两个过程，首先进行检测和跟踪，然后利用表示目标的特征进行轨迹预测。这种顺序设计迫使特征包含运动信息，从而破坏了最初学习到的语义信息。因此，它导致了感知的负迁移。另一种结构使用不同的头并行执行大多数任务，如图1b所示。然而，由于检测和预测保持顺序，因此负迁移的问题仍然存在。
本项工作提出了DMAD结构（如图1c所示），
它分离并且合并运动和语义学习，用于端到端自动驾驶。DMAD通过分离语义和运动学习来解决负迁移问题。
此外，它通过合并语义和运动学习来利用语义任务之间的相关性。
对于分离，本文
提出了神经贝叶斯运动解码器。
本文维护了一组运动查询，这些查询与目标（检测和跟踪）查询并行处理鸟瞰图（BEV）特征。运动查询与目标查询之间的关键区别在于，它们被解码为过去和未来轨迹，而不是具有类别的边界框。运动和目标查询共享一组参考点，通过检测和预测来递归更新。它仅允许这两种类型的查询之间进行有限的信息交换。此外，本文使用有限差分的预测轨迹来计算目标的速度，从而消除对目标查询直接学习速度的要求。通过这种方式，目标查询着重于学习语义和外观特征，而运动查询专注于获取运动特征。这两种类型的异构信息沿着不同路径分别学习，有效地防止了负迁移。值得注意的是，DMAD结构将运动学习提升到与语义学习相同的水平，首次将预测、跟踪和预测作为并发任务。
对于合并，本文
提出了交互式语义解码器
，以增强语义在检测和地图分割中的交换。目标感知和地图感知本质上是相关的任务。先前的方法往往忽略了这一联系，通常沿着并行路径执行这两项任务。DualAD利用了这种相关性，但是仅允许目标感知从地图中学习。本文方法使用逐层迭代自注意力来实现目标和地图任务之间的互学习，从而促进正向迁移。
基于UniAD，在nuScenes数据集上的实验证明了DMAD结构在缓解负迁移方面的有效性。本文方法在感知和预测方面实现了显著的性能提升。在不修改规划模块的情况下，本文展示了改进的感知和预测是如何在开环评估中有利于规划的，从而实现了最先进的（SOTA）碰撞指标。
本文的关键贡献总结如下：
1）本文提出了DMAD，这是一种模块化的E2E AD范式，它根据应该学习的信息对任务进行分离和合并。这种设计消除了不同类型任务之间的负迁移，同时增强了相似任务之间的正迁移；
2）本文引入了神经贝叶斯运动解码器，它与目标检测和跟踪并行执行轨迹预测。此外，本文还引入了交互式语义解码器来增强目标和地图感知之间的信息共享；
3）本文在nuScenes数据集上验证了所提出方法的有效性。它在开环规划中获得了改进的感知和预测结果以及SOTA碰撞率。
图2展示了DMAD结构的概览，该结构基于UniAD。
▲图2｜ DMAD概览
©️【深蓝AI】编译
BEV特征从多视图相机图像中提取，并且在所有任务中共享，包括检测、跟踪、建图、预测和规划。本文初始化三种不同类型的查询：目标、地图和运动，它们处理BEV特征，以提取每项任务所需的特定信息。根据学习的信息类型，解码过程分为两条途径。
一方面
，目标和地图解码在交互式语义解码器中联合执行，其中两种类型的查询在每个解码层迭代地交换潜在语义信息。
另一方面
，运动查询从神经贝叶斯运动解码器中的BEV特征中提取运动信息。每个运动查询直接对应于一个目标查询。运动查询使用目标的坐标作为每个解码层上的参考点。在解码每一帧后，从运动查询中预测的未来路径点作为后续帧中目标查询的参考点。这种递归结构类似于贝叶斯滤波器的行为。参考点的交换始终没有梯度。最后，将运动查询传递给规划模块。该系统是完全端到端训练的，其运动和语义梯度是以不同路径传播的。
■ 3.1. 交互式语义解码器
先前的研究基本上将目标检测和地图感知作为单独的任务。
然而，目标和地图元素之间存在相关性。例如，车辆的位置很可能在可行驶区域内，并且车道上车辆的朝向很可能与车道的方向一致。为了利用这种语义相关性，本文引入了交互式语义解码器。与 DualAD 中的单向交互相反，本文方法实现了信息的双向交换。本文初始化一组目标查询
和一组地图查询
。查询的数量可以不同，但是维度
必须相同。每个解码层首先连接这两种类型的查询。然后，应用自注意力，其中这两种查询交换语义信息。随后，分离这两种类型的查询，每种查询在 BEV 特征上分别执行自注意力和交叉注意力，如图 3 所示。
▲图3｜ 交互式语义解码
©️【深蓝AI】编译
在交互式语义解码之后，本文
将地图查询解码为稠密表示。
每个目标查询被分类到一个类别
中，并且回归到一个向量
。每个目标查询关联一个参考点
。它没有直接学习目标的绝对坐标，而是学习相对于相应参考点的偏移量。因此，边界框可以表示为 。值得注意的是，速度没有回归，因为它们与运动信息有关。本文设计的目标查询仅关注语义信息，即目标的类别、中心点和方向。
■ 3.2. 神经贝叶斯运动解码器
运动是指语义随时间变化。
安全且舒适的驾驶需要 AD 系统理解环境变化并能预测未来发展，从而相应地做出决策。对于当前的模块化 E2E 系统，运动任务是指轨迹预测和运动规划。本文引入了一种与语义解码器并行运行的新型运动解码器，旨在完全解耦运动和语义学习，以缓解语义任务的负迁移。考虑到运动和语义之间的相关性，本文设计了一种递归过程，以促进两个解码器之间人类可读信息的交换，类似于贝叶斯滤波器。
在多目标跟踪背景下，该过程可以分为三个步骤：
首先
，基于目标的历史状态
来预测当前位置；
其次
，将最有可能与预测结果匹配的检测识别为测量值；
最后
，根据最新测量值
来更新当前状态
。该过程在连续时间上递归执行。
接着，本文介绍了所提出的神经贝叶斯运动解码器。如图 4 所示，本文方法还包括预测、测量和更新过程。
▲图4｜ 神经贝叶斯运动解码
©️【深蓝AI】编译
神经贝叶斯运动解码器：
神经贝叶斯运动解码器是一种 Transformer 解码器。本文以初始化目标查询相同的方式来初始化一组运动查询
。运动查询与目标查询一一对应，即
