ICLR'25 | STAMP：异构协同感知框架新框架！无痛扩展~

今天自动驾驶之心为大家分享 加州大学洛杉矶分校和德克萨斯大学奥斯汀分校的最新工作——STAMP！ 面向异构智能体的可扩展任务与模型无关的协作感知框架。 如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

[ICLR 2025] STAMP: Scalable Task- And Model-agnostic Heterogeneous Collaborative Perception 一个可扩展，与任务和模型无关的，异构协同感知框架

在快速发展的自动驾驶领域，如何让不同车辆高效地共享和通信环境感知信息是一个重大挑战。试想，特斯拉可以无缝地将其摄像头数据共享给配备 LiDAR 的 Waymo 车辆，同时又能安全地接收其他车辆的感知信息——通过多车辆之间的协同，构建一个更全面、更安全的驾驶环境。

论文链接 ：https://arxiv.org/abs/2501.18616
论文代码 ：https://github.com/taco-group/STAMP
项目网站 ：https://xiangbogaobarry.github.io/STAMP/
讲解视频（英文） ：https://www.youtube.com/watch?v=OlQDg7EMWrE&t=3s
作者信息 ：https://www.xiangbogao.com/

异构协同感知的挑战

传统的自动驾驶车辆作为独立个体运行，仅依赖自身的传感器和处理能力。尽管这种方法有效，但并非最佳选择。车辆经常会遇到视野受限、遮挡或恶劣天气等情况，这些都会削弱感知能力。

解决方案看似简单：让车辆共享它们所见的信息。然而，不同的自动驾驶车辆使用：

• 不同类型的传感器（摄像头、LiDAR、雷达）

• 不同的 AI 模型和架构

• 不同的任务（如目标检测、分割、轨迹预测）

这就像一群讲不同语言、使用不同工具且目标各异的人试图合作。以往的尝试局限于：部分异构的协同感知[1]，仅限于目标检测任务的异构协同感知[2,3]，或是仅限于两辆或少量异构车辆的协同感知[4]。

STAMP: 自动驾驶车辆模型的通用翻译器

STAMP是一个可扩展的，任务与模型无关的，异构协同感知框架，通“协作特征对齐”（Collaborative Feature Alignment）的方法，多个异构车辆之间也能相互沟通，协同感知。其工作原理如下：

1. 协议网络 （Protocol Network): STAMP 首先建立一个统一的鸟瞰图特征空间（BEV feature space），可视为建立一个所有车辆都能翻译到和从中翻译出的通用语言。

2. 适配器（Adapter）和恢复器（Reverter）：每辆车配备：

• 一个适配器 (ϕ)，将其本地（local）的特征图 （feature map）适配到协议特征空间（Protocol feature space），类比于将“地方方言”翻译为“通用语言”。

• 一个恢复器 (ψ)，将其协议空间的特征图恢复到本地特征空间，类比于将“通用语言”重新转换为“地方方言”。