进入资料分享群，后台回复：入群
在自动驾驶汽车中，传感器融合是融合来自多个传感器的数据的过程。这一步骤在机器人技术中是强制性的，因为它提供了更高的可靠性、冗余度，以及最终的安全性。
为了更好地理解，让我们考虑一个简单的例子，一个 LiDAR 和一个摄像头都在观察行人🚶🏻。
由于传感器有噪声，因此已经创建了传感器融合算法来考虑该噪声，并做出尽可能最精确的估计。
在融合传感器时，我们实际上是在融合传感器数据，或者进行所谓的数据融合。构建数据融合算法的方法有多种。实际上，有 9 种。这 9 种方法分为 3 个类别。
在本文中，我们将重点介绍 3 种传感器融合分类和 9 种传感器融合算法。
I - 按抽象层进行传感器融合
最常见的融合类型是抽象层次的融合。在这种情况下，我们要问的是“我们应该何时进行融合？”
在业内，人们对此有其他称呼：低级、中级和高级传感器融合。
低级融合 - 融合原始数据
低级传感器融合是指融合来自多个传感器的原始数据。例如，我们融合来自 LiDAR 的点云和来自摄像头的像素。
✅ 这种融合在未来几年具有很大的潜力，因为它考虑到了所有数据。
❌ 几年前，早期融合（低级）非常难以实现，因为需要的处理量非常大。每毫秒，我们可以融合数十万个点和数十万个像素。
这是摄像头和激光雷达低级融合的示例。
该过程中使用了对象检测，但真正完成的是将 3D 点云投影到图像中，然后将其与像素关联起来。
中级融合 - 融合检测
中级传感器融合是关于融合独立检测到的传感器数据。
如果摄像头检测到障碍物，雷达也检测到障碍物，我们会融合这些结果，以对障碍物的位置、类别和速度做出最佳估计。通常使用卡尔曼滤波器（贝叶斯算法），
正如本文中所解释的那样
。
✅这个过程很容易理解，并且包含几个现有的实现。
❌ 它严重依赖探测器。如果一个探测器失效，整个融合就会失败。卡尔曼滤波器来拯救你！
这是与之前相同示例的中级传感器融合。
在这个例子中，我们将 LiDAR 的 3D 边界框与物体检测算法的 2D 边界框融合。这个过程是可行的；但也可以反过来。我们可以将 3D LiDAR 结果投影到 2D 中，从而在 2D 中进行数据融合。
高级融合 - 融合轨道
最后，高级传感器融合是指融合物体及其轨迹。我们不仅依赖检测，还依赖预测和跟踪。
✅ 此过程高出一个级别，因此具有相同的简单性优势。
❌ 一个主要问题是我们可能会丢失太多信息。如果我们的追踪错误，整个事情都会出错。
雷达和摄像机之间按抽象级别进行数据融合的图表。
II - 按集中级别进行传感器融合
对融合算法进行分类的第二种方法是按集中化程度。在这里，我们要问“融合发生在哪里？ ”。主计算机可以做到这一点，或者每个传感器都可以进行自己的检测和融合。有些方法甚至使用一种称为卫星架构的东西来实现这一点。
3 种类型的融合：
举个例子，我们以一辆典型的自动驾驶汽车为例。在这种情况下，每个传感器都有自己的计算机。所有这些计算机都连接到一个中央计算单元。
与此相反，Aptiv 开发了一种称为“卫星架构”的架构。其理念是：插入多个传感器，并将它们融合到一个处理智能的中央单元，称为主动安全域控制器。
在此过程中，调整传感器的位置和传输的信息类型可以帮助减轻车辆的总重量，并且能够更好地增加传感器的数量。
以下是左图所示的情况：
-
传感器只是“卫星”：它们只是用来收集原始数据。
-
360°融合发生在主计算机中：我们不必安装极其优质的传感器，因为不会发生单独的检测。
-
检测是在 360° 图片上完成的。
✅ 这有几个优点，正如您在本文中
读到的。
这是“集中式融合”的两个例子。其他两种类型的融合可以在我们拥有经典架构时发生。
雷达和摄像机之间按抽象级别进行数据融合的图表。
III-按竞争级别划分的传感器融合
对传感器融合算法进行分类的最后一种方法是根据竞争水平。
-
在抽象层面，我们询问融合“何时”发生。
-
在集中化层面上，是有关“在哪里”的问题。
-
在竞赛层面，我们会问“融合应该做什么？ ”
同样，我们有 3 种可能性。
竞争性融合
竞争性融合是指传感器用于相同目的。例如，当我们同时使用雷达和激光雷达来检测行人的存在时。这里发生的数据融合过程称为冗余，因此有“竞争性”一词。
互补融合
互补融合是指使用不同的传感器观察不同的场景，以获得我们无法通过其他方式获得的东西。例如，使用多个摄像头构建全景图时。由于这些传感器相互补充，我们使用术语“互补”。
协调融合
最后，协调融合是指使用两个或多个传感器来产生新的场景，但这次观察的是同一个物体。例如，
使用 2D 传感器进行 3D 重建或 3D 扫描
时
融合通常由贝叶斯算法（如卡尔曼滤波器）完成。我们可以融合数据来估计物体的速度、位置或分类。
本文主要介了如何使用传感器融合，以及如何区分不同的融合算法
。
总结
本文主要介了如何使用传感器融合，以及如何区分不同的融合算法。
相关文章
1.
自动驾驶传感器融合算法 - 自动驾驶汽车中的激光雷达和雷达
2
.
自动驾驶算法——使用扩展卡尔曼滤波算法实现传感器融合和物体跟踪
参考文献
https:
/
/www.thinkautonomous.ai/blog
/9-types-of-sensor-fusion-algorithms/
……
篇幅限制，仅展示部分资料
如欲
获取完整版PDF文件
，
如下方式：
长按二维码
加入星球
10T资源，尽情下载
(资源实时更新，本资源已同步至知识星球)
有其他资源需求及问题欢迎在星球提问
