作者 | Lihao Wang 编辑 | 深蓝AI
点击下方
卡片
，关注“
自动驾驶之心
”公众号
>>
点击进入→
自动驾驶之心
『
相机标定
』
技术交流群
本文只做学术分享，如有侵权，联系删文
本篇提出了一种用于鱼眼环视系统的无模式外参标定方法Click-Calib，它易于使用且无需任何特殊设置，并且在短距离和远距离处均能提供高精度。此外，它对关键点高度噪声具有鲁棒性。在内部数据集和公开的WoodScape数据集上的评估表明，与基线方法相比，Click-Calib具有更高的精度和鲁棒性。
©️【深蓝AI】编译
论文标题：Click-Calib: A Robust Extrinsic Calibration Method for Surround-View Systems
论文作者：Lihao Wang
论文地址：
https://arxiv.org/pdf/2501.01557
代码链接：https://github.com/lwangvaleo/click_calib
本文介绍了
Click-Calib：一种鲁棒的环视系统外参标定方法。环
视系统（SVS）是高级驾驶辅助系统（ADAS）的重要组成部分，它需要精确的标定结果。然而，传统的离线外参标定方法既繁琐又耗时，这是因为它们严重依赖于物理模式。此外，这些方法主要注重于车辆周围的短距离区域，这导致更远区域中的标定质量较差。为了解决这些局限性，本文提出了
Click-Calib，这是一种用于离线SVS外参标定的无模式方法。该方法无需任何
特殊设置，用户仅需要点击自然场景中地面上的一些关键点即可。
与其它离线标定方法不同，
Click-Calib通过最小化关键点的重投影距离误差来优化相机位姿，从而在短距离和远距离处实现精确标定。
此外，
Click-Calib支持单帧和多帧模式
，后者提供了更好的结果。本文在内部数据集和公开的WoodScape数据集上的评估表明，与基线方法相比，Click-Calib具有更高的精度和鲁棒性。
基于相机的SVS是ADAS和自动驾驶的关键组成部分。
它们广泛用于鸟瞰图（BEV）图像生成、泊车辅助和3D感知。典型的SVS由四个环绕车辆安装的宽视角鱼眼相机组成，它们提供了360°的覆盖范围，如图2所示。
▲图1｜ 由四个鱼眼相机组成的环视系统（SVS）©️【深蓝AI】编译
尽管当前的离线外参标定方法能够在车辆周围的目标区域提供精确的标定，但是这些区域大多在短距离范围内（通常小于5米，如图3所示）。
▲图2｜ 基于模式和基于光度方法的示例©️【深蓝AI】编译
这种局限性主要有两个原因：首先，对于基于模式的方法，距离受限于模式的物理尺寸以及标定空间；其次，对于基于光度的方法，由于合成BEV图像的质量在较远距离处急剧降低，因此标定范围也受到限制。
本文提出了Click-Calib，这是一种简单而鲁棒的SVS外参标定方法（如图1所示）。
▲图3｜ 本文所提出的Click-Calib©️【深蓝AI】编译
当车辆静止或者低速（小于30km/h）行驶时，可以应用该方法。用户无需进行任何特殊设置，仅需要在相邻相机的重叠区域中选择地面上的一些关键点。Click-Calib的标定结果在短距离和远距离（大于10米）均能维持高精度，这使其非常适用于远距离3D感知任务。
1）本文提出了Click-Calib，这是一种无需特殊设置或者标定模式的SVS外参标定方法。与其它需要从鱼眼到透视图像去畸变的鱼眼标定方法不同，它直接从原始鱼眼图像中优化标定参数，从而避免信息损失；
2）本文证明了光度误差不太适用于反映远距离BEV图像的质量。相反，本文引入了平均距离误差（MDE）作为更精确的度量方式；
3）本文方法在三种不同的车辆上进行评估。与其它离线标定方法相比，Click-Calib展现出显著的改进，特别是在远距离处。其它实验还证明了它对环境不确定性（例如每个关键点的高度变化）的鲁棒性。
■ 3.1. 符号和术语
本文使用
表示空间中的3D点，使用
表示图像中的2D点（即像素坐标）。上标用于表示坐标系。例如，
表示相机
的2D图像中的像素，
表示相机坐标系中的3D点。
■ 3.2. 鱼眼相机模型
自1906年发明鱼眼相机以来，其大视场（通常≥180°）在监控、增强现实，特别是汽车应用中得到广泛使用。与将3D点线性映射到2D图像的针孔相机不同，鱼眼相机产生的图像具有明显的径向畸变，特别是在图像边界附近。
为了描述鱼眼透镜的强径向畸变，本文提出了若干种几何模型。这些模型可分为四类：经典几何模型、代数模型、球面模型和其它模型。
为了便于实现投影函数，本文采用了代数模型。具体而言，本文使用四阶多项式：
其中，
表示入射角，
表示图像半径（像素）。系数
至
是从内参标定中获得的畸变参数。图4展示了鱼眼投影，并且将其与针孔相机模型进行比较。
▲图4｜ 鱼眼相机模型©️【深蓝AI】编译
类似于将3D点投影到2D图像像素的投影过程，相机的重投影过程被定义为逆操作，将2D图像像素映射回3D点。对于鱼眼相机，这涉及从
计算
：
四阶多项式的解析解很复杂，因此在实践中经常使用Newton-Raphson方法等数值方法。求解的
仅提供射线方向，因为在2D到3D映射过程中无法恢复深度信息。重投影射线的简单表示是其与单位球面的交点
，因此：
和
为图像中心
的像素坐标。任何3D点
可以表示为：
■ 3.3. 相机-车辆投影
上述鱼眼相机模型描述了2D鱼眼图像和3D鱼眼坐标系
之间的变换。
为了获得车辆坐标系
中的3D点坐标，这里讨论了相机-车辆投影。为了简化线性变换，使用齐次坐标。因此，2D
和3D
分别扩展为
和
。从
到
的齐次变换矩阵（也称为外参矩阵），由下式给出：
在该矩阵中，向量
表示平移，描述了
在
中的位置。
表示旋转矩阵
的元素，其描述了
相对于
的姿态。
可以通过四元数
计算：
通过
，对于车辆坐标系中的点
，其在相机坐标系
中的对应点
由下式计算：
由于存在尺度因子
，
仅决定一条射线。然而，本文仅考虑地面点，因此：
其中，
是
中的地面点。这里，
，因为车辆坐标的原点是位于地面上的。通过这一约束，尺度因子
可以被唯一确定，然后
可以通过计算得到。
■ 3.4. 优化
优化目标是确定每个相机的位姿，该位姿由6个参数组成：平移向量中的三个参数
和四元数
确定的三个旋转参数。如图2所示，SVS包含四个相机
、
、
和
。对于一对相邻相机
和
，如果它们均能看见地面点
，则两个相机的重投影距离误差为：
其中，
表示欧式范数，
为上述公式确定的地面投影函数，
和
分别为
在
和
中的像素坐标。然后，通过最小化如下目标函数，可以获得SVS标定的最优估计：
