【泡泡一分钟】SOFT2: 基于点到极线度量的用于道路车辆的双目视觉里程计

每天一分钟，带你读遍机器人顶级会议文章

标题：SOFT2: Stereo Visual Odometry for Road Vehiclesbased on a Point-to-Epipolar-Line Metric

作者：Igor Cvišic, Ivan Markovic and Ivan Petrovic´

来源：IEEE TRANSACTIONS ON ROBOTICS

编译：皮家豪

审核：Zoe，王靖淇

这是泡泡一分钟推送的第 982 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

精准定位是所有自动驾驶系统的基础组成模块。本文，我们专注于双目相机，提出一种名叫SOFT2的新方法，这是当前KITTI评分板上排名第一的算法。SOFT2依赖于对极几何和运动学的约束，也就是说，它是为不会出现纯旋转的装置而开发的。我们最小化了点到极线的距离，这使得该方法能够适应对象深度的不确定性，作为第一步，我们仅使用一个摄像头按比例估计运动。然后，我们提出联合估计绝对尺度和第二个相机的外部旋转矩阵，以减轻变化的双目设备的外参的影响。最后， 我们通过提出的极线BA处理，平滑帧时间窗口中的运动估计 。我们还引入了一个多假设特征匹配方法，用于因视角变化出现的外观变化而出现的自相似平面。我们评估SOFT2，并将其与ORB-SLAM2、OV2SLAM和VINS-FUSION在KITTI-360数据集上、KITTI训练序列、Málaga Urban数据集、Oxford Robotics Car数据集、和多车立体事件摄像机数据集进行比较。

图1. KITTI 01序列的极线图解。相机光心点（红色）大致与当前（绿色）和之前（蓝色）帧的极点重合-为了更好地可视化，点位于放大的中心圆中。正方形显示当前帧中检测到的特征，而尾线将它们与来自上一帧的匹配点连接起来。绿线表示与前一帧特征关联的极线。颜色将地面特征和其它特征进行了区分。我们的方法最小化了所有特征与相关极线的垂直距离。

图2.所提双目里程计方法的整体流程。三角形分别代表左右相机 。

图3. 尺度和外参旋转估计的阐述。彩色虚线表示代价函数中使用的极线代价对。红色变量表示估计变量。

图4.4帧极线BA的说明。注意，我们只使用左相机的图像。虚线表示代价函数中使用的额外极线代价对，除了来自连续帧的函数外。红色变量表示估计变量。

图5.六条道路特征的示例，其中每三条分别表示：从左侧摄像头（左侧）看到的道路特征（左边块），使用SOFT2（中间块）生成的预测，以及在右侧图像中找到的相应的特征（右侧块）。

图6.在KITTI01序列的第390帧检测到的ORB-SLAM2特征（上）和SOFT2特征（下）。道路特征被标记为紫色，其它被标记为青色。

图7.六条道路特征的示例，其中每三条分别表示：从左侧相机（左侧块）看到的特征，使用SOFT2生成过去5帧的预测（中间块），以及在过去5帧左侧图像找到的特征（右侧块）。

图8.三个KITTI-360序列的估计轨迹和真值。

表1.九个KITTI-360序列的实验评估（trel[%]，rrelr[deg/100 m]）。VO是基础—本征矩阵+利用旧版本SOFT匹配器得到的尺度和外参。注意，SOFT2列表示包含带极线BA的多假设透视校正匹配器的版本，即SOFT2=VO+MHPC+BA3。

图9.外参估计结果显示右侧相机相对于左侧相机的相对旋转，和有估计以及没有估计的轨迹误差影响。ORB-SLAM2的误差也展示出来，以供参考。

表2.在11个KITTI数据集训练序列的实验评估。

图10.三个Málaga序列的估计轨迹和真值。

表3.Málaga数据集的实验评估。

图11.三个Oxford片段的估计轨迹和真值。

表4.Oxford数据集的实验评估。

图12.MVSEC序列的估计轨迹和真值。

表5.MVSEC数据集的实验评估。

Abstract

Accurate localization constitutes a fundamental building block of any autonomous system. In this paper, we focus on stereo cameras and present a novel approach, dubbed SOFT2, that is currently the highest-ranking algorithm on the KITTI scoreboard. SOFT2 relies on the constraints imposed by the epipolar geometry and kinematics, i.e., it is developed for configurations that cannot exhibit pure rotation. We minimize point-to-epipolar-line distances, which makes the approach resilient to object depth uncertainty, and as the first step, we estimate motion up to scale using just a single camera. Then, we propose to jointly estimate the absolute scale and the extrinsic rotation of the second camera in order to alleviate the effects of varying stereo rig extrinsics. Finally, we smooth the motion estimates in a temporal window of frames by using the proposed epipolar line bundle adjustment procedure. We also introduce a multiple hypothesis feature matching approach for self-similar planar surfaces that accounts for appearance change due to perspective. We evaluate SOFT2 and compare it to ORB-SLAM2, OV2SLAM, and VINS-FUSION on the KITTI-360 dataset, KITTI train sequences, Málaga Urban dataset, Oxford Robotics Car dataset, and Multivehicle Stereo Event Camera dataset.

如果你对本文感兴趣，请点击点击 阅读原文 下载完整文章，如想查看更多文章请关注 【泡泡机器人SLAM】公众号（paopaorobot_slam） 。

百度网盘提取码：rf3k

欢迎来到泡泡论坛，这 里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

商业合作及转载请联系[email protected]