【泡泡一分钟】CNN-SLAM：在有预测深度下的实时单目稠密SLAM（CVPR-13）

今天介绍的文章是“ CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction ”——CNN- SLAM：在有预测深度下的实时单目稠密SLAM 。

鉴于近来卷积神经网络对深度预测的进展，这篇文章研究了如何将从深度神经网络中预测出的深度图应用到精准和稠密的单目重建当中。我们提出了一种方法，该方法能够将CNN预测的深度图和通过单目SLAM直接计算的深度图进行自然的融合。我们的融合方法对在单目SLAM中深度预测失败的情况有着优越的表现，比如低纹理区域。我们展示了预测的深度在恢复重建中的真实尺度上的用处，也就是说它克服了单目SLAM中的一个重要短板-重建的地图没有真实尺度。最终，在稠密SLAM中，我们提出了一种框架，该框架能够有效的融合从单帧图像中获得的语义标签，能够从单目视觉中得到语义一致的场景重建恢复。在两个真实数据集上的实验结果也显示了我们的方法具有很好的鲁棒性和精确性。

算法的大致流程如下图。

正如上图所显示的那样，仅仅输入彩色图像，系统就可以通过CNN网络预测深度，以及做相应的语义分割，其所做的深度预测也融合到单目SLAM中，并在最后进行全局地图和语义标签的融合，得到一个全局一致的语义地图。