【泡泡一分钟】DeepTIO-具有视觉幻觉的深层热惯性里程计

每天一分钟，带你读遍机器人顶级会议文章

标题：DeepTIO-- A Deep Thermal-Inertial Odometry with Visual Hallucination

作者： Muhamad Risqi U. Saputra, Pedro P. B. de Gusmao, Chris Xiaoxuan Lu, Yasin Almalioglu

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：张宁

审核：柴毅，王靖淇

这是泡泡一分钟推送的第 726 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

视觉里程表在各种环境中均显示出出色的性能。但是，在视觉上被拒绝的场景中（例如浓烟或黑暗），姿势估计会降低甚至失败。当环境的可见度较低时，热像仪通常用于感知和检查。然而，由于缺乏健壮的视觉特征，它们在里程计估计中的使用受到阻碍。在某种程度上，这是传感器测量环境温度曲线而不是场景外观和几何形状的结果。为了克服这个问题，我们提出了一种用于热惯性的深度神经网络模型。 通过合并视觉幻觉网络向里程表（DeepTIO）提供热信息补充信息。幻觉网络被教导通过使用胡贝尔损耗来从热图像中预测假的视觉特征。我们还采用选择性融合来专注地融合三种不同形式的特征，即热，幻觉和惯性特征。在良性和烟雾弥漫的环境中，在手持式和移动式机器人数据中进行了广泛的实验，证明了所提出模型的有效性。

图1.测试时DeepTIO的体系结构。DeepTIO不仅可以提取热量特征，还可以使视觉特征产生幻觉，从而为精确的里程表提供额外的信息。

图2.训练时DeepTIO的体系结构。请注意如何使用RGB图像引导视觉幻觉。

图3.幻觉网络通过将伪造的RGB特征提供给VINet并测量姿势估计差异进行了验证。