用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络

摘要

从左至右依次是彩色图，HHA图，Ground Truth和网络的预测结果

这篇文章使用RGB-D数据进行室内场景的语义分割。尽管常用的反卷积网络在这一问题上实现了令人印象深刻的效果，但我们发现这一问题在以下两方面还有继续提升的空间。

其中之一是边缘分割。反卷积网络使用更多的像素来预测每个像素的类别。这一行为隐含的限制了物体边缘的分割精度。另一方面是彩色图像和深度图像数据融合的问题。近些年来最好的方法一般都使用相等的权值来融合两者。但是这一做法并没有考虑到这两者对于不同场景下不同类别的表达能力的差异。

为了解决这两个问题，我们第一个提出了局部感知的反卷积神经网络(LS-DeconvNet) 。