自适应融合 RGB图像特征的稀疏深度修复

深度修复的目的是从稀疏深度图像中恢复出稠密的深度图像。现有方法通常是以稀疏深度图像及其对应的 RGB图像为输入,通过 1个卷积神经网络恢复出密集深度图像。然而,普通的卷积层在处理稀疏且不规则的深度信息时有较大的局限性,同时,RGB图像特征和深度图像特征属于不同的模态。针对这些问题,文章提出了自适应稀疏不变模块,根据输入像素的有效性来处理稀疏深度,并提出了结合注意力机制的多尺度特征融合模块,在关注有效特征的同时,抑制不必要的特征,进一步提高深度修复性能。文章在 NYUv2数据集上进行了一系列实验,实验结果表明了所提出算法和模块的有效性。