计算机辅助设计与图形学学报

作者：王立春, 顾娜娜, 信建佳, 王少帆

关键词：RGB-D语义分割, 注意力机制, 编码器-解码器, RGB-D信息互补, 深度学习

为了充分融合 RGB 和深度信息以进一步提高语义分割精度, 引入注意力机制实现了 RGB 与深度 2 个模态特征的互补融合. 基于编码器-解码器框架, 提出了 RGB-D 双模态信息互补的语义分割网络, 编码器采用双分支结构分别提取 RGB 图像和深度图像的特征, 解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类. 编码器对 2 个分支学习到的低层特征, 利用 RGB-D 信息互补模块进行互补融合. RGB-D 信息互补模块包括Depth-guided Attention Module (Depth-AM)和RGB-guided Attention Module (RGB-AM) 2种注意力. 其中, Depth-AM将深度信息补充给 RGB 特征, 解决由于光照变化引起的 RGB 特征不准确问题; RGB-AM 将 RGB 信息补充给深度特征, 解决由于缺乏物体的纹理信息而导致的深度特征不准确问题. 在采用相同结构 backbone 的条件下, RGB-D 双模态信息互补的语义分割网络与 RDF-Net 相比, 在 SUNRGB-D 数据集上的平均交并比, 像素精度和平均精度分别提升 1.8%, 0.5%和 0.7%; 在 NYUv2 数据集上的平均交并比, 像素精度和平均精度分别提升 1.8%, 1.3%和 1.9%.

来源：2023年第10期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2023年第10期