计算机辅助设计与图形学学报

作者：孙启超, 恩擎, 段立娟, 乔元华

关键词：RGB-D语义分割, 多模态融合, 卷积神经网络, 深度学习

随着深度传感器的出现,很多研究开始利用颜色和深度信息解决语义分割问题.现有方法未能充分利用颜色特征和深度特征的互补信息,并且通常利用固定权重的卷积核提取多尺度特征,易造成参数量冗余且无法进行在线自适应.为了解决上述问题,提出了一种基于多模态自适应卷积的RGB-D图像语义分割方法,通过引入轻量级的多模态自适应卷积生成模块,动态地生成多尺度自适应卷积核,将多模态特征的上下文互补信息嵌入卷积滤波器中,在卷积过程中充分利用了图像的内在信息,实现高效融合多模态颜色特征和深度特征.相比于传统的卷积方法和多尺度特征提取方法,文中方法有着更高的计算效率和更好的分割效果.在公开数据集SUNRGB-D和NYUDepthv2上的结果表明,文中方法的像素精准度、平均像素精度和交并比分别达到了82.5%,62.0%,50.6%和77.1%,64.2%,50.8%,均优于对比的RGB-D语义分割方法.

来源：2022年第8期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2022年第8期