计算机辅助设计与图形学学报

作者：胡梦楠, 王蓉, 张文靖, 张琪

关键词：指代目标分割, 跨模态交互, 特征增强, 注意力机制, 多尺度融合

针对指代分割任务中视觉和语言间缺乏充分的跨模态交互、不同尺寸的目标空间和语义信息存在差异的问题, 提出了基于双重注意力机制的多尺度指代目标分割方法.首先, 利用语言表达中不同类型的信息关键词来增强视觉和语言特征的跨模态对齐, 并使用双重注意力机制捕捉多模态特征间的依赖性, 实现模态间和模态内的交互; 其次, 利用语言特征作为引导, 从其他层次的特征中聚合与目标相关的视觉信息, 进一步增强特征表示; 然后利用双向ConvLSTM以自下而上和自上而下的方式逐步整合低层次的空间细节和高层次的语义信息; 最后, 利用不同膨胀因子的空洞卷积融合多尺度信息, 增加模型对不同尺度分割目标的感知能力.此外, 在UNC, UNC+, GRef和ReferIt基准数据集上进行实验, 实验结果表明, 文中方法在UNC, UNC+, GRef和ReferIt上的oIoU指标分别提高了1.81个百分点、1.26个百分点、0.84个百分点和0.32个百分点, 广泛的消融研究也验证了所提方法中各组成部分的有效性.

来源：2025年第1期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第1期