计算机辅助设计与图形学学报

作者：夏鑫雨, 朱磊, 聂秀山, 董国华, 张化祥

关键词：深度跨模态检索, 缺失模态, 多模态Transformer, 典型概念, 模态映射网络

跨模态检索使用一种模态的数据作为查询条件, 在另一种模态中检索语义相关的数据. 绝大多数的跨模态检索方法仅适用于模态完备条件下的跨模态检索场景, 它们对缺失模态数据的处理能力仍有待提升, 为此, 提出一种典型概念驱动的模态缺失深度跨模态检索模型. 首先提出一个融合多模态预训练网络的多模态Transformer模型, 能在模态缺失的情况下充分地进行多模态细粒度语义交互, 提取多模态融合语义并构造跨模态子空间, 同时引导学习生成多模态典型概念;然后使用典型概念作为跨注意力的键和值来驱动模态映射网络的训练, 使模态映射网络可以自适应地感知查询模态数据中隐含的多模态语义概念, 生成跨模态检索特征, 充分地保留训练提取的多模态融合语义. 在Wikipedia, Pascal-Sentence, NUS-WIDE和XmediaNet这4个基准跨模态检索数据集上的实验结果表明, 所提模型比文中对比模型的平均准确率均值分别提高了1.7%, 5.1%, 1.6%和5.4%. 该模型的源代码可在https://gitee.com/MrSummer123/CPCMR网站获得.

来源：2025年第3期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第3期