计算机辅助设计与图形学学报

作者：杨晨, 刘立波

关键词：跨模态检索, 概率分布, 变分信息瓶颈, 特征表示

针对现有图文跨模态检索方法中样本的单点特征仅能体现样本与语义空间中特定一点的关联而无法表征与整个空间所有点的关系,进而造成对样本语义复杂性和样本间局部相似性表达能力不足的问题,提出一种图文跨模态检索的概率分布表示学习方法.首先利用样本标签信息学习样本的显著性语义特征,从而基于变分信息瓶颈思想构建不同模态的语义空间并学习各样本语义分布,通过样本语义分布对应于空间中每点的概率密度值直接反映各点与给定样本的关联;接着引入铰链三元组损失对齐属于不同模态的样本语义分布,以保证相似图像-文本对所对应语义分布的相似性;最后使用语义分布作为样本特征,采用巴氏距离度量样本语义分布间的差异衡量样本间语义相似度,以提升对样本语义复杂性的建模能力和对样本间局部相似性的表达能力.在Wikipedia和Pascal Sentence数据集上与9种现有方法进行对比的实验结果表明,所提方法优于所有对比方法.针对Wikipedia数据集,所提方法在图检文和文检图任务上的平均mAP比对比方法提升了15.0个百分点,针对Pascal Sentence数据集提升了13.6个百分点.

来源：2022年第5期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2022年第5期