计算机辅助设计与图形学学报

作者：姜爱萍, 刘骊, 付晓东, 刘利军, 彭玮

关键词：跨模态时尚检索, 图文匹配, 服装分层特征, 表示学习, 关联学习

针对时尚服装的图像和文本具有匹配视角单一、服装信息粒度细且模态关联性弱, 导致跨模态时尚检索图文匹配不准确的问题, 提出跨模态时尚检索的服装分层特征表示和关联学习方法. 首先以成对的服装图文及标签为输入, 通过构建服装分层特征表示模块进行层次化的视觉和本文特征表示, 提取得到服装图像的全局、款式、结构特征, 以及服装文本的描述、主语、标签特征的分层表示; 然后基于交叉注意和向量相似度进行层次化的关联计算, 得到服装图文对的 3 层初始关系, 并通过结合关系推理和聚合的分层关联学习, 获得全局和描述、款式和主语、结构和标签 3 层关系; 最终计算 3 层关系的关联得分, 输出服装的图文匹配结果. 在跨模态时尚检索基准数据集 Fashion-gen上的实验结果表明, 所提方法能够提升跨模态时尚检索的精度, 与文中基线方法相比, 在双向检索前 1 的召回率R@1 上分别提升了 10.26 个百分点和 14.22 个百分点.

来源：2025年第4期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第4期