计算机辅助设计与图形学学报

作者：张绪辉, 刘骊, 付晓东, 刘利军, 彭玮

关键词：民族服装图像, 图像描述生成, 文本信息嵌入, 局部属性学习, 注意力感知

针对民族服装图像属性信息复杂、类间相似度高且语义属性与视觉信息关联性低, 导致图像描述生成结果不准确的问题, 提出民族服装图像描述生成的局部属性注意网络.首先构建包含55个类别、30 000幅图像, 约3 600 MB的民族服装图像描述生成数据集; 然后定义民族服装208种局部关键属性词汇和30 089条文本信息, 通过局部属性学习模块进行视觉特征提取和文本信息嵌入, 并采用多实例学习得到局部属性; 最后基于双层长短期记忆网络定义包含语义、视觉、门控注意力的注意力感知模块, 将局部属性、基于属性的视觉特征和文本编码信息进行融合, 优化得到民族服装图像描述生成结果.在构建的民族服装描述生成数据集上的实验结果表明, 所提出的网络能够生成包含民族类别、服装风格等关键属性的图像描述, 较已有方法在精确性指标BLEU和语义丰富程度指标CIDEr上分别提升1.4%和2.2%.

来源：2024年第3期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2024年第3期