计算机辅助设计与图形学学报

作者：牛玉贞, 陈珊珊, 李悦洲, 刘文犀

关键词：图像美学评价, 跨模态学习, 场景特征, 多头交叉注意力机制, 多尺度特征融合

现有的图像美学评价方法通常依赖图像本身而忽略了用户评论中的丰富语义信息,因此在性能方面呈现一定的局限性.一些研究尝试结合用户评论辅助进行图像美学评价,但未能充分地挖掘图像特征,且未能较好地对图像-文本特征的复杂关系进行建模,导致图像-文本信息利用不充分且交互不够紧密.为解决上述问题,提出一种融合场景特征的跨模态图像美学评价方法.由于图像场景通常会影响人们对图像的美学评价,因此首先提取图像的场景特征和美学特征,并使用多尺度特征融合模块将两者深度融合;考虑图像-文本特征之间的内在相关性,使用多头交叉注意力机制在图像特征和文本特征之间进行交叉注意力计算,将图像-文本模态信息进行交互融合;最后将融合后的跨模态特征用于美学评价.在通用的大型图像美学评价数据集AVA上的广泛实验结果表明,所提方法在ACC,SRCC和PLCC指标上分别达到了86.96%,0.852 3和0.864 8,超越了文中对比的跨模态图像美学评价方法.

来源：2025年第7期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第7期