计算机辅助设计与图形学学报

作者：王山豹, 梁栋, 沈玲

关键词：图像修复, 多模态注意力机制, 深度学习

图像修复在老照片复原、目标移除、视频编辑等领域有重要的应用价值，但现有的利用单模态注意力机制的图像修复方法和修复结果存在纹理模糊、语义缺乏等问题.为此，提出一种利用多模态注意力机制生成网络的图像修复方法.首先采用U-Net作为网络的基本框架，实现破损图像的编码、解码以及跳跃连接操作；然后在编码和解码阶段分别构建利用多模态注意力机制的特征提取模块和图像修复模块，通过多尺度的特征融合得到更细粒度的图像修复结果.实验结果表明，在Paris StreetView，CelebA和Places2数据集上，针对3种不同的图像破损率，基于SSIM，PSNR和L1的3种定量评价指标，利用所提方法在27个对比项中取得了20个优于、1个相同、6个略低于其他4种对比方法的结果，验证了所提方法的有效性.

来源：2023年第7期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2023年第7期