计算机辅助设计与图形学学报

作者：周瑞, 姜聪, 许庆阳, 李贻斌, 张承进, 宋勇

关键词：基于文本生成视频, 图像处理, 生成对抗网络, 深度学习, 高分辨率视频

针对目前主流的模型在视频合成过程中随机性强,缺乏合成复杂场景、多样运动视频的能力的问题,提出基于多条件生成对抗网络的文本生成视频方法,包括文本处理模块、位姿建模与转换模块、视频帧生成与优化模块.文本处理模块将传统生成方法(检索与监督学习方法)与生成模型相结合建立动作检索数据库,提高生成过程的可控性;位姿建模与转换模块实现对位姿信息的提取及三维建模;视频帧生成与优化模块利用多条件生成对抗网络进行视频帧的合成与优化.在iPER,DeepFashion等公开数据集上,采用IS,SSIM,PSNR等指标进行评价的实验结果表明,与现有模型相比,所提方法生成视频的语义一致性及视频质量均具有优势.相较于目前主流的姿势转换模型MonkeyNet,在iPER数据集上的SSIM值提升了16.8%,IS提升了22.7%,PSNR值提升了27.1%.在评价姿势转换方面,在基线数据集DeepFashion进行比较,FreID值提升了26.7%.

来源：2022年第10期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2022年第10期