计算机辅助设计与图形学学报杂志

计算机辅助设计与图形学学报杂志2024年第10期

• 深度网络生成式伪造人脸检测方法研究综述

  杨睿, 胡心如, 黄卓超, 张玉书, 蓝如师, 邓珍荣, 罗笑南

  随着深度网络生成式伪造人脸技术的迅速传播, 不法分子通过伪造人脸图像和视频实施电信诈骗等犯罪活动, 如何从海量数据中高效、准确地检测出伪造人脸成为研究焦点.文中从深度网络生成式伪造人脸图像和生成式伪造人脸视频2个角度出发, 系统归纳、分析、比较了当前伪造人脸检测方法.针对伪造人脸图像, 从基于数字图像处理基础、深层次特征提取、空间域特征分析、多特征融合分析和指纹检测5个类别详细介绍了检测方法; 并从生理信号、身份信息、多模态和时空不一致4个类别对伪造人脸视频的检测方法进行了探讨.分析表明, 目前深度网络生成式伪造人脸检测方法的泛化能力有待提高, 在未来的研究中, 应当着重提升模型的跨数据集泛化能力、准确性和实用性, 从而更好地防范虚假信息传播, 以保护个人隐私和维护网络安全环境.

• 基于多分支空间变化卷积网络的多层次三维人脸表情编辑

  任明国, 迟静, 沈天舒, 陈玉妍

  针对三维人脸表情编辑中模型的操作繁复、生成表情的真实感低、细节信息缺乏的问题, 提出一种基于多分支空间变化卷积网络的多层次三维人脸表情编辑方法, 可根据面部模型上控制点的位移, 生成真实自然且细节丰富的新表情.首先, 面部网格经过网络模型的高频区域划分模块, 识别出高频区域; 然后, 将整个面部网格和控制点约束输入粗略编辑模块, 生成基本表情, 同时, 将高频区域和控制点约束输入精细编辑模块, 生成丰富的表情细节; 最后, 将基本表情与表情细节融合得到新表情.这种分层次处理可使网络以较快的速度生成精细的细节; 通过引入空间变化卷积, 可更好地捕获不规则网格的空间特征, 提高了表情编辑的准确性.提出融合顶点空间邻近性和运动一致性的时空相关性准则, 并改进K-Means聚类算法, 极大地提高了高频区域自动划分的合理性和准确性; 通过构建结合顶点位置和顶点法向约束的新损失函数, 有效地提升了整个网络的精度.对4个角色模型分别使用所提方法进行表情编辑, 与其他方法相比, 所提方法能够根据用户的编辑要求, 生成细节丰富的高真实感表情.

• 联合注意力机制和多尺度特征的图像语义分割网络

  张蕊, 刘孟轩, 孟晓曼, 武益超

  针对卷积神经网络在图像语义分割时存在部分语义信息丢失、边界定位精度较低等问题, 提出联合注意力机制和多尺度特征的卷积神经网络.首先基于注意力机制将网络提取到的多尺度特征进行加权融合, 然后采用扩张卷积和全局平均池化聚合多尺度目标信息, 最后采用边界精细粒度特征提取模块对分割边界进行优化.在多尺度PASCAL VOC2012和高分辨率Cityscapes数据集上的实验结果表明, 所提网络的分割效果显著优于骨干网络ResNet-101, 平均交并比分别提高12.2个百分点和9.3个百分点.

• 基于缺陷引导与差异映射的级联网络用于表面缺陷检测

  张军, 张洋, 石陆魁, 潘斌, 史进

  针对基于正常样本训练的无监督重构网络在训练阶段缺少缺陷信息指导和捕获高层次语义信息能力不足的问题, 提出一种基于缺陷引导与差异映射的级联网络模型GM-Net.该模型由缺陷生成器、缺陷引导重构模块和差异映射孪生模块组成.首先使用缺陷生成器将无缺陷的正常样本构造为与实际缺陷无关的伪缺陷样本, 同时提取得到对应的正常特征和伪缺陷特征; 然后利用缺陷引导重构模块对随机选择输入的正常特征或伪缺陷特征均以正常特征为目标进行重构; 最后通过差异映射孪生模块提取重构前后特征间差异，并将其映射到图像空间内, 实现缺陷检测.GM-Net在定向引导缺陷重构的同时增强了特征间差异在图像空间内的表达能力; 在KolektorSDD和KolektorSDD2数据集上进行性能测试的结果表明, AUC指标分别达到0.855和0.949.

• 基于深度学习的弹底窝痕特征点比对方法

  诸嘉翎, 洪荣晶, 张浩

  针对3D弹底窝痕(BFI)表面粗糙度成分中峰点、谷点、鞍点和脊点等特征点, 由于击打偏心或不完全接触产生无效区域, 传统的特征点检测与匹配方法比对精度低, 且不适用于条纹状纹理的BFI.综合考虑, 采用自监督学习模型检测特征点以及注意力机制图神经网络匹配特征点.对于特征点检测模型, 首先对虚拟图像数据集有监督训练然后通过多尺度变换产生伪标签并进行自监督学习; 对于特征点匹配模型, 采用注意力机制图神经网络建立特征点间匹配关系, 为减少无效区域干扰, 添加垃圾箱通道用于表示没有对应匹配关系的特征点.采用共聚焦显微镜采集BFI表面形貌并滤波提取其中表面粗糙度成分, 分别对颗粒状和条纹状纹理特征的BFI数据进行验证.与传统方法对比, 以已知不匹配BFI的特征点匹配率最大值为阈值, 该方法能够完全区分已知匹配和已知不匹配BFI, 适用于颗粒状和条纹状纹理特征的BFI, 具有抗无效区域干扰能力.

• 实时阴影的时域可靠网络去噪

  彭元, 王璐, 徐延宁, 王贝贝

  基于蒙特卡罗光线追踪的实时、可交互渲染, 需要低采样率下的时域去噪技术满足渲染质量、速度的双重需求, 通常通过计算屏幕空间中的运动向量来得到时间域帧间映射信息, 但对于存在阴影的区域, 使用传统运动向量则会产生错误的映射关系, 从而导致阴影鬼影等问题.为此, 设计了一个针对动态阴影的多尺度分层去噪网络.首先通过主干网络提取输入噪声阴影和辅助信息中的多尺度特征; 然后经过核预测模块生成逐像素的滤波核; 接着在时域融合模块中引入时域可靠阴影运动向量在阴影区域构建准确的帧间映射关系, 以更加有效地利用连续帧信息; 最后, 对噪声图像使用滤波核, 实现实时动态阴影的高质量去噪.文中采用Falcor渲染器光线追踪流程生成数据集, 其包括2 000帧渲染图像.实验结果表明, 文中方法适用于复杂场景动态阴影的实时去噪, 尤其是存在高速移动的大面积光场景中, 单帧去噪时间低于14 ms; 与已有方法相比, 文中方法渲染质量PSNR提升约5.4%, 帧间连贯性(tPSNR)提升约1.7%, 能在有效地消除软阴影噪声的同时获取更准确的阴影细节, 且有效地解决了光源、视点、物体快速移动时的阴影鬼影问题.

• 结合多分支结构与门控机制的高分辨率语义分割方法

  杜可, 叶春明

  针对HRNetv2等多分支结构网络在语义分割任务中无法有效地融合多层次特征的问题, 提出一种基于门控机制的新型多层次特征融合方法.首先, 构建门控融合单元, 利用门控机制有选择性地融合多个分支的特征信息; 其次, 提出自底向上的融合方法, 通过阶梯式地传播语义丰富的高级特征与细节饱满的低级特征来增强每一条分支的特征表示; 最后将各个分支的特征在通道维度进行拼接, 获得预测输出并采用双线性插值算法恢复至原图像尺寸.实验结果表明, 仅需增加少量参数, 该方法在PASCAL VOC 2012+Aug和Cityscapes数据集上的mIoU分别取得77.01%和80.43%, 相较于HRNetv2-W48分别提升了1.14个百分点和1.92个百分点, 同时性能超越诸多基线模型.

• 基金数据可视分析:交互式层次树设计与动态排序探索

  王非凡, 谢李文含, 岳轩武, 苏洋洋, 周国兵, 冯霁, 庄吓海, 陈思明

  采用国内公募混合型基金数据, 与领域专家合作, 通过提炼对高维时序基金数据的基本分析任务, 提出一种交互可视分析方法, 并实现一个可视分析系统, 支持投资者自上而下地探索分析, 从上千只基金中挑选最适宜的产品.用户通过时间趋势图及展示业绩评价指标的平行坐标图预选基金, 并在产品聚类图和重要维度散点图上进一步进行比较和决策; 在此基础上, 通过一种新颖的交互层次可视化设计, 用树形结构展示用户挑选基金时的内在逻辑; 借此交互树形图, 用户可动态地分析基金数据, 构建个性化投资决策层次树与多属性排序规则, 最终选出合适的基金.通过2个案例, 验证了所提方法及可视化设计在筛选优质基金、探索市场概况等方面的可用性和有效性.

• 基于表征学习的时空态势可视分析方法

  李杰, 马欣莹, 赵丹宁, 谭淮联

  时空态势描述了大量运动对象在一段时间内的空间位置变化过程, 分析和寻找时空态势对大量实际应用都具有重要意义.针对海量的数据和无法避免的数据缺失为分析时空态势带来的问题, 提出一种从大规模时空数据中寻找代表性时空态势的表征学习的方法.首先, 基于Denoising Autoencoder框架实现一个时空态势表征模型, 将每个时空态势编码为一个紧凑的表征向量, 向量之间的距离体现了时空态势之间的特征差异, 通过向编码器添加噪声并让解码器还原未带噪声的原始态势, 提高表征模型在数据缺失条件下的鲁棒性; 然后提出一种可视摘要算法, 以一个精简的小图标直观地显示连续时空态势的整体运动特征, 进一步构造了一个时空态势投影, 供用户快速地找到数据集中代表性的时空态势.基于纽约出租车数据集和芝加哥犯罪数据集, 采用自相似和交叉相似的指标与既有相似性方法对比, 实验结果表明, 所提出的表征模型在大数据量、高缺失率条件下的准确性和鲁棒性, 并具有较高的执行效率; 用户实验包括选择和排序任务, 结果表明, 所提方法找到的代表性的时空态势与用户的主观认知更加一致.

• 投入产出视角下中国碳转移特征可视分析方法研究

  张翔, 倪瑜那, 李松岳, 高刚毅, 刘玉华, 傅骏伟, 周志光

  碳转移是指在产品生命周期中, 由于经济活动而导致隐含碳所发生的排放转移.产业部门间复杂多变的碳转移关系使得碳转移特征及其时序变化规律难以被有效地捕捉和发现.为了探索碳在不同产业部门的时空转移特征及时空转移规律, 设计了面向不同地区产业部门投入产出数据的碳转移特征可视分析工具.首先, 基于多区域投入产出模型, 对于不同地区产业部门之间的碳转移规模进行测算, 构建所有地区产业部门之间的碳转移网络; 其次, 在构建的碳转移网络基础上, 利用node2vec模型将地区产业部门转换为高维向量表征, 将其投影至低维空间, 直观地探索和分析与碳转移关系紧密的产业部门, 并设计交互便捷的多个关联视图, 以展示不同时间步碳转移特征, 帮助用户快速地感知和发现碳转移的时序变化规律和异常; 最后, 设计交互方案关联可视化系统, 实现面向碳转移的可视分析, 支持用户从多个角度交互地感知和探索隐含的碳转移模式及其时序变化特征.利用我国真实的碳排放数据进行的案例分析的结果表明, 所设计的系统可以帮助用户从多个角度分析碳转移特征及其时序变化规律, 对于合理指导地区产业部门的碳转移, 促进区域经济可持续发展, 为我国的碳减排决策提供理论支持具有重要意义.

• 基于结构化潜码引导NeRF的语音驱动人脸重演

  谢志峰, 郑迦恒, 王吉, 梁佳佳, 马利庄

  语音驱动的人脸重演的目标是生成与输入语音内容相匹配的高保真人脸面部动画.然而, 由于音频与视频模态之间存在鸿沟, 当前方法难以实现高质量的面部重演.针对现有方法保真度低、唇音同步效果差等问题, 提出一种基于结构化潜码引导隐式神经表示的语音驱动人脸重演方法, 以人脸点云序列作为中间表示, 将语音驱动人脸重演分解为跨模态映射和神经辐射场渲染两大任务分别解决.首先, 通过跨模态映射从音频预测人脸表情系数, 利用人脸三维重建技术获得人脸身份系数; 然后, 基于3DMM模型合成人脸点云动画序列; 接着, 使用顶点位置信息构建结构化隐式神经表示, 回归场景中每个采样点的密度和颜色值; 最后, 通过体绘制技术渲染人脸RGB帧, 并装配到原图像中.在多个时长为3~5 min的单人演讲视频上的可视化比较、量化评估、主观评估等实验结果表明, 文中所提方法在唇音同步效果与图像生成精度上优于AD-NeRF等方法, 能够实现高保真语音驱动人脸重演.

• 基于邻域点聚合和全连接残差特征的分片隐式曲面学习网络

  缪永伟, 张跃耀, 王海鹏, 刘复昌, 范然, 张旭东

  针对形状全局表面隐式场学习的点云曲面重建中通常缺乏形状表面局部细节的问题, 采用基于面片的分片表示并训练三维形状的局部符号距离场, 提出一种基于邻域点聚合和全连接残差特征的分片隐式曲面学习网络.以离散点云数据为输入, 首先采用最远点采样策略得到表征形状球形面片的初始中心位置和半径; 然后分别计算每个面片内各采样点相对面片中心的偏移值, 并将其作为采样点的相对位置, 其中, 处于重叠区域内的面片采样点具有多个相对位置; 在神经网络编码器中, 利用邻域点聚合模块将各相对坐标编码为256维隐向量, 以提取相邻采样点的特征信息, 并对每个形状面片中的采样点隐向量进行最大化操作, 以表征该面片的隐特征; 在神经网络解码器中, 利用多层全连接残差特征解码模块进行解码, 得到各采样点相对位置的形状符号距离值, 而对位于不同面片重叠区域内采样点的符号距离值进行加权求和, 得到其相应的符号距离值; 最后利用Marching Cube算法提取采样点符号距离值的零等值面, 得到三维形状网格模型.在ShapeNet, ABC和Famous这3个数据集上的实验结果表明, 所提网络在有效地重建形状整体结构的同时, 能很好地保持其形状表面细节; 在ShapeNet数据集上, IoU指标为83.9, CD指标为0.032, 取得了比DeepSDF、占用网络和卷积占用网络更好的重建结果.

• 混合注意力机制的非刚性三维点云模型对应关系计算

  杨军, 张思洋, 吴衍

  针对非刚性三维点云模型对应关系构建中后处理过程计算复杂、算法泛化能力较差的问题, 提出一种采用混合注意力机制并以无监督学习的方式计算对应关系的算法.首先引入点对特征改进边缘卷积, 使提取的特征蕴含点与点之间更多的相似位姿信息; 然后构建以余弦相似度计算为核心的混合注意力优化模块, 将模型间特征相似的部分编码为相似度矩阵; 最后, 直接利用相似度矩阵与坐标信息双向重建对应的模型, 获取最终的对应关系结果.在SURREAL, SHREC’19, SMAL和TOSCA数据集上的定性和定量实验结果表明, 所提算法与CorrNet3D算法相比, 在利用原始模型与重建模型之间的欧几里得距离衡量对应关系误差时, 平均误差在SHREC’19和TOSCA数据集上分别减少了0.19和5.00, 在容忍误差为10%时对应关系准确率分别提高了9.26个百分点和20.41个百分点, 且在不同数据集上具有良好的泛化能力.

• 用于连续碰撞检测的线性动态分离轴算法

  张然, 杨子辉, 孙国民, 陶桂花, 霍前超, 汪建业

  针对连续碰撞检测的检测效率低的问题, 为了减少三角形基元检测数量, 基于分离轴理论提出一种使用线性动态分离轴的快速连续碰撞检测算法.在三角形对运动前后, 利用迭代算法各找到一条分离轴, 将其构造为线性动态分离轴; 然后剔除在动态分离轴上的投影始终不相交的三角形对; 最后对无法剔除的三角形对使用其他剔除算法或者传统算法.在多个可变形基准模型上的实验结果表明, 所提算法的基础检测剔除率超过89%, 在精确检测阶段具有更高的检测效率.

• 融合时间卷积网络的空间自适应运动风格迁移方法

  张凤全, 李凭辙, 雷劼睿

  针对人体运动生成方法严重依赖有监督学习和成对数据集的问题, 受图像风格迁移方法启发, 提出一个融合时间卷积网络的空间自适应运动风格迁移模型, 通过输入虚拟角色运动行为, 生成不同的运动风格运动序列.首先, 从时序性和空间性考虑, 设计以时间卷积网络为主干的神经网络框架, 从无配对的数据集中准确地提取运动数据的内容特征和风格特征.其次, 基于空间自适应归一化方法, 将其改进并适配到运动解码器中, 提出一种适用于运动风格迁移的自适应方法.最后, 针对运动迁移中的误差问题, 在网络中引入正向运动学对沿运动链传递的关节误差进行约束, 实现了对足部运动行为的约束.为验证所提方法性能, 使用CMU和Xia开源数据集依次从主成分分析、数据聚类、可视化等指标进行实验.结果表明, 提出的模型可以有效实现多类非配对数据的风格迁移, 所生成的动画效果自然真实, 具有良好的互动性和扩展性, 可广泛应用于数字动画相关的虚拟人建模中.

• 基于眼动追踪的视觉交互式裂缝检测方法

  陈梦成, 龚政, 鲁挺松, 朱合翌, 罗国亮

  定期检测混凝土表面的缺陷对延长基础设施的使用寿命能够起到重要的安全保障作用.针对人工检测混凝土效率不高, 计算机视觉方法在复杂场景中易出现误判的问题, 将基于眼动追踪的视觉交互方法引入损伤检测, 提出一种智能裂缝检测方法.首先利用眼动跟踪技术提取人眼信息, 实现对疑似裂缝特征信息的定位交互; 然后结合训练的深度神经网络模型对疑似裂缝区域进行精细化识别和分割, 实现复杂场景图像下裂缝识别和提取.在桥梁损伤数据集CODEBRIM中的裂缝类集上进行眼动交互定位实验和裂缝识别实验, 结果表明, 所提方法的定位精度为90.6%, 判别精度为83.1%, 与其他方法相比精度更高, 且定位识别效率和准确率高, 可用于结构健康监测.