计算机辅助设计与图形学学报杂志

计算机辅助设计与图形学学报杂志2020年第11期

• MDVis: 多模态电影数据可视分析系统

  汤颖, 徐珊

  电影数据是一个多模态数据集,包含影片、导演和演员3种不同模态的数据,且不同模态的数据类型不同.如何从这些多类型数据中提取特征信息并进行相应的可视化,进一步通过多视图间的联动交互获得模态内部的特点与不同模态间的关系和影响是一个值得研究的问题.首先从电影数据集中提取不同类型数据的特征;其次根据不同类型的数据特点设计可视化布局,并基于Martini玻璃体叙事可视化结构设计可视化交互探索.特别针对影人关系特征,分别定义各个模态影人间的合作关系,并提出了改进的力导引算法可视化影人合作关系.实现了Web环境下的交互式多模态电影数据可视化系统MDVis,并使用豆瓣电影数据集进行用户实验和案例分析,实验结果验证了上述方法分析多模态电影数据的有效性.

• 生成中国花卉水墨画的笔画风格化方法

  杨丽洁, 徐添辰, 吴恩华

  为实现电子化创作中国水墨画,提出一个绘画工具,通过对在照片上粗略勾勒的线条进行风格化,生成具有花卉水墨画风格的艺术笔画.首先用户勾勒线条并自动修正,它们分别作为风格模板的候选笔画和照片上风格化目标的基本路径;然后为每个基本路径选择最佳的风格模板笔画;通过形状计算和纹理合成,将最佳的风格模板映射至基本路径.实验结果表明,与已有的以整幅画为目标的风格迁移方法相比,文中提出的方法可充分展现艺术特征的细节并捕捉用户意图,且生成的绘画作品接近指定的艺术风格,满足普通用户的审美需求.在应用价值方面,该工具支持触摸式设备,可用于艺术教育与实践.

• 面向Online Judge提交日志的用户编程行为可视分析

  李德光, 李晓辉, 张庆熙, 任祯琴

  在线判题系统(Online Judge.OJ)提交日志,即用户通过在线评测系统提交程序代码产生的提交记录,包括用户、代码及提交状态等相关信息,反映了用户的在线编程行为.现有的OJ系统通常提供给用户题目列表信息以及用户的实时排名信息,但未对用户的在线编程行为从时序、题目类型、错误类型等维度给出相关可视化信息,从而造成用户不能及时评估自己编程的强项与弱项.为进一步帮助OJ用户及时评估自身编程能力及提高学习效率,基于用户在基本算法、数据结构、搜索、图论、动态规划、数学等解题能力的多维度量化分析,构建用户的编程能力雷达图,实现对用户的编程能力多维可视化;根据模型设计并实现了面向OJ提交日志的个体用户与群体用户编程行为的多维度可视化;最后通过对北京大学在线评测系统的提交日志进行实例分析,实现了个体用户多维度编程能力的实时评估及系统群体用户编程行为的可视分析,同时为编程题目的协同过滤与推荐提供支持.

• 结合网格法的径向基函数平面形状变形

  胡翔, 蔡腾皓, 张华熊, 王璐, 周泳全, 金耀

  平面形状变形在计算机图形学相关领域有着广泛的应用.传统的基于网格法的变形能够灵活地控制形变误差,但其分段线性的特点使其不够光滑;而基于无网格法虽然具有天然光滑的特点,但较少考虑形变误差的控制,或虽有考虑但其计算较为复杂、耗时.基于上述2类方法的优势,提出一种结合网格法的径向基函数(radial basis functions,RBF)平面形状变形方法.该方法在平面形状域上构造三角网格结构,用光滑基函数表示变形函数并构建带局部防翻转约束的形变优化方程,为高效求解,借助网格结构计算径向基函数的测地距离场并采用分段线性逼近思想近似形变能量的数值积分,使其计算框架遵循传统网格域方法.大量的平面变形比较实验表明,该方法的变形结果相比于传统的网格法更为光滑、自然,具有更小的纹理扭曲与形变误差,能够适用于大尺度变形;相比于传统无网格法,不仅能获得相似的变形效果,而且计算效率有显著提升,同时该方法可控性强、简单且易于扩展.

• 指向和轨迹任务下的笔倾斜输入

  李岩, 吴晓然, 辛义忠

  针对笔输入能力有限的问题,在笔式交互中增加笔倾斜输入,并考察了指向和轨迹任务下笔倾斜输入的性能.首先,结合笔倾斜输入的特点设计了指向和轨迹2种不同类型的任务;然后通过组内重复的全因素方法设计实验,并采集笔倾斜及笔尖轨迹信息,对比考察了2种不同任务下笔倾斜输入的性能.实验结果表明,指向任务下通过倾斜笔来选择不同角间距的目标时,角间距越窄,所花费的时间越长,错误率越高,倾斜笔完成指向任务的时间与角间距及目标倾角之间呈幂指数多项式关系;轨迹任务下完成笔倾斜任务时,在运行时间和偏出轨道率方面,条形轨道比环形轨道的笔倾斜输入性能更好,在偏出倾斜容限率方面,2种轨道不存在显著差异,维持笔倾斜来完成轨迹任务在时间上符合Steering定理.最后,给出了笔倾斜输入的使用建议,对笔式界面中面向不同任务类型的笔倾斜交互设计具有指导意义.

• 指挥信息系统人机交互设计中的用户研究方法

  刘岗, 赵轶男, 孙裔申, 苏艺, 陈超

  以2款指挥信息系统的人机交互设计方案作为比较研究和探索性研究案例,通过应用不同的用户研究方法进行调研与测试,目的是探索建立指挥信息系统领域面向人机交互设计的用户研究方法体系.研究首先采用了“以用户为中心”的设计理念,对系统用户、设计师、行业专家、终端操作者进行了定性调研与定量评测.其次,使用了深度访谈、层次分析、语义评价、情感评价、生理心理评测、操作行为统计等多种研究方法,测试了前期任务需求、中期设计修正、后期使用评测等不同阶段的用户研究需求,建立了针对指挥信息系统人机交互设计的用户研究方法体系.通过用户研究方法体系的应用,有助于聚焦指挥信息系统的任务需求并测试可用性,同时辅助提升系统的人机交互用户体验.

• 基于正负锚点框均衡及特征对齐的单阶段目标检测算法

  唐乾坤, 胡瑜

  针对正负例锚点框不均衡将降低基于锚点框的单阶段目标检测算法的检测精度的问题,提出一种包含锚点框提升模块和特征对齐模块来均衡正负例锚点框的算法.首先在锚点框提升模块中预测各个锚点框为正例的可能性,并粗略调整初始锚点框的位置和尺寸;然后在特征对齐模块中为调整后的锚点框提取预测所需的对齐特征;最后检测网络借助锚点框提升模块输出信息,从调整后的锚点框中识别出简单负例锚点框,并在训练阶段忽略其梯度.将文中算法应用于以VGG-16和ResNet-101为特征提取网络的编解码架构中,在目标检测数据集MS COCO和PASCAL VOC上进行实验,结果表明,该算法能够显著改善不均衡问题,提高单阶段目标检测算法的检测精度(MS COCO和PASCAL VOC上的精度分别为42.8%和82.7%),并维持28.6帧/s的实时运行速度.

• 小波域卷积稀疏编码的低剂量CT图像重建

  刘进, 亢艳芹, 胡殿麟, 陈阳, 康季槐

  随着CT成像技术的发展,其射线剂量明显降低,然而实现优质成像依然是低剂量CT研究领域中的重点问题.为实现低剂量CT的优质成像,减缓重建图像中伪影及噪声干扰,提出了一种小波域的卷积稀疏编码CT重建算法.该算法是利用预先构建的滤波器集,对重建图像中的小波域高频子带进行卷积稀疏表示,并引入到低剂量CT重建中以构造目标函数.通过重建图像更新和小波域卷积稀疏编码两个步骤的交替优化,实现重建目标函数的求解.在Shepp-Logan模拟数据、AAPM模拟数据与UIH真实数据上进行实验,并与全变差、字典学习、梯度正则化的卷积稀疏编码等进行对照分析,实验结果表明,所提算法可获得噪声伪影少、结构细节对比度高的重建图.最后,参数分析实验表明所提算法易实施且具有良好的参数稳健性.

• 采用pix2pixHD的高分辨率皮肤镜图像合成方法

  丁赛赛, 吕佳

  皮肤镜图像中的皮肤病变自动识别是提高诊断性能和减少皮肤癌死亡的重要方法.针对训练数据不足的问题,提出一种基于pix2pixHD的高分辨率皮肤镜图像合成方法.首先,通过皮肤病灶的真实边界,结合病变类别对皮肤病变知识进行建模,获取包含病理意义的标签映射;其次,以标签映射作为病变合成的约束条件,利用构建的生成对抗网络模型实现标签映射向皮肤镜图像的空间映射,同时将生成器的浅层和深层特征相结合以避免图像细节信息的丢失;然后,引入标准差特征匹配损失以稳定生成对抗网络的训练.在ISIC-2017数据集上的实验结果表明,相比不同合成方法生成图像的质量,该方法具有更好的视觉效果以及IS与FID定量化指标评价,并且可为监督学习网络提供额外的信息增益,以提高皮肤病变分类的准确度.

• 木刻版画风格转换的深度学习算法

  李应涛, 徐丹

  为了使木刻版画风格转换结果呈现出更明显的木刻刻痕纹理,同时保持刻痕纹理分布的合理性,提出一种基于神经网络语义分割算法和神经风格转换的木刻版画风格转换算法,该算法按不同区域进行木刻版画的风格转换.首先,使用神经网络分割算法和Labelme图像标注工具分别对内容图像和木刻版画图像进行语义分割.然后将分割结果二值化,形成掩膜图像.将掩膜图像作为引导,与内容图像和木刻版画图像一起输入具有空间引导通道的神经风格转换网络进行分区域风格转换.在PyTorch深度学习框架下,使用该算法对大量人物和自然场景图片进行木刻版画风格转换,并与基于迭代优化、快速风格转换和任意风格转换3类神经风格转换算法中各自最具代表性算法的转换结果进行比较.结果表明,所提算法的木刻版画风格转换结果所呈现的木刻刻痕纹理明显,刻痕纹理分布合理,转换结果真实自然,更接近真实的木刻版画.

• 融合增强轮廓特征和空间语义信息的显著性计算

  纪超, 王东旭, 黄新波, 曹雯, 蒋波涛

  针对显著物体检测算法无法在复杂背景下准确分离显著前景与背景,以及低级视觉特征检测算法不能完整检测出语义信息,提出联合增强轮廓特征和空间语义信息的显著特征计算算法.首先通过区域梯度平滑算法实现区域模块化,采用纹理紧凑性计算图像中各区域特征的显著性,得到候选显著区域,减少后续网络训练的计算量;然后提出基于局部区域的增强轮廓网络用于预测每个分支处的显著图并进行融合,同时基于视觉感知提出空间语义特征网络,用于挖掘图像的深层细节信息;最后基于统一网络框架合成增强轮廓特征和空间语义特征,得到最终的精细显著特征,能更完整清晰地保留显著物体的轮廓.与其他显著性算法在HKU-IS,ECSSD和DUT-OMRON数据集中进行测试,提出算法的召回率和平均误差等指标均优于其他显著性算法.

• 基于卷积神经网络的边缘保真图像去噪算法

  刘一畅, 马伟, 徐士彪, 张晓鹏

  现有图像去噪算法在去除噪声的同时,容易导致边缘过度光滑.为解决该问题,提出一种基于卷积神经网络的边缘保真去噪算法,它由基准去噪模块和基于多特征融合的边缘提取模块组成.首先,针对基准去噪模块所得结果,采用边缘提取网络提取边缘细节;进而,通过多层次边缘损失代价最小化,反向优化基准去噪网络去噪性能,引导其生成具有更多边缘细节信息的干净图像.在PyTorch环境下用常见的图像去噪数据集Set5,Set14,Kodak,McMaster,RNI15以及跨类型医学图像数据集上测试所提出算法,并与FFDNet等去噪算法进行对比.实验结果表明,所提出算法峰值信噪比值等指标均高于其他对比算法;在视觉效果上,所提出算法能够保留更多边缘细节和纹理特征,得到的去噪后图像更加清晰.

• 基于密度等级分类的田间棉铃计数算法

  黄紫云, 李亚楠, 王海晖

  为了解决复杂棉田环境中的多模态棉铃计数问题,提出一种基于密度等级分类的田间棉铃计数算法.首先采用密度等级分类估计器对图像中的全局上下文信息进行编码;然后利用多列结构的密度图估计器将输入图像转换为高维特征映射;最后通过特征融合神经网络,将分类信息与高维特征映射相结合,以生成高质量的密度图,进而实现对田间棉铃进行计数.此外,构建了一个包含412幅田间棉铃图像的数据集,该数据集可根据不同的环境、年份和地域条件进行划分,以进行实验和对比.实验结果表明,所提出的算法达到了更低的计数误差,其有效性和鲁棒性均优于其他对比算法.

• 多时空感知相关滤波融合的目标跟踪算法

  王科平, 朱朋飞, 杨艺, 费树岷

  为提高不同复杂环境下视频目标跟踪的可靠性,结合目标和背景的时空特性,提出一种基于多时空感知相关滤波融合的目标跟踪算法.该算法以相关滤波为基础,通过计算目标和滤波器在帧间变化的一致性,从而确立时间特性;以跟踪目标的邻域信息为基础,引入掩模矩阵,提取目标的空间信息.最后在目标函数中,构建时空感知约束项,强化相关滤波器对时空二元信息的学习能力,进而增强了滤波器对干扰信息的鲁棒性.为增强对不同复杂环境的适应能力,在视频颜色和方向梯度特征空间中搭建独立的时空感知相关滤波器,并建立二者跟踪结果的自适应融合机制,准确计算目标的位置和尺度,从而有效地提升算法对不同复杂环境的泛化能力.为验证算法的有效性,在OTB标准数据集上采用精度图和成功率图作为评价与11种算法开展了对比实验.实验结果表明,所提算法在多种复杂环境下,对遮挡、形变、光照变化和快速移动等干扰均具有良好的鲁棒性,并对目标能够进行有效的跟踪.

• 可变形特征图残差网络用于城市声音识别

  刘芙伶, 李伟红, 龚卫国

  针对城市声音识别过程中时频图像特征提取较困难的问题,提出一种可变形特征图残差网络用于城市声音识别.首先设计可变形特征图残差模块,包括偏移层与卷积层.偏移层将输入特征图的像素点移位,移位后的特征图通过快捷连接与卷积层提取到的特征图叠加,使网络集中在感兴趣的特征图区域采样,并向下级网络传递移位后特征图信息;其次设计可变形卷积残差网络;最后将该网络提取的特征与城市声音的梅尔倒谱系数融合,经压缩激励模块重标定后输入全连接层分类.在城市声音数据集上进行了实验,结果表明,与卷积神经网络的方法相比,该方法用于城市声音识别准确率提高5%以上.

• 面向精确定位的列车车号文本定位与识别

  艾鑫, 邹琪, 罗常津

  针对现有文本定位方法应用于列车车号易出现定位边界不紧凑、面积占比小的车号漏检率高的问题,提出一种面向小尺度目标精确定位的列车车号定位与识别方法.其基于CTPN改进,在文本定位阶段,首先采用VGG16网络提取特征并融合多尺度的特征图,以利于定位小车号区域;其次采用区域建议网络生成候选区域,对其进行分类回归,分类过程设计了困难样本挖掘策略,即保留只包含半个数字的正样本,回归过程设计了边界敏感的细粒度文本框回归策略,以确保水平边界紧凑;最后连接候选区域,输出定位结果.文本识别阶段采用基于注意机制的文本识别方法.通过在Caffe环境验证车号检测数据集,结果表明,车号定位方法相对经典的文本定位方法提高0.11,车号整体识别F1分数为0.81.