计算机辅助设计与图形学学报杂志

计算机辅助设计与图形学学报杂志2021年第6期

• 感知性与和谐度引导的多图表协同配色优化

  王晖, 胡瑞珍

  针对在可视化过程中出现的具有相同类别对应关系的多个图表需要保持配色一致的问题,提出多图表协同配色优化,从感知性与和谐度2个方面提出感知性与和谐度引导的多图表协同配色优化方法.给定调色板和多图表数据后,对调色板的质量进行评估,若给定的调色板质量较高,则对其颜色分配方案直接进行优化;否则,先对调色板进行优化,再对其颜色分配方案进行优化.多项用户调研结果证明,该方法能够在保证多图表配色统一的前提下提升配色结果的质量.

• 时空信息联合嵌入的端到端三维模型草图检索

  白静, 周文惠, 拖继文, 秦飞巍

  现有的基于草图的三维模型检索工作往往将数据视为静态输入,并使用卷积神经网络进行特征提取,忽略了数据的动态属性,造成了有益信息的部分丢失,进而影响了以此为基础的检索效果.为解决这一问题,提出一种基于时空信息联合嵌入的端到端三维模型草图检索算法.首先,将草图表征为动态绘制序列,体现其绘制过程中所包含的时序信息;将三维模型表征为多视图序列,体现视图间的位置关联;然后,构建包含静态空间特征提取和动态时序特征提取的端到端双流网络,结合三元中心度量学习建立跨域数据的联合时空特征嵌入,充分捕捉草图和三维模型所包含的静态、动态特征,缩小跨域数据的差异性,提高检索的准确率;最后,在标准公开数据集SHREC2013和SHREC2014上进行实验,与现有工作相比获得了较高的准确率,验证了所提算法的可行性及有效性.

• 结合知识图谱的篮球赛事新闻可视化

  吉娜烨, 高勇, 赵友兵, 俞定国, 褚少微

  体育赛事新闻的可视分析涉及体育赛事分析和新闻可视化,对快速生成赛事新闻报道、增强赛事新闻表现力、辅助赛事分析有重要作用.针对篮球比赛的重要赛事数据,如篮球比赛球员数据、球队数据和比赛的时间、空间数据,辅以知识图谱丰富背景知识,设计了交互式可视化工具.设计的交互可视工具面向数据新闻的制作,以体育赛事新闻的自动报道为需求,除了包括基础数据的概览和统计视图外,还包括赛事背景数据的知识图谱可视设计、赛事时空数据可视视图,让篮球爱好者和普通大众读者拥有多维度的视角去了解篮球赛事的各种信息.实现的可视化系统,通过篮球爱好者、普通大众读者和专业体育新闻记者等用户的评测,在5分制的量化评分下,各可视模块的均分基本在4分以上,证明了知识图谱用于篮球赛事可视化兼具生动性和知识性,可以增强篮球赛事新闻的表现力.

• 基于空间注意力下边缘图融合的草图图像检索

  郭元晨, 蔡韵, 张松海

  基于草图的图像检索任务根据用户提供的手绘草图,从图像数据库中检索得到与该草图对应的自然图像.与传统基于内容的图像检索不同,草图和自然图像间存在明显的域差异,这使得二者的特征难以直接进行比较.针对自然图像边缘图和草图的相似性,提出了空间注意力下的边缘图融合模型,将自然图像和对应的边缘图分别编码到各自的特征空间,再通过空间注意力掩膜进行加权融合,进而用于草图图像检索.所提模型可以更有效地编码物体边缘轮廓的特征,分别在Sketchy和Flickr15K数据集的草图图像检索任务上取得了比前人方法更高的Recall@1和MeanAP指标.

• 自顶向下导引式特征融合的物体轮廓检测网络

  马伟, 龚超凡, 徐士彪, 张晓鹏

  针对现有方法所得物体轮廓位置欠准确、线条粗、乱等问题,提出自顶向下导引式逐层融合的物体轮廓检测网络.首先采用常用卷积神经网络作为主干网络提取不同尺度特征;鉴于低层特征中边缘位置准确但包含较多非轮廓噪声,而高层特征更有助于区分轮廓和非轮廓,自顶向下逐渐融合相邻尺度特征,借助高层特征强化轮廓边缘并抑制非轮廓噪声;最后提出改进的2分类交叉熵损失函数,训练网络生成物体轮廓.在PyTorch环境下,用公开数据集SBD测试所提出网络.量化和可视化实验结果表明,相比现有方法,该网络所得物体轮廓位置更准确、线条更细、更干净.

• 基于多分支并行空洞卷积的多尺度目标检测算法

  袁帅, 王康, 单义, 杨金福

  针对现有的目标检测算法在提取特征时往往仅使用单一尺度大小的卷积核,忽略了不同尺度特征感受野的差异,从而影响网络对不同尺度目标的检测效果的问题,提出一种基于多分支并行空洞卷积的多尺度目标检测算法.首先,采用基础网络VGG-16对待检测图像进行特征提取;其次,在网络的低层引入多分支并行空洞卷积,对不同扩张率的空洞卷积进行融合,从而获取多尺度特征信息,提高网络对不同尺度特征的提取能力;然后,采用非局部化结构整合特征的全局空间信息,进而增强上下文信息;最后,在不同尺度大小的特征图上执行目标的检测与定位任务.在PASCAL VOC数据集和MS COCO数据集上的实验结果表明,所提算法能有效地提高网络对不同尺度目标的检测准确率,对小目标检测效果有明显改善.

• 跨相机交通场景下的车辆空间定位方法

  王伟, 唐心瑶, 张朝阳, 宋焕生, 崔华

  为解决交通应用中的跨相机全场景车辆空间定位问题,利用单目相机,提出一种全场景透视拼接及车辆3D检测相结合的方法.首先提出一种交通场景下的相机自动标定方法,通过构建相机标定空间模型,自动求取标定参数并优化;然后利用公共区域的特征点,将多相机空间坐标系进行变换统一,为直观体现全场景物理空间,将各场景透视变换至统一的像素-物理坐标系中;最后,针对单目视觉下的车辆3D定位难题,利用车辆投影的几何约束,建立优化模型构建精细化的3D包络,以3D包络质心作为车辆空间定位点,同时可映射至像素-物理坐标系,体现车辆的动态信息.在具有人工特征点的实验环境及无人工特征点的实际应用环境中,对于跨场景的多类型车辆进行空间定位实验验证,实验结果表明,该方法可解决交通视频监控中的车辆跨相机大场景下的空间定位难题,在选取的实验场景中综合定位精度可达到厘米级,且实时性较好.

• FAGNet: 基于MAFPN和GVR的遥感图像多尺度目标检测算法

  郑哲, 雷琳, 孙浩, 匡纲要

  针对大场景遥感图像内容复杂,并且具有目标种类较多、尺度不一、方向多变等特点,导致遥感图像中目标多类多尺度多方向的问题,提出一种基于多尺度注意力特征金字塔网络(MAFPN)以及滑动顶点回归(GVR)机制的遥感图像目标检测方法.首先利用骨干网络提取多层特征作为MAFPN的输入,MAFPN结合特征融合和注意力机制,在融合多个尺度的特征映射的基础上使用通道域注意力和空间域注意力机制来抑制噪声,增强有效特征复用,提高网络对目标多尺度特征的自适应性;将MAFPN输出的融合特征图输入区域建议网络(RPN)生成感兴趣区域,然后将其送入分类/回归网络;在分类/回归网络中使用GVR机制在预测水平框的基础上增加4个顶点偏移比例参数和旋转因子,将水平框转换为旋转框,以减少边框中冗余区域,使预测得到的旋转边框更贴合目标.在DOTA公开数据集上与多种基于卷积神经网络的经典检测算法进行对比的实验结果表明,该方法的平均检测精度得到显著提高,能够更加准确地检测多个尺度以及多个方向的目标,实现了多尺度目标的鲁棒性检测.

• 融合图像方法的半实时轴承故障诊断方法

  王鹏志, 张满囤, 韩亚洪, 赵旭, 王征

  轴承在高负荷的环境下长时间运转经常会发生故障,造成巨大损失.若能在故障发生前期进行准确感知,则可以在很大程度上减少损失.通过分析轴承故障问题的特点,提出一种半实时的高准确率诊断方法,使用双路宽卷积核深度卷积网络(deep convolutional neural networks with double paths and wider kernels,DWDCNN)作为实时诊断算法,在结果出现异常或轴承处于高噪声环境下的时候对轴承的振动数据使用短时傅里叶变换(short time Fourier transform,STFT),将其转换为图像,再使用轻型多尺度胶囊网络(smaller inception capsule net,SICN)进行二次诊断.使用该算法与现有其他算法在凯斯西储大学(Case Western Reserve University,CWRU)数据集和添加不同强度噪声后的CWRU数据集上进行实验,对准确性和计算效率进行对比.结果显示DWDCNN模型使用0.12 ms即可完成一次预测,且在SNR=-4 dB的条件下达到80.07%的准确率,而SICN模型虽然计算时间较长,但是可以在SNR=-4 dB的条件下达到95.00%的准确率.

• 基于对抗投影学习的跨模态哈希检索

  曾超, 白琮, 马青, 陈胜勇

  跨模态哈希检索以其较高的检索效率和较低的存储成本,在跨模态检索领域受到了广泛的关注.现有的跨模态哈希大多直接从多模态数据中学习哈希码,不能充分利用数据的语义信息,因此无法保证数据低维特征在模态间的分布一致性,解决这个问题的关键之一是要准确地度量多模态数据之间的相似度.为此,提出一种基于对抗投影学习的哈希(adversarial projection learning based Hashing for cross-modal retrieval,APLH)方法用于跨模态检索.利用对抗训练学习来自不同模态的低维特征,并保证低维特征在模态间的分布一致性.在此基础上,利用跨模态投影匹配约束(cross-modal projection matching,CMPM),最小化特征投影匹配分布和标签投影匹配分布之间的KL(Kullback-Leibler)散度,利用标签信息使数据低维特征之间的相似度结构与语义空间中的相似度结构趋于一致.此外,在哈希码学习阶段,引入加权余弦三元组损失进一步利用数据的语义信息;且为减小哈希码的量化损失,使用离散优化的方法优化哈希函数.在3个跨模态数据集MIRFlickr25K,NUS-WIDE,Wikipedia上,以不同码位计算mAP,且所提方法的mAP值均优于其他算法,验证了其在跨模态哈希检索上的优越性、鲁棒性以及CMPM的有效性.

• 面向知识图谱的位置敏感嵌入模型

  张似衡, 张文生

  知识图谱嵌入将离散的符号化实体和关系映射到连续的低维空间中,使后续的任务(如推理、图谱补全等)可以通过代数运算的方式进行.大体而言,知识图谱嵌入可以分成2类主流方法:平移距离模型和语义匹配模型.从知识图谱的图结构出发,可以分析平移距离模型的学习瓶颈,进而得出结论,即平移距离模型的缺点是没有区别对待实体在头部和尾部2个位置所应有的不同语义.据此,提出位置敏感的嵌入表示(location-sensitive embedding,LSE)模型.与现有模型不同的是,LSE仅对头部实体进行由不同关系决定的映射,并且将关系建模为一般化的线性变换而不仅是平移.理论分析的结果保证了LSE的表示能力,同时揭示了与其他模型之间的联系.同时,为了提高模型的训练和推理效率,提出简化模型LSEd,将线性变换限制为对角阵.在4个大规模通用知识图谱数据集上使用链接预测任务进行测试.实验结果表明,所提出的模型达到了最高或与当前最先进模型持平的性能.

• 弱监督学习下的融合注意力机制的表面缺陷检测

  孙美君, 吕超章, 韩亚洪, 李森, 王征

  现有基于深度学习的缺陷检测方法通常采用强监督学习策略,检测效果依赖于样本的数量和标注的质量.针对上述问题,提出弱监督学习下融合注意力机制的神经网络算法,仅使用图像级别标签便可同时预测缺陷的位置和概率.首先对多尺度感受野模块提取的特征应用特征融合网络,获取更多边缘细节信息;然后通过多层次的自编码器挖掘特征的深层语义信息;同时通过三线性全局注意力模块进一步细化浅层特征的空间位置信息;最后对浅层边缘特征和深层语义特征进行融合增强,得到最终的精细缺陷特征,达到高效准确的自动化表面缺陷检测的目的.基于PyTorch框架用KolektorSDD电转向器表面缺陷数据集验证所提算法,并与U-Net等缺陷检测算法进行对比.检测视觉效果显示,所提算法可以保留更多的细节纹理信息,能够有效扩大细微缺陷与复杂背景之间的特征差异.通过大量实验表明,该算法在复杂场景下比其他模型更为准确,其精准率、F1值和总体精度都有所提升.

• 结合Pix2Pix生成对抗网络的灰度图像着色方法

  李洪安, 郑峭雪, 张婧, 杜卓明, 李占利, 康宝生

  针对神经网络在进行图像着色时容易出现物体边界不明确、图像着色质量不高的问题,提出结合Pix2Pix生成对抗网络的灰度图像着色方法.首先改进U-Net结构,采用8个下采样层和8个上采样层对图像进行特征提取和颜色预测,提高网络模型对图像深层次特征的提取能力;然后使用L1损失和smoothL1损失度量生成图像与真实图像之间的差距,对比不同损失函数下的图像着色质量;最后加入梯度惩罚,在生成图像和真实图像分布之间构造新的数据分布,对每个输入数据进行梯度惩罚,改变判别器网络梯度限制方法,提高网络在训练过程中的稳定性.在相同实验环境下,使用Pix2Pix模型和summer2winter数据进行对比分析.实验结果表明,改进后的U-Net和使用smooth L1损失作为生成器损失可以生成更好的着色图像;而L1损失能更好地保持图像结构信息,使用梯度惩罚可以加速模型的收敛速度,提高模型稳定性和图像质量;该方法能更好地学习图像的深层次特征,减少图像着色模糊现象,在有效地保持图像结构相似性的同时提高图像着色质量.

• 可见光-远红外图像的多模态能见度深度学习模型

  沈克成, 施佺, 王晗

  为了增强能见度深度学习模型在小样本条件下的准确率和鲁棒性,提出一种基于可见光-远红外图像的多模态能见度深度学习方法.首先,利用图像配准获取视野范围与分辨率均相同的可见光-远红外输入图像对;然后,构造三分支并行结构的多模态特征融合网络;分别在可见光图像、远红外图像及其累加特征图中提取不同性质的大气特征,各分支的特征信息通过网络结构实现模态互补与融合;最后在网络末端输出图像场景所对应的能见度的等级.采用双目摄像机收集不同天气情况下的室外真实可见光-远红外图像作为实验数据,在不同性能指标、多角度下的实验结果表明,与传统单模态能见度深度学习模型相比,多模态能见度模型可显著提高小样本条件下能见度检测的准确率和鲁棒性.

• 基于深度学习的肾小球病理图像识别与分类

  孟子尧, 陈斯佳, 吕天予, 张志刚, 王筱霞, 盛斌, 毛丽娟

  病理切片中肾小球的识别和分类是诊断肾脏病变程度和病变类型的关键,为解决肾小球的识别和分类问题,从中检测出肾小球并进行分类,设计了一个基于深度学习的完整的肾小球检测及分类框架.该框架包括肾小球识别的4个阶段,第1阶段的扫描窗生成中,设计一种网络框架RGNet,用于初步判断肾小球可能出现的位置;第2阶段的检测和粗分类中,针对肾小球数据改进了Faster R-CNN;第3阶段基于NMS算法设计了NMS-Lite算法,将检测到的肾小球进行合并;在第4阶段的细分类中,使用数据增强等技巧训练2个神经网络,实现肾小球的病变程度分类.实验结果表明,所提肾小球检测方法在测试集上取得了与同类方法可比的精度,且在一定程度上解决了相似类别的肾小球难以区分的问题.

• 面向100 Gbps网络应用的RISC-V CPU设计与实现

  李晓霖, 韩萌, 郝凯, 薛海韵, 卢圣健, 张昆明, 祁楠, 牛星茂, 肖利民, 郝沁汾

  RISC-V作为新一代开源精简指令集,具有功耗低、面积小和性能高的优点,因此基于RISC-V架构的技术和产品发展迅速.然而,目前基于RISC-V架构的中高端64位CPU设计实例很少,也缺乏相应的商用IP,尤其是在面向高速网络应用方面.因此,首先改进了开源的64位U500 RISC-V SoC,包括增加了总线宽度和集成二级缓存等;然后在CPU中实现了完整的100 Gbps以太网功能模块,包括介质访问控制子层、物理编码子层和串行器/解串器以及用于该功能模块的发送缓冲区和接收缓冲区;最后通过前端仿真、FPGA验证以及启动Linux操作系统,验证了所设计的64位RISC-V CPU以及100 Gbps以太网功能模块的正确性和有效性.所设计的RISC-V CPU和100 Gbps以太网功能模块可应用于智能网卡等数据中心应用场景.

• 新型RHBD抗多节点翻转锁存器设计

  郭靖, 李强, 宿晓慧, 孙宇

  在纳米数字锁存器中,多节点翻转(multiple-node upset,MNU)正持续增加.虽然现有基于互连单元的抗辐射加固设计(radiation hardening by design,RHBD)的锁存器可以恢复所有MNU,但是需要更多的敏感节点和晶体管.为了在获得高可靠性的同时降低硬件开销,提出利用辐射翻转机制进行加固的方法.首先,通过使用屏蔽晶体管减少敏感节点,进而降低使用的晶体管数;然后,将2个单元内的上拉晶体管进行交叉互连,从而构造出一个可抗MNU翻转的RHBD锁存器.在65 nm工艺下,与现有基于互连技术的RHBD锁存器相比,提出的RHBD锁存器可平均减少12.82%的面积,319.22%的延迟和10.66%的功耗.

• 用于深度学习训练加速的自适应框架设计

  范涛, 樊平, 成元庆

  用FPGA加速深度学习算法的训练过程通常需要较长的开发周期和丰富的硬件设计经验.为了应对这一挑战,设计了一种基于自适应模板技术的深度学习算法训练加速框架,在应用规模、并行调度策略、资源使用和功能扩展上进行了深入的研究并提出了相应的优化策略.采用CPU-FPGA异构加速模板技术,提出了自适应的上层模型编译框架实现与不同硬件加速资源的适配.这种基于定制模板的软硬件协同设计可以很好地适配不同的FPGA芯片并支持算法的快速迭代.用图神经网络算法数据进行加速对比实验,实现了与CPU相比7~41倍的速度提升.