计算机辅助设计与图形学学报杂志

计算机辅助设计与图形学学报杂志2020年第7期

• 基于气味采集的嗅觉输入界面探索

  路奇, 吴昊, 梁婉, 贾艳红, 杨佳伟

  近年来,嗅觉界面研究的数量在人机交互领域逐年增多,目前大家研究的重点集中于使用气味播放技术进行信息的表征和环境渲染等,相比之下,气味输入方面的研究尚不多见.电子鼻目前被视为是理想的气味采集手段,它可以识别气味,并将其数字化,但是目前电子鼻的识别能力还非常有限,并且生成的数据无法将气味像图片或者音频那样进行传播和呈现.通常,嗅觉信息的采集需要从物理和数字2个维度进行,即既要通过电子鼻等数字采集技术建构气味标签,又要能够对气味进行物理形式的保存,以便进行气味回放.针对此需求,文中提出了一系列设计原则,并且进行了原型开发方面的探索与相应的实验评估.文中对这种嗅觉输入界面,基于文献调研、用户访谈和实验、设计讨论等方法提出了一系列潜在应用场景,并且对其研究路线进行了探讨,为后续的相关研究提供建议和方向.

• 针对气味数据的交互式聚类可视分析框架

  黄立, 张静怡, 吴昊, 路奇

  自然界中的气味通常是多种成分的混合物,相比图像和声音具有特殊的数据复杂性,且由于缺少有效的表示方法导致气味研究相对滞后.聚类分析是研究气味的一个重要方法,有助于增进对气味的理解、识别、合成和设计,然而大部分高效的聚类方法都是被动的,用户往往期望参与到计算过程中,利用领域知识和经验进行交互式聚类.气味数据存在多种可能的聚类方式,用户需要对多组聚类结果进行比较,以确定最优的聚类.提出一个对气味数据进行交互式聚类的可视分析框架.首先使用人工神经网络结合多分子气味的高维化学信息和感官描述信息,计算一种低维度的气味嵌套表示;然后基于高斯混合模型的交互式聚类算法让用户对气味嵌套进行符合预期的聚类和重新聚类;最后用户可通过聚类可视化视图比较多组聚类结果的异同,增进对气味数据的理解,从而找到最佳的聚类方式.通过实验和2位领域专家的测试与评估,验证了该可视分析框架的有效性.

• 智能终端的最简情感表达

  江浩, 徐婧珏, 林思远, 杨昌源, 杨文波, 郭静雅

  为了使用低自由度水平的执行器构建引起用户特定情绪感受的表达性模式,提出智能终端产品的最简情感表达方法,首先在统一的效价-唤醒度情感模型下对灯光、音乐、运动和振动4种低自由度执行器的情感表达能力进行分析;然后通过实验得出各执行器在不同的参数条件下可以表达的情感范围,以及执行器自由度水平的取值与用户所感受到的情感愉悦度、唤醒度的相关关系.在实验结果的基础上,设计与开发了一款最简情感表达设计辅助工具,用于辅助设计师在智能终端产品的设计研发过程中对产品的情感表达能力进行快速原型搭建.

• 基于姿态的情感计算综述

  付心仪, 薛程, 李希, 张玥泽, 蔡天阳

  情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.

• 脑电时空多特征融合的数字图形界面认知负荷评价方法

  郑瑞凌, 张俊松

  准确地评价数字图形界面下操作员的认知负荷(cognitive load,CL),有助于实现认知反馈机制并最终提高人机工效.为了进一步提高评价方法的鲁棒性与泛化能力,结合EEG实验将Att-BLSTM应用于CL评价问题中.该方法首先利用Multi-CNN提取EEG的频域与空间特征,然后利用Att-BLSTM提取EEG的时域特征,最后通过多特征融合构建CL评价方法.通过招募12名被试,采集了2种CL条件下的EEG数据进行了实验.实验结果表明,文中方法在该数据集上的平均准确率为82%,比传统机器学习的方法具有更强的EEG信号表征能力;与其他深度学习方法相比,也能更准确地提取EEG的时域特征,且具有更强的鲁棒性.

• 基于BGRU-FUS-NN神经网络的姿态情感计算方法研究

  付心仪, 蔡天阳, 薛程, 张宇翔, 徐迎庆

  情感计算研究是近些年人机交互领域的热门研究方向,其相关研究目前主要集中在面部表情和语音模态,基于姿态模态的情感计算研究相对较少.文中提出了一种基于姿态的新型情感计算算法,利用虚拟现实(VR)设备来唤醒用户的情感,使用摄像机采集用户的非表演动作数据,重新定义了19个人体运动关键点,将用户动作数据转换为相应骨骼点的3D坐标.在已有的基本特征的基础上,加入了高级动态特征,构造了一个能够更加完善地描述肢体运动的80D特征列表.在融合神经网络模型(FUS-NN)的基础上,使用循环门控单元(GRU)替代长短期记忆神经网络(LSTM),并添加正规层(Layer-Normalization),丢弃层(Layer-Dropout)和减少堆叠层数等策略,提出了双向循环门控单元融合神经网络(BGRU-FUS-NN)模型.使用了基于唤醒(arousal)和效价(valence)的情感模型进行情感分类,针对4分类任务和8分类任务,准确率比FUS-NN模型分别提升了7.22%和5.15%.

• 虚拟人物的身体图式分析

  郝强, 郭子淳

  近年来,随着计算机图形学特别是计算机动画研究与应用的飞速发展,科幻电影中出现了大量的机甲身体和外化骨骼等数字化身体.这种对于身体的所指现象,逐渐形成了一套独特的视觉符号.结合人工智能的交叉性和数字算法,如何从基于真实演员的自然身体转向为数字化身体,并在此基础上保持其行为和情感的自然性,从而形成数字化身体的行为和情感的自然融合与互动,已经成为计算机图形学研究与应用的又一个挑战.文中从具身认知学的角度出发,以一系列科幻电影中的数字化人物为例,将身体图式作为理解数字化身体的行为与情感自然融合的关键所在,将身体图式分类为数字身体、复合身体和人造身体,从身体图式到内在感知以及科幻电影中身体图式的空间转向,在理论上对空间转化与互动进行分析.相关研究对今后在科幻电影中如何创造更加人性化的虚拟人物有着积极的作用.

• 基于社会临场感的儿童情商教育多媒体交互设计

  马晓娜, 曹翀, 孙瑜

  童年期是情商教育的重要时期,高社会临场感的媒体和交互为儿童情商教育中必要的情境和互动提供了更有效的途径.通过对儿童情商教育中情境和互动实现方法进行分析,围绕多媒体融合和复合型交互进行研究.首先分析多媒体融合及复合型交互在提升社会临场感的有效性,从社会临场感的技术因素与社会因素探讨儿童情商教育多媒体交互的方法;然后提出儿童情商教育多媒体交互的设计维度以及具体的构建流程.以幼儿园为应用场景,以学龄前儿童的普遍情商问题和学习操作能力为中心,设计一套基于多媒体交互的学龄前儿童情商教育课程,为相关设计提供了参考.

• 智能手机动效设计研究

  徐千尧, 徐迎庆

  智能手机上,动效无处不在,是手机操作过程中呈现和使用频率最高的功能之一.针对智能手机动效设计的基本原则、方法和准则展开研究,就动效设计的体验价值和商业价值,围绕人与智能手机之间的自然交互问题进行了综合探讨.通过智能手机经典动效交互的案例研究,分析了多场景下的人机自然交互的动效设计体验,探讨了基于用户对智能手机动效设计的需求来建立相应的人机自然交互系统的理论与方法.在实际中的应用表明,所提出的动效设计准则便于交互、信息准确、用户友好.

• 基于剪辑元素属性约束的可计算产品展示视频自动剪辑框架

  鲁雨佳, 陈实, 帅世辉, 王禹溪, 杨昌源, 孙凌云

  当前电商领域爆发了对产品展示视频的海量需求.而视频剪辑是视频制作中至关重要的一环.产品展示视频的剪辑比其他类别视频具有更强的信息传达目的.从信息传达效果出发,结合专家访谈和用户实验,得出信息排布、剪辑连贯、剪辑节奏、片段节奏4个影响消费者信息感知的剪辑元素,并应用这4个剪辑元素构建了基于剪辑元素属性约束的自动剪辑框架.首先将镜头素材在信息类别、片段节奏与剪辑节奏的约束下分割成片段;然后应用隐马尔可夫模型与全局约束的维特比算法获取最佳的片段序列,以呈现合适的目标信息并兼具视觉连贯;最后,开发了一个针对服装的自动剪辑系统原型,支持对多段素材的即时分割和成片输出.与专业人工剪辑结果比较发现,该方法能更高效地帮助制作者完成视频剪辑,且视频效果接近人工剪辑.

• 手写体版面分析和多风格古籍背景融合

  田瑶琳, 陈善雄, 赵富佳, 林小渝, 熊海灵

  近年来,基于深度学习的版面分析和风格迁移等技术得到广泛的应用并取得了许多突破.为了对古籍多风格纹理进行复原,提出一种古籍版面分析和风格融合网络结构.首先利用生成对抗网络和多风格背景生成模型进行模型训练,形成多风格的古籍纹理;然后提出重排列算法进行版面分析,调整前景文字的排列位置;最后通过前景文字和古籍风格背景的融合实现文本背景的多风格生成.实验中,以古彝文、古汉语(秦小篆)、女真文的古籍和古画作为数据样本,对DCGANs模型进行参数和结构上的改进以提高模型的生成性能,结合交叉熵损失函数和Fréchet inception distance(FID)对生成结果进行评估,得到在FID上表现最佳的训练模型M8并将其作为多风格背景生成模型,与DCGANs模型相比,生成性能提高19.26%,图像生成质量有了明显提升.

• 以用户行为为驱动的公共空间动态视觉信息设计研究

  姚远, 蔡君爱, 肖子燕, 杨文波, 米海鹏

  在现今广场、商场、展览馆、博物馆等实体公共空间中,随着以大屏幕为交互媒介的现象日渐普遍,用户对这些屏幕注意力降低的问题愈发明显,屏幕信息的传达效率也随之降低.针对这一现状,提出了一种以用户行为为驱动的动态视觉信息设计.从屏幕的物理动态和屏幕中的信息动态2个方面,设计了多组实验,研究动态显示屏幕及动态信息在提高行人用户的吸引力、阅读效率等方面产生积极的作用;并提出了一套交互式屏幕信息自适应的显示方案,该方案可结合行人用户的空间位置和角度,做出不同类型的动态视觉信息反馈.

• HeliCoach: 基于无人机模拟3D音频空间的多通道自适应定向行走训练系统的设计研究

  龚江涛, 丁琦城, 徐鹏辉, 张宇, 张柳新, 王茜莺

  为有效地帮助视障者提高听觉定向能力,设计并实现了一种自适应的定向行走训练系统HeliCoach.HeliCoach是基于掌握学习理论的自适应学习训练系统,主要由3个部分组成:基于无人机物理模拟的3D音频空间、基于UWB(超宽带)定向的能力评估系统和具有触觉反馈的智能腰带作为辅助指导系统(教学脚手架)、当训练者的定向能力评估超过当前的难度级别时,HeliCoach会动态增加任务难度级别.此外,在智能腰带中设计了多级触觉教学脚手架系统,教学脚手架系统的每一级都具有不同的振动模式,可提供不同等级的帮助信息.通过用户实验,评估蒙眼明眼人(模拟刚刚失明,未经过训练的盲人)对HeliCoach的接受度和训练效率,其结果表明,HeliCoach是高效且有趣的,与随机教学脚手架相比,其自适应教学脚手架可以显著地提高训练效率.因此,可以认为,HeliCoach可广泛地应用于多种与3D音频空间相关的定向行走训练任务,更有效地对刚失明不久的盲人进行定向行走训练.

• 基于价值评估的磁共振单序列多层LVP图像压缩算法

  满盼盼, 赵国桦, 刘泽华, 王梅云, 林予松

  针对影像组学过程中医生标注影像数据工作量巨大的问题,提出了一种基于价值评估的磁共振单序列多层低价值点(low value point,LVP)图像压缩算法.对单序列多层LVP原图像使用滤波压缩算法,对已标注的单序列多层LVP分割图像使用池化压缩算法,将单序列多层LVP原图像和分割图像压缩为单层高价值点(highvaluepoint,HVP)原图像和分割图像.将压缩算法应用于磁共振脑胶质瘤的自有数据集和公开数据集中,对比了压缩前原始图像标注时间和压缩成单层HVP图像标注时间,并测试压缩图像进行影像组学分级任务的效果.实验结果表明:压缩后标注一例病例的时间与压缩前相比显著减少,AUC等指标在执行文中算法和未执行下得到的分级结果相差甚微,均高于医生诊断水平.因此,在误差可接受范围内,医生仅需标注一层HVP图像便能进行医学影像分析,并且也能获得较好的分析结果.对于医生来说,可显著缩减医生标注任务的工作量.

• 面向心脏MRI分割的半监督空间一致性约束网络

  李才子, 刘瑞强, 司伟鑫, 袁志勇, 王平安

  精准分割心脏磁共振图像(MRI)分割对于心脏功能分析至关重要.当前基于数据驱动的神经网络模型极大地促进了心脏MRI分割的发展,然而对标注数据的依赖极大地限制了神经网络模型在心脏MRI分割领域的应用.为了降低神经网络模型对于标注数据的依赖,提出一种基于无监督空间一致性约束的半监督心脏MRI分割方法,在少量有标注数据的监督学习基础上,利用无标签数据在模型输入端和输出端分别进行空间变换后前后一致的特性,构建对于无标注数据的空间一致性约束.使用ACDC 2017心脏多组织分割数据集评估了所提出的方法,实验结果表明,相对于有监督学习,通过无监督数据的空间一致性约束能够显著提升模型的泛化能力;此外,相对于其他state-of-the-art的半监督方法,文中方法也拥有更优的泛化性能.

• 基于向量分区模型和三维骨架化模型的肺裂分割算法

  彭圆圆, 马招娣, 彭兰, 李雄

  了解肺裂结构特征在肺部疾病诊断方面具有重要的应用价值.在CT图像中,肺裂会受到强度变化、噪声和形变等各种因素的影响,使得分割难度很大.为了克服此困难,提出一种基于向量分区模型和三维骨架化模型的肺裂分割算法.首先,受到肺裂在二维CT图像中呈现为线性结构特征的启发,通过借助方向窄条微分滤波器融合幅度信息和方向信息来构建肺裂向量场,此种途径能够有效地区分肺裂和其他组织.接着,考虑肺裂在三维CT图像中呈现为面状结构特征,通过改进的向量分区模型来分离肺裂和管状结构,此种方式能够高效率地抑制噪声.最后,为了得到完整的肺裂,引入三维骨架化模型理论来有效分割肺裂.提出的算法在公开数据集LOLA11上进行验证,其F1,FDR和FNR中值分别为0.893,0.068和0.128.实验结果表明,文中算法具有非常好的肺裂分割效果.

• 基于GCNN的CBCT模拟口扫点云数据牙齿分割算法

  张雅玲, 于泽宽, 何炳蔚

  三维牙模型的获取并实现牙体边界的精准分割,对于口腔正畸及种植对牙齿的诊断和制定后续治疗计划具有重要意义.为了实现单个牙体的精准分割,提出一种基于CBCT数据模拟口扫点云数据实现牙齿自动分割的算法.借助锥形束计算机断层扫描(CBCT)重建出的三维牙模型,通过对牙模型的局部精细与全局粗略结构的深度学习网络,实现单个牙体的精准语义分割.该框架基于图卷积网络(graph convolutional neural networks,GCNN),主要包括2个部分:一是实例分割网络,用于获得牙体的大体形状及相对位置信息;二是细粒度分割网络,用于学习单个牙体的精细细节部分,对分配错误的标签增加惩罚机制,进一步提高了牙体分割精确度.利用文中构建的牙体数据集分别在所提算法、PointNet++和GACNet进行测试,结果表明,所采用的改进GCNN框架可实现精准的三维牙体分割.核心评估指标平均交并比(MIoU)的得分为0.91,优于目前普遍使用的点云语义分割框架PointNet++(MIoU=0.78)和GACNet(MIoU=0.88).实现基于CBCT模拟口扫点云数据的牙齿分割,对于进一步应用临床有重要意义.

• 基于层进式结构的智能积木搭建与编程系统

  高家思, 王濛, 杜渊杰

  为了帮助儿童搭建和理解各式交互装置及其控制逻辑,提出一个基于层进式逻辑结构的智能积木搭建与编程系统——LinkBricks.该系统包含一组基于乐高得宝系列特别设计的智能积木,通过在积木中嵌入无线传感器和驱动器,儿童可在不受连接线限制的情况下自由搭建各式交互装置;与实物搭建套件相配套,同时提供了一套基于层进式结构的智能积木编程系统,儿童可以通过图形用户界面中的简单点击与拖拽创建复杂的控制逻辑.用户实验结果表明,文中系统可以帮助儿童快速搭建出机器人、物联网等各式各样的交互装置,提高学习兴趣,并有助于其了解系统的内在的逻辑、控制和响应等相关知识.

• 基于分布式传感的实体积木模型实时三维重建系统

  王濛, 朱雅鑫

  积木是一种具有高度易用性的设计工具,通过简单而牢固的插接结构可以创造大量各式各样的实体模型,如建筑、机器和人物等.传统上,搭建出的实体模型可以通过计算机视觉的方法进行三维重建,但是识别率低、操作复杂、遮挡等问题始终无法得到妥善的解决.为此,提出了一种基于分布式传感的实时三维重建系统,系统包括硬件层、网络层、交互层和应用层4个层次;通过传感数据处理、结构重建模块及三维显示模块,实现实体积木的实时数字化重建与显示.这一系统基于连接单元间的拓扑关系检测,因此能够从原理上解决遮挡、识别等问题.基于该系统,通过原型开发及用户实验,探索了模块化实物用户界面在计算机辅助设计、教育及互动娱乐等领域的应用前景.

• 基于心理与生理测量的辽瓷文化意象基因研究

  朱月, 邓成连

  依据心理和生理测量,提出契合受众感知意象的古器物文化意象基因提取方法.以辽代瓷器为研究对象,透过外形变量划分及编码,经由集群分析确定代表性样本.在心理测量上,运用语意差异法提取出辽瓷所具有的4种感知意象:典雅意象、情趣意象、豪迈意象和华丽意象;再从生理测量上,运用眼动追踪技术,通过热区图及注视时间的眼动指标,分析受测者在进行意象感知时所重点注视的辽瓷样本区域.并依据上述研究结果提取契合受众感知意象的辽瓷文化意象基因,分析其文化特征并进行设计验证,为辽瓷文化的创新应用提供参考.

• 大尺度低密度新媒体空间的格式塔设计

  师丹青

  在大型沉浸体验展览或娱乐项目中,由于技术和成本的限制,大尺度空间中的新媒体覆盖密度相对较低,这往往导致观众沉浸体验的"断裂".文中从格式塔心理学中的完形认知原理出发,从"感官"和"空间"2个角度,分析大型新媒体空间设计案例,探讨如何对"体验断裂"进行"弹性修复",并提出了一个弹性的沉浸体验设计方法框架,鼓励观众从认知的角度主动参与到沉浸感的构建中.