计算机辅助设计与图形学学报杂志

计算机辅助设计与图形学学报杂志2024年第7期

• 大规模场景运动恢复结构研究综述

  高翔, 李梦晗, 申抒含

  运动恢复结构旨在基于图像间的局部特征匹配解算相机在全局统一坐标系下的绝对位姿, 是基于图像的三维重建中的关键问题. 近年来, 随着采集设备、计算资源以及理论方法的发展, 运动恢复结构研究已逐渐由实验室小规模可控场景向室内外大规模实际场景扩展, 并取得了成果显著的理论方法与实际应用. 文中从实际应用出发, 综述了面向大规模场景三维重建的运动恢复结构研究领域的最新成果; 专注于运动恢复结构中相机位姿解算核心问题, 并全面介绍了其中的最新成果按照解析式与学习式方法进行; 在此基础上, 为助力社区发展, 讨论与分析的运动恢复结构当前研究进展与未来发展态势.

• 神经辐射场的研究现状与展望

  李吉洋, 程乐超, 何靖璇, 王章野

  基于2D图片的视点合成一直是计算机视觉和计算机图形学领域中的一个关键问题, 旨在通过一组目标场景的2D图片合成新视角下的场景图片. 神经辐射场作为一种新颖的隐式场景表达方式, 因其出色的视觉效果备受研究者的关注. 对神经辐射场的发展历程进行梳理, 从理论基础、优化与扩展以及应用等方面介绍了相关研究. 在神经辐射场的优化与扩展方面, 通过优化网络结构、模型压缩等方式加速训练及渲染过程, 还有一些工作致力于降低对输入图片的要求以及提高渲染质量; 在应用方面, 神经辐射场在人、物及场景的建模中展现出巨大的潜力, 并有工作将其扩展到动态场景的表达. 此外, 神经辐射场与生成式模型结合, 可以实现通过文本或者图像来引导三维模型生成的目标. 最后, 总结了现有研究工作的不足, 并指出加速神经辐射场的训练与渲染, 优化渲染结果, 以及进一步扩展应用场景仍然是未来相关工作的研究方向.

• 基于方向编码与空洞采样的室内点云物体分割

  李彭, 陈西江, 赵不钒, 宣伟, 邓辉

  针对现有方法在处理局部特征时忽略方向信息, 且由于卷积核大小的限制无法有效地提取点云邻域特征等问题, 提出一种点云分割方法. 首先结合方向编码和空洞采样最大程度扩大网络的局部感受野. 其次利用图卷积神经网络挖掘局部邻域内点的信息. 然后使用邻域特征提取层自动加权融合邻域特征为更具有代表性的单个特征点. 最后结合空间注意力机制, 增加远程点之间的联系. 在S3DIS数据集上进行物体分割实验的结果表明, 所提方法的OA和mIoU比PointWeb高1.3个百分点和4.0个百分点, 比基线方法RandLA-Net高0.6个百分点和0.7个百分点, 使用空洞采样与方向编码能够有效地提高点云的语义分割精度.

• 融合图像信息的跨模态Transformer点云补全算法

  何星, 朱哲, 燕雪峰, 郭延文, 宫丽娜, 魏明强

  针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全, 需要进行补全处理, 而单模态方法存在的补全结果细节不丰富、结构不完整等问题, 提出一种融合图像信息的跨模态Transformer点云补全算法. 首先采用点云分支和图像分支分别提取点云特征和图像特征, 其中, 点云分支采用PoinTr为骨干网络, 图像分支采用7层卷积; 然后通过特征融合模块融合点云特征和图像特征, 由粗到精地生成全分辨率的点云. 在ShapeNet-ViPC数据集上进行实验的结果表明, 所提算法的可视化结果优于单模态点云补全方法和目前仅有的跨模态点云补全方法ViPC, 且在大部分测试类别上的CD-L2量化指标优于ViPC; 平均CD-L2为2.74, 比ViPC低17%. 为了便于研究人员评估和使用, 文中算法可通过https://github.com/Starak-x/ImPoinTr开源获取.

• G1连续组合曲线曲面的构造

  严兰兰, 付雨楠, 揭梦柔, 刘喆

  为了在保留B样条方法自动光滑性的基础上突破其要求各部分曲线曲面的次数必须相等的限制, 同时赋予曲线曲面独立于控制顶点的形状可调性, 提出一种G1连续组合曲线曲面的构造方法. 首先构造一组含2个自由参数的n(n≥ 2)次基函数并分析其性质, 基于该基函数, 定义了结构与n次Bé zier曲线曲面相同的新曲线曲面, 其包含n次Bé zier曲线曲面为特例; 然后分析新曲线曲面的G1光滑拼接条件, 根据拼接条件, 采用与B样条方法相同的组合思想但是不同的组合方式, 定义基于新曲线曲面的分段组合曲线与分片组合曲面, 其包含2次均匀和2次准均匀B样条为特例. 实例结果表明, 定义方式自动保证了组合曲线曲面在连接处的G1连续性, 组合曲线曲面的端点与角点位置以及内部形状都可以通过改变自由参数的取值来进行调整, 且调整方式既可以是全局的又可以是局部的; 所提方法为复杂曲线曲面的造型设计提供了便利.

• 鲁棒的水密流形网格修复

  王鹏飞, 徐敏峰, 辛士庆, 严冬明, 屠长河

  针对未经修复的网格模型一般存在非流形结构, 常带有孔洞、法向不一致、自交等缺陷, 很难直接应用到后续基于网格的应用中的问题, 提出一种保持输入网格特征的鲁棒水密流形网格修复算法. 首先利用Manifoldplus算法和卷绕数(winding number)构建能够区分输入网格内外且逼近输入网格的水密流形引导曲面; 然后利用引导曲面计算受限Voronoi图(restricted Voronoi diagram, RVD); 再通过对偶得到受限三角剖分(restricted Delaunay triangulation, RDT); 将非流形问题分解到RVD和RDT计算过程中, 保证计算的RDT即为修复后的水密流形网格; 最后在原始网格边中添加辅助点, 保持原始网格特征. 基于Windows 10平台, 在ModelNet10公开数据集上进行实验的结果表明, 所提算法在输出网格的平均精度为1.54× 10-6, 与Manifoldplus算法相当; 但是当输入的模型包含孔洞时, Manifoldplus算法无法将孔洞合理地填补, 而该算法能够合理地填补孔洞.

• 基于点多边形的混合坐标

  苗苗, 李亚娟, 邓重阳

  为了构造非负且光滑的广义重心坐标, 提出一种基于点多边形的混合坐标构建方法. 首先将原多边形三角剖分, 计算所有网格顶点的重心坐标, 并确定每个网格顶点的点多边形; 然后分别计算原多边形内点关于其所在三角形的点多边形的重心坐标与混合系数, 根据以上计算结果得到混合坐标; 最后使用迭代坐标或调和坐标计算网格顶点的重心坐标, 用均值坐标和迭代坐标计算原多边形内点关于点多边形的重心坐标. 数值实例采用多个多边形的等高线图, 以及其不同重心坐标的非负区域、光滑性、纹理映射对比, 表明所提方法具有良好的光滑性, 且在任意多边形内部具有非负性.

• 多模态特征融合和自蒸馏的红外-可见光行人重识别

  万磊, 李华锋, 张亚飞

  现有跨模态行人重识别方法大多挖掘模态不变的特征, 忽略了不同模态内的具有判别性的自有特征. 为了充分地利用不同模态内的自有特征, 提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法. 首先提出一种基于双分类器的注意力融合机制, 为各模态的自有特征赋予较大的融合权重, 共有特征赋予较小的融合权重, 得到含有各模态判别性自有特征的多模态融合特征; 为了提升网络特征的鲁棒性以适应行人外观的变化, 构建一个记忆存储器来存储行人的多视角特征; 还设计了一种自蒸馏无参数动态引导策略, 在多模态融合特征和多视角特征的引导下, 利用该策略动态强化网络的多模态推理和多视角推理能力; 最后网络能够从一个行人的单模态图像推理出另一模态不同视角行人特征, 提升模型跨模态行人重识别的性能. 基于PyTorch深度学习框架, 在公开数据集SYSU-MM01和RegDB上与当前主流的方法进行对比实验, 结果表明, 所提方法的Rank-1分别达到63.12%和92.55%, mAP分别达到61.51%和89.55%, 优于对比方法.

• 基于运动引导图卷积网络的人体动作识别

  李晶晶, 黄章进, 邹露

  针对当前基于骨架的人体动作识别方法无法建模关节点之间依赖关系随时间的变化, 以及难以实现跨时空信息交互的问题, 提出基于运动引导图卷积网络的人体动作识别方法. 首先根据骨架序列提取其高级运动特征; 然后在时间维度上学习运动相关图, 并通过对预定义图和可学习图优化建模不同时期的关节依赖关系, 即运动引导拓扑图; 再利用运动引导拓扑图进行空间图卷积, 将运动信息融合到空间图卷积以实现跨时空信息交互; 最后交替使用时空图卷积, 实现人体动作识别. 在数据集NTU-RGB+D和NTU-RGB+D 120上与MS-G3D等图卷积网络进行对比实验的结果表明, 所提方法在NTU-RGB+D的跨对象和跨视角上的准确率分别提升到92.3%和96.7%, 在NTU-RGB+D 120的跨对象和跨场景上的准确率分别提升到88.8%和90.2%.

• 基于文本数据的篮球赛事可听化系统

  余旻婧, 李俊沂, 蔡明旭, 庞德龙, 张梁昊, 张加万

  篮球作为世界上普及程度最高的运动之一, 其相关赛事受到众多体育爱好者的关注, 具有极高的社会与经济价值. 对于以美国职业篮球联赛为代表的国际顶尖篮球赛事, 每年数以千计的比赛场次和动辄超过2 h的视频时长往往让渴望能高效地筛选兴趣赛事或定位精彩瞬间的观众望而却步. 为此, 设计了基于文本数据的篮球赛事可听化系统. 首先从球赛文本实况报道数据中顺序提取关键词并映射至特定旋律, 实现数据从文本至音频的跨模态表达; 然后将枯燥的球赛文本数据转化为音乐片段, 解决部分场景下用户视觉通道被占用无法观看比赛的问题, 为用户在较短时间内筛选兴趣赛事提供了可能. 以2021年度NBA季后赛为例, 所提系统平均单场比赛对应音乐片段生成仅需0.094 s, 音频时长缩短为对应比赛视频时长的12.27%. 通过38人参与的用户实验结果表明, 该系统在高效地反映比赛进程的同时, 也给用户提供了良好的球赛欣赏体验.

• 数据整理脚本语义的可视化

  罗中粟, 熊凯, 傅四维, 王永恒, 鲍虎军, 巫英才

  理解数据整理脚本的语义是数据工作者的常见需求. 然而, 数据整理操作的类型及其代码的实现方式复杂多样, 使得数据工作者在理解脚本语义时费时费力. 通过收集数据工作者在理解数据整理脚本语义上的具体需求, 设计并实现了一个基于概览和细节模式的交互式可视分析系统ChangeVis, 帮助数据工作者理解表格在数据整理过程中的变化. ChangeVis包含概览视图, 语义视图, 统计视图和数据视图4个视图, 分别可视化代码块中的表结构变化、行列信息变化、单元格数据变化以及执行的数据转换操作的语义. 通过案例分析和用户实验, 验证了ChangeVis系统在帮助数据工作者理解数据整理脚本语义的可用性和有效性.

• ModelLogVis: 面向模型服务的日志异常可视分析方法

  卢裕弘, 朱琳, 封颖超杰, 王斯加, 林正轩, 潘嘉铖, 陈为

  利用深度学习模型训练和运行维护过程产生的海量日志信息, 进行模型的优化与故障排查, 是当前人工智能运维的研究热点. 针对现有工作缺少模型工作流分析的问题, 提出面向模型服务的日志异常可视分析方法ModelLogVis. 该方法采用日志异常检测方法定位模型工作流中的潜在故障, 帮助用户聚焦主要的故障类型; 支持用户从数据流、状态、实例性能和原始日志等多个角度对工作流中的事件进行交互式可视化与分析, 快速、准确地排查问题. 通过真实的模型服务数据的案例研究和专家访谈, 证明ModelLogVis方法可高效地辅助用户快速挖掘日志中的异常信息.

• 散点图信息混淆的可视分析模型

  张景文, 蒲剑苏, 程卓越, 黄锦岳, 丛迅超

  信息混淆是指在有限的显示空间中, 由于信息量密度不当, 导致对信息的理解产生障碍. 散点图作为最常见的数据展示手段, 深受信息混淆困扰, 需要进行信息混淆消除. 从可视分析角度入手, 提出一个对散点图信息混淆量化评估的混淆熵模型, 并基于个体显著值模型和四分树结构提出了一个从内容和空间2个维度对散点图信息混淆进行消除的算法, 对高低显著值数据分别处理和指定显示大小与布局位置, 从展示和布局层面对散点图信息混淆进行消除.

• 基于边缘感知的点云配准算法

  高俊杰, 王瑞安, 王子雄, 董秋杰, 高浩浩, 辛士庆

  在使用深度学习方法进行点云配准时, 直接利用特征相似性作为采样依据, 往往会导致采样过于集中且大量分布在平面等非显著区域内, 不利于变换矩阵的推导. 针对此问题, 提出一种边缘感知的点云配准算法. 首先通过分析点云中每点与其邻域点的空间分布对边缘区域进行检测; 然后针对现有的特征描述子和联合学习框架, 将对应关系和关键点的采样区域限定在边缘区域, 提高特征的匹配能力; 最后将特征相似性和显著性作为采样概率, 得到一组分布良好的对应关系或关键点并用于配准. 在真实数据集和合成数据集上的大量实验结果表明, 所提算法可以使现有的特征描述符达到与现有联合学习框架相当的性能, 对于现有联合学习框架, 在低重叠点云场景(3DLoMatch)中, 边缘区域采样关键点可以平均提高约5%的配准召回率.