计算机辅助设计与图形学学报

作者：邢燕, 马俊, 檀结庆

关键词：图卷积, 网格重建, 特征检测, 深度学习

针对图像重建三维物体方法中存在无法保持物体尖锐特征的问题, 基于深度神经网络, 对输入单幅图像提出一种有效的保特征三维网格生成方法. 对单幅输入图像使用 VGG-16 提取图像特征, 并特别设计了图像边缘检测层获取物体的尖锐特征; 将三维网格(初始为椭球)的顶点投影到特征图和边缘检测图上, 以获得顶点局部特征, 并判断其是否为尖锐特征点; 然后, 将局部特征和顶点位置串联输入到改进的图卷积神经网络(graph convolutional neuralnetwork, GCNN), 对于非尖锐特征点采用普通 GCNN, 对于检测到的尖锐特征点采用 0 邻域图卷积神经网络(0-neighborhood GCNN, 0N-GCNN), 以期其尽量不被邻域顶点过度光滑; GCNN 的输出预测了顶点的新位置和三维特征; 最后, 对网格的顶点及特征用 Loop 细分上采样. 执行 3 次上述变形(二维特征投影、尖锐特征检测、GCNN 变形、上采样)后, 初始椭球最终变形为输入图像中物体模样. 实验使用 ShapeNet 数据集, 在 PyTorch 框架下实现, 从定性和定量两方面与现有方法进行了比较. 实验结果表明, 在 Chamfer 距离和 F-score 两类定量指标上均优于大部分现有方法, 而 Chamfer 距离和 F-score(2τ)的均值表现为最优. 视觉比较也表明, 文中方法可有效地提升特征保持性能.

来源：2023年第3期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2023年第3期