计算机辅助设计与图形学学报

作者：马金林, 郭兆伟, 马自萍, 吕鑫

关键词：唇语识别, 多尺度时间卷积网络, 时空增强, 门控时移融合模块

针对唇语识别模型中的普通卷积对唇部形变缺乏鲁棒性和不能有效地提取时间信息的问题,提出时空增强与多尺度时间卷积网络(MSTCN)结合的唇语识别方法.首先设计沙漏型卷积块(FCB),增强网络对唇部形变的鲁棒性;然后使用门控时移融合(GSF)模块提高前端网络的时间信息提取能力;再基于FCB和GSF设计混合3D和2D卷积的时空增强网络STABNet;最后将STABNet作为前端网络,MSTCN作为后端网络,设计唇语识别模型.在LRW数据集上的实验结果表明,与基线模型相比,所提方法的准确率提升4.15个百分点,达到89.45%,而模型的参数量仅增加3.17M.在GRID数据集上准确率达到97.45%,超过大部分对比模型.

来源：2025年第7期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第7期