计算机辅助设计与图形学学报

作者：吴沛宸, 李文斌, 郭放, 刘钊

关键词：对比语言-图像预训练, 视频异常行为检测, 时间相关性, 特征增强, 模态交互

对比语言-图像预训练模型作为一种基于多模态对比训练的神经网络, 通过预训练大量的语言-图像对提取具有判别性的图像特征. 为了关注连续帧之间的时序关系, 消除不同模态特征之间的信息分布差异, 提出一种基于特征增强和模态交互的视频异常行为检测算法. 首先针对对比语言-图像预训练模型在视频连续帧特征提取阶段时间依赖性差的问题, 使用局部和全局时间适配器构建时间相关性增强模块, 分别在局部和全局注意力层关注时序信息;然后针对不同模态特征存在域间信息差异的问题, 设计一种基于窗口分区移位的多模态特征交互模块, 通过滑动窗口控制特征内部交互, 消除信息分布差异;最后通过对齐视觉特征和文本特征, 得到帧级异常置信度. 在UCF-Crime数据集上, 所提算法取得87.20%的检测准确率, 验证了其有效性.

来源：2025年第3期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第3期