计算机辅助设计与图形学学报

作者：吴习惠, 李婷, 葛洪伟

关键词：非对称结构, 分层特征融合, RGBT目标跟踪, Transformer

为了解决可见光图像和热红外图像由于成像原理不同而导致的模态存在异质性的问题, 提出一种非对称的分层特征融合的RGBT跟踪网络. 首先通过双流网络分别提取可见光和热红外的特征; 然后通过模态特征提取模块挖掘不同模态特征, 并对获得的特征进行自适应聚合, 以获得有利于增强可见光模态的特征; 最后将各层获得的聚合特征与双流网络获得的可见光特征进行增强融合, 获得更具有鲁棒性的特征. 在GTOT, RGBT234和LasHeR数据集上的实验结果表明, 所提网络的跟踪精度(PR)和成功率(SR)分别达到92.2%/77.2%, 82.9%/61.1%和52. 7%/40.3%, 与目前主流的RGBT目标跟踪网络相比, PR和SR均有所提高, 验证了该网络的有效性.

来源：2024年第11期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2024年第11期