计算机辅助设计与图形学学报

作者：韩琪, 张淑军, 谭立玮, 李劲松

关键词：影像报告生成, 特征融合, 交叉训练, 条件池化

在对医学影像自动生成文本报告的过程中, 针对病灶尺寸小、形状不规则、训练数据量少等因素易导致影像报告出现误诊、漏诊的问题, 提出变尺度特征融合与交叉训练的医学报告生成方法. 首先将条件全局池化后的粗粒度特征与随机丢弃后的细粒度特征相融合, 增强模型对不同尺度病灶的感知能力; 然后通过整体数据和局部细节双路交叉训练的策略间接丰富数据集, 增强模型的鲁棒性, 并在双路中分别使用通道分离思想进一步挖掘影像的通道信息; 最后通过多头注意力编解码网络, 得到准确的医学报告. 在IU-X-Ray和MIMIC-CXR数据集上与其他多种方法进行实验的结果表明, METEOR与BLEU-2分数分别提升5.70%和3.13%, 所提方法可以有效地提升生成报告的可读性与准确性.

来源：2024年第5期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2024年第5期