计算机辅助设计与图形学学报

作者：金怀平, 陶玉泉, 李振辉, 陶海波, 王彬, 薛飞跃

关键词：胃癌, 组织病理图像, 多实例学习, 多模态融合, 生存预测

生存预测对于胃癌患者的治疗具有重要意义.针对传统基于组织病理图像的生存预测算法存在像素级标签缺失、信息量大以及模态单一等问题, 提出一种基于多模态多实例学习的胃癌患者生存预测算法.首先使用多层感知器和自监督学习方法SimCLR分别提取临床数据和组织病理图像特征, 然后采用基于全局感知的多实例学习方法提取高分辨率下的包级嵌入, 使用平均池化方法得到低分辨率下的组织病理图像实例级嵌入, 最后通过多模态融合方法将包级嵌入、实例级嵌入和临床数据特征进行融合, 以实现不同模态数据之间的信息交互和不同放大倍数下图像信息的充分利用.在云南省肿瘤医院胃癌患者病理数据库上的实验结果表明, 与传统的多实例学习方法相比, 所提算法在5× 和20× 组织病理图像下胃癌患者生存预测的准确率分别提高了5.6~10.0个百分点, 4.1~7.5个百分点, 与常规的多模态融合方法相比, 提高了3.5~4.9个百分点.

来源：2025年第2期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第2期