计算机辅助设计与图形学学报

作者：王楠, 林绍辉, 齐福霖, 陈玉珑, 李珂, 沈云航, 马利庄

关键词：自监督学习, 多模态融合, 医学图像分割, 特征提取, 多尺度卷积

自监督学习(SSL)可以很好地捕捉关于不同概念的通用知识, 有利于各种下游任务. 针对自监督学习方法没有充分利用医学图像的多模态特征等问题, 提出一种考虑医学图像多模态互补信息的自监督学习方法——SLeM. 该方法首先将单个模态的图像均匀地划分为4个块, 使用这些块随机组合构建多模态图像, 不同的多模态图像被分配不同的标签, 使得多模态特征可以通过分类任务来学习;为了提取不同大小肿瘤的特征, 在学习到的多模态特征后加入上下文融合块;通过简单的微调将学到的特征转移到下游的多模态医学图像分割任务中. 在公开数据集BraTS2019和CHAOS上与JiGen, Taleb以及Supervoxel等具有代表性的多模态方法对比及消融实验结果表明, 所提方法在整个肿瘤区域的分割准确度提升了2.03个百分点, 在肿瘤核心区域的分割准确度提升了3. 92个百分点, 在肿瘤增强区域的分割准确度提升了1.75个百分点, 并在视觉方面有较好的效果, 明显优于其他方法.

来源：2025年第3期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第3期