计算机辅助设计与图形学学报

作者：王前前, 章子豪, 姜洪旭, 冯伟, 高全学, 焦李成

关键词：多模态聚类, 信息熵, 自监督学习, 自表达学习

为了保持多个模态间聚类空间的一致性, 消除各个模态内的无关信息, 提出一种基于自监督信息熵学习的深度多模态聚类算法. 首先采用多模态卷积自编码器结合重建任务以获取低维的潜层特征; 然后使用深度嵌入技术为多个模态学习一个理想的公共聚类空间, 将其作为标签以自监督的方式来约束各模态的聚类子空间不断接近理想,保证每个模态的潜层特征具有相似的分布; 最后结合信息熵的理论, 约束标签与各模态潜层特征间的互信息, 保证模态间的相关性, 同时降低模态内数据的冗余性. 此外, 在 Fashion-MNIST, COIL-20, FRGC, YTF, RGB-D 以及Noisy-MNIST 基准数据集上展开实验. 实验结果表明, 所提算法在 ACC 和 NMI 聚类指标上均优于其他对比算法, 尤其在 Fashion-MNIST 数据集上, ACC 相较于 StSNE 算法提高了 2.2 个百分点; 消融实验和参数分析证明了所提算法的合理性和鲁棒性.

来源：2025年第8期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2025年第8期