计算机辅助设计与图形学学报

作者：徐岸, 吴永明, 郑洋

关键词：增量学习, 正则化, 知识蒸馏, 自监督, 伪标签预测

针对神经网络模型在增量学习中存在灾难性遗忘问题, 提出一种基于自监督与隐层蒸馏约束的正则化类增量学习方法, 包括自监督伪标签预测、隐层蒸馏约束和参数正则化. 首先基于贝叶斯和信息论提出一种对模型参数重要性评价的正则化策略; 然后利用自监督伪标签预测增强模型的表征能力, 并保留隐层特征, 通过加入高斯噪声提高隐层特征的泛化能力; 最后使用蒸馏约束方法与交叉熵分类损失对历史任务的隐层特征与输出层特征进行训练. 在CIFAR-10和CIFAR-100数据集上的实验结果表明, 所提方法取得较好的效果, 其中, 在CIFAR-100数据集上的平均准确率和遗忘率分别达到64.16%和15.95%; 该方法能够有效地减少灾难性遗忘的影响.

来源：2024年第5期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2024年第5期