计算机辅助设计与图形学学报

作者：李佳骏, 许浩博, 王郁杰, 肖航, 王颖, 韩银和, 李晓维

关键词：二值化神经网络, 深度学习, 模型训练, 神经网络加速器

针对二值化神经网络加速器计算溢出和乘法器依赖的问题, 提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法, 保证模型部署后不丢失准确率; 然后优化卷积层和激活函数, 缓解溢出总量;再设计移位批标准化层, 使二值化神经网络摆脱对乘法运算的依赖, 并有效地降低访存; 最后针对改进的模型提出基于溢出启发的协同训练框架, 确保模型训练能够收敛. 实验结果表明, 与 10 个主流的关键词激活方法相比, 在准确率无明显损失的情况下, 所提方法使片上计算规模减少超过 49.1%, 并为加速器带来至少 21.0%的速度提升.

来源：2023年第6期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2023年第6期