计算机辅助设计与图形学学报

作者：欧文辉, 王峥, 吴卓宇, 王伟伦, 甘志银

关键词：非线性激活函数, 神经网络, 数学拟合, FPGA

针对片上部署非线性激活函数产生的精度损失以及硬件资源开销大的问题,提出一种基于三分法指数方法的多模态高精度非线性激活函数协处理器设计.首先分析激活函数在不同拟合参数下的近似误差以及运算量,为设计提供指导;然后设计一种模块化的硬件框架,通过复用指数、对数、sigmoid模块并结合浮点计算单元,能够以较低的面积开销部署多种激活函数.在Xilinx的Vertix系列FPGA上完成原型测试,实验结果表明,在仅增加32个查找表的情况下,所提设计tanh和sigmoid的近似误差仅为2项拆分指数方法的65.02%和69.00%,同时拟合范围扩大60%;与高精度分段线性逼近方法相比,该设计在仅用4%的查找表数量的情况下,将近似误差缩小82%.

来源：2024年第4期

《计算机辅助设计与图形学学报》期刊编辑部

查看计算机辅助设计与图形学学报杂志2024年第4期