非均衡表驱动线性拟合的S型激活函数硬件加速

发布时间：2024-03-31 02:02

　　深度学习的兴起使得对计算的需求进一步加剧,其中循环神经网络长短时记忆单元中的非线性激活函数是硬件加速的重点。传统的查找表法、泰勒级数展开法、分段线性拟合法的硬件资源开销相对较大。本文在表驱动线性拟合的硬件加速基础上,进行了分析与数学推导,提出了非均衡参数化表驱动线性拟合S型激活函数的硬件加速。通过移动直线中心,降低了单边误差。对函数中误差较大与较小的区间进行差异划分,提高了误差分布较大区间的直线区间数量,进一步减小误差。FPGA高层综合的实验结果表明,非均衡表驱动线性拟合法在不增加硬件资源开销和不降低性能的前提下,能够实现较小误差的优化。参数化进一步提高了硬件的复用性与应用选择的灵活性。

【文章页数】：5 页

【部分图文】：

图1循环神经网络

S型激活函数源于S型函数,是循环神经网络常用的激活函数[10-12]。S型函数主要为Sigmoid函数。S型函数具有指数特性,曲线形状类似生物响应,函数在x轴两端趋于饱和。由图2所示的导数图像可以看出,limx→∞f′(x)=0。图2Sigmoid函数及导数图像

图2Sigmoid函数及导数图像

图1循环神经网络Sigmoid函数为激活函数,在定义域(-∞,+∞)上,函数值域为[0,1]的子集(0,1),并满足单调递增。函数描述为:

图3表驱动线性拟合法的误差

接着,对误差情况进行分析。当平均划分为64段直线区间时,表驱动线性拟合法的误差如图3所示。在x=1.313时,误差最大值为1.879×10-4。整体上,误差的均值与方差分别是4.6445×10-7、4.317×10-14。2非均衡表驱动线性拟合法

图4中心平移的表驱动线性拟合的误差

观察图3与图4可知,误差在[0,8]的整个区间上是不均衡的,[4,8]上的误差远小于[0,4)上的误差。由于直线区间数量对误差存在影响,可以设想,如果增加[0,4)上的直线区间数量,同时减少[4,8]区间上的直线区间数量,在总体直线区间数量不变的前提下,[0,4)与[4,8]上的....

本文编号：3943274