《表3 误差情况:一种神经网络的可配置激活函数模块设计》
根据不同函数特点进行了不同区间的划分,其中ReLU、PReLU、Leaky ReLU三种激活函数误差为0,其余三种函数Sigmoid、Tanh、ELU,根据变化率大小分为宽度不同的小段分段拟合,在(-8,8)内平均采样16 000个点,对每个点的理论值和实际值进行比较,得到了每个点的误差,如图3所示。比较计算后得到每种方式的最大误差和平均误差。误差情况如表3所列,可以看出四阶非均匀分段是误差最小的方式,最大误差仅为6.23×10-6,则可以认定所有的计算结果误差绝对值小于0.000 01。另外,二阶非均匀分段的方式可以把误差控制到0.001以下。由参考文献[15]可知,使用16位定点数进行神经网络计算可以达到与目标不超过百分之一的误差,并且这种误差是可以接受的,所以本文方法的误差是在可以接受的范围内。CAM仅使用了很少的逻辑资源,二阶拟合方式比四阶拟合使用的资源少一些,如表4所列,但是精确度和四阶比起来差距较大,所以本文使用了四阶非均匀分段的方式做拟合,可以达到50 MHz的计算速度,并且功耗仅为1.816 W,能够满足实际工程应用中对性能功耗的严格要求。仿真结果如图4所示。
图表编号 | XD00130473900 严禁用于非法目的 |
---|---|
绘制时间 | 2020.04.01 |
作者 | 苏潮阳、应三丛 |
绘制单位 | 四川大学计算机学院视觉合成图形图像技术国防重点学科实验室、四川大学计算机学院视觉合成图形图像技术国防重点学科实验室 |
更多格式 | 高清、无水印(增值服务) |