《表4 资源使用情况：一种神经网络的可配置激活函数模块设计》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《一种神经网络的可配置激活函数模块设计》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

根据不同函数特点进行了不同区间的划分，其中ReLU、PReLU、Leaky ReLU三种激活函数误差为0，其余三种函数Sigmoid、Tanh、ELU，根据变化率大小分为宽度不同的小段分段拟合，在（-8，8）内平均采样16 000个点，对每个点的理论值和实际值进行比较，得到了每个点的误差，如图3所示。比较计算后得到每种方式的最大误差和平均误差。误差情况如表3所列，可以看出四阶非均匀分段是误差最小的方式，最大误差仅为6.23×10-6，则可以认定所有的计算结果误差绝对值小于0.000 01。另外，二阶非均匀分段的方式可以把误差控制到0.001以下。由参考文献[15]可知，使用16位定点数进行神经网络计算可以达到与目标不超过百分之一的误差，并且这种误差是可以接受的，所以本文方法的误差是在可以接受的范围内。CAM仅使用了很少的逻辑资源，二阶拟合方式比四阶拟合使用的资源少一些，如表4所列，但是精确度和四阶比起来差距较大，所以本文使用了四阶非均匀分段的方式做拟合，可以达到50 MHz的计算速度，并且功耗仅为1.816 W，能够满足实际工程应用中对性能功耗的严格要求。仿真结果如图4所示。