《表2 参数a对Po LU的影响对比实验结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《一种改进的基于幂线性单元的激活函数》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

/%

Po LU激活函数中有一个关键参数a，Po LU通过这个参数来控制负激活部分的非线性表现。本节实验将验证参数a对Po LU性能的影响，实验所用的Po LU类型是通道共享型。这样Po LU的每一层都共享同一个参数，便于排除其他因素的干扰。实验所用的数据库是C10，其baseline的测试误差是10.41%[5]。在对比实验中，本文给NIN中每个Po LU层的参数a都手工设置为相同的数值，总共进行五组对比实验，实验评价指标是网络top-1测试误差（%）。表2是对比实验结果。其表明当手工设置参数a来控制网络Po LU层的非线性表现时，参数值过大或者过小都会出现性能的损失，并且在对比实验中，参数a被设置成所有Po LU层数值相同，这意味着所有Po LU层的非线性表现相同。这种设置是不合理的，因CNN的每一个卷积层都有不同的非线性，其对应的Po LU层参数也都各不相同。如果手工地去设置每一个Po LU层的参数a，这将是很大的工作量，并且需要积累很多经验。本文将参数a引入为一个可学习的参数，在训练CNN的过程自适应地更新，CNN的每一个卷积层对应的Po LU层可以学习到本层最适应的参数值。