《表3 NIN使用Re LU、PRe LU和Po LU在C10中的对比》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《一种改进的基于幂线性单元的激活函数》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

/%

首先，在C10上训练一个带有Re LU激活函数的NIN作为baseline，训练好的网络top-1错误率是10.10%。接着，NIN中所有的Re LU激活函数被替换成Po LU激活函数，从头开始训练这个网络，使用的设置与将Re LU作为激活函数的NIN一致。NIN中的Po LU层是通道独享型，其中参数a的初始化设为0.5。图2和3分别为这两个网络的训练误差和测试误差。为了更清楚地显示测试误差的收敛趋势，图4展示了第60个epoch之后的测试误差曲线。从图中可以看出，Po LU激活函数要比Re LU激活函数好1.31%。表3是对通道独享型Po LU和通道共享型Po LU进行比较。可以看出通道独享型Po LU要优于通道共享型Po LU，并且Po LU要优于PRe LU。本文剩余实验全部使用通道独享型Po LU和通道独享型PRe LU。