《表1 MINST数据集对比实验》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《深度学习神经网络的新型自适应激活函数》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

数值验证基于深度学习框架Tensorflow，并分别在MINST和Cifar10数据集上进行，比较激活函数为Xwish，ReLU，LReLU，Tanh时的运行精度.所有实验都采用相同的卷积神经网络结构，对于每个实验，只更改激活函数而保持其他所有设置不变.首先，采用Cifar-10数据集，图3为不同激活函数下的训练精度随迭代次数的变化曲线.由图3可见，运行5 000次迭代后，Xwish的结果比LReLU（取系统默认值α=0.2）的训练精度提高了13.2%，比ReLU提高了13.7%，比Tanh提高了28.3%，表明Xwish具有很好的收敛精度.下面用MINST数据集进一步验证，对比实验结果列于表1.由表1可见，Xwish训练5 000代的精度达0.982 5，比其他激活函数训练15 000代的精度高，表明了Xwish函数的高效性.