《表4 Cifar10实验组结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《关于改进的激活函数TReLU的研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

实验结果的准确率曲线和损失函数下降曲线见图11和图12.表4显示的是实验最终结果在测试集上的准确率.本组实验采用了较复杂的三通道图片进行实验，同时采用了不同的优化方法.通过图像曲线可以看出五种激活函数在测试集上都获得准确率的提升和损失函数的下降.Sigmoid函数在准确率和损失函数上都获得了最差的效果；Tanh函数比Sigmoid函数收敛速度快，同时效果比Sigmoid函数要好，说明关于原点对称的激活函数收敛速度更快；Re LU函数在600步以后收敛速度比Sigmoid函数快，最终效果也比Tanh好，说明随着训练的进行，Tanh函数由于其本身的饱和性质，特征损失较多，而Re LU激活函数由于正半轴非饱和性质，特征获得了保留获得了较好的效果；PRelu激活开始开始200步后收敛速度就超过了Re LU说明保留负轴的特征激活值对结果的提升有一定的帮助；TReLU激活函数在1000步后收敛效果好于PRe LU，说明去除噪声的干扰提取的特征对最终结果的提升也有一定的帮助.由表可知，本文提出的激活函数TReLU在Cifar10测试集获得了最好的效果，实验结果仍然优于其他几种函数，同时对不同的优化方法有鲁棒性.