《表1 三种类型激活函数的实验结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于卷积神经网络的智能巡检机器人场景识别》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

从图3可以看出，Sigmoid函数与TanH函数的输入值越趋向于0，那么其就会呈现出较好的激活性，产生较大的梯度，但梯度会随着输入值的不断增大或不断减小而向0靠拢。经残差公式（3）计算后，发现其结果几乎为0，这样的结果容易导致梯度扩散问题的产生，进而使网络训练以失败告终；而ReLu函数的输入值>0时，其梯度为1，能够较好地解决梯度扩散的问题，同时与其他两种激活函数相比，其运算速度存在一定的优势。从理论角度已经表明了上文选取Relu函数所作为激活函数的可行性，为了进一步证明此观点，接下来进行了实验分析，得到的结果如表1所示。