《表1 MReLU与常见激活函数的比较》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《多斜率自适应卷积神经网络激活函数》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

依据激活函数中是否包含可学习参数，可将激活函数分为两大类型:自适应激活函数和非自适应激活函数．本文所提的MReLU属于自适应激活函数．表1对比了非自适应激活函数ReLU，Leaky ReLU/RReLU，ELU，SELU，Swish和BReLU，以及自适应激活函数PReLU、GReLU和本文所提MReLU的差异和特性．其中ReLU只有正值域中的梯度，因此容易导致网络中存在失效神经单元．Leaky ReLU和RReLU通过引入一个非学习数值，在ReLU的基础上增加了一个负值域上的线性梯度响应．ELU/SELU则通过引入一个非线性函数来提供负值域中的梯度响应．Swish改进了Sigmoid函数，缓解了右侧区间上的梯度饱和．非自适应激活函数通常灵活性较低，无法充分利用数据中的信息，也无法为处于不同激活程度的像素点提供特定的梯度响应．