《表1 现有激活函数的对比》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《一种改进的基于幂线性单元的激活函数》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

近年来，深度卷积神经网络（convolutional neural network，CNN）备受关注并且在许多计算机视觉任务中获得了引人注目的性能[1～3]。激活函数是CNN中的基础单元，最近的研究表明，将修正线性单元（rectied linear unit，Re LU）作为激活函数是深度CNN成功的关键[1，4～6]。Re LU首次提出是用于限制玻尔兹曼机[7]，然后成功地用于神经网络[8]。Re LU的定义是f（x）=max{0，x}。相比于传统的sigmoid函数，Re LU有两大优势[9]:a)Re LU可以缓解梯度消失问题[10]，同时可以加速收敛，避免网络收敛到一个局部最优解中；b)Re LU更趋向于得到稀疏的编码，这种编码通常会带来更好的分类器性能[1]。尽管Re LU可以为深度CNN带来许多良好的性质，但是Re LU依然存在一些缺点。例如，Re LU会忽略负激活，这些负激活通常会包含许多对表达目标有用的信息，尤其对于深度CNN网络的浅层而言[11]。为了克服这个限制，许多改进Re LU的方法被提出来。表1对已有的方法作了总结。