《表2 网络剪枝对不同网络的压缩效果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《卷积神经网络结构优化综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

近年来针对更高层级的网络结构剪枝方法层出不穷，有力推动了模型压缩与加速的发展，对于卷积神经网络的结构优化也有重要的促进作用.He等[32]基于LASSO正则化剔除冗余卷积核与其对应的特征图，然后重构剩余网络，对于多分支网络也有很好的效果.Li等[33]发现基于重要度（Magnitudebased）的剪枝方法尽管在全连接层可以取得较好效果，但是对于卷积层就无能无力了.他们直接去除对于输出精度影响较小的卷积核以及对应的特征图，以一种非稀疏化连接的方式降低了百分之三十的计算复杂度.Anwar等[26]按照粒度大小将剪枝方法划分为层级剪枝、特征图剪枝、卷积核剪枝、卷积核内部剪枝4个层级，结合特征图剪枝与卷积核剪枝提出的一次性（One-shot）优化方法可获得60%～70%的稀疏度.同样是针对卷积核剪枝，Luo等[34]提出的ThiNet在训练和预测阶段同时压缩并加速卷积神经网络，从下一卷积层而非当前卷积层的概率信息获取卷积核的重要程度，并决定是否剪枝当前卷积核，对于紧凑型网络也有不错的压缩效果.表2比较了不同网络剪枝方法对于卷积神经网络的压缩效果，可以发现这些方法能够大幅减少训练参数而不会显著影响网络精度，表明网络剪枝与稀疏化是一种强有力的网络结构优化方法.