《表5 VGG-Net剪枝结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于梯度的深度网络剪枝算法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

单位：%

VGG-Net的标准模型是对ImageNet数据集进行分类，输入图片大小是128×128，而CIFAR-10的图片是32×32，为了避免参数过多带来过拟合，把VGG-Net结构设置如表2所示。训练50 000次，测试集正确率84%，Value值设置为-1000，表5记录了GDP算法剪枝VGG-Net模型的conv4-2、conv4-3、conv5-2、conv5-3、FC14、FC15层后的结果，无论是卷积层还是全连接层，GDP算法都能剔除98%以上的参数，并仍旧能保持网络性能明显提升，在重训练20 000次后，正确率最高为90.6%，计算量减少55.3个百分点。图10表示剪枝后重训练20 000次，实线是剪枝后的测试集正确率，虚线是剪枝前的测试集正确率。在剪枝前测试集已经基本稳定在83%左右的正确率，很难再提升，但是经过剪枝后正确率有了明显提升。因为保留下来的权值都是重要的权值，即梯度大对loss影响大的权值，所以每训练一次更新权值，网络的性能随之变化幅度稍微大一些，但是也基本都高于剪枝前的网络性能，原因是剪掉了冗余的接近于0的梯度的权值能有效防止过拟合。那些梯度接近0的权值就像是一个多项式函数f（x）=C1x1+C2x2+…+C3xn中非常靠后的指数比较大的项，这些项越多函数对于训练数据拟合得越好，但导致其泛化性大大降低，在测试集正确率不高。而本文GDP算法能够剔除这些冗余的梯度，在压缩参数的同时提升网络性能。