《表2 在NWPU-RESISC45数据集上,剪枝93.92%的参数,知识蒸馏效果》

《表2 在NWPU-RESISC45数据集上,剪枝93.92%的参数,知识蒸馏效果》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《面向星上目标提取的卷积神经网络优化技术》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录
注:“↑”“↓”表示相对于原始网络,剪枝并再训练后网络分类精度的上升或下降比例。

通过调整Softmax函数中参数α、T的值,可获得不同的知识蒸馏效果。网络再训练后的分类精度见表2。由表2可见,采用知识蒸馏法训练的网络比普通训练方式得到的网络性能更好,这说明原始网络的分类结果对小网络的训练起到了正向的指导作用,提升了小网络的表现。当α=0.8、T=5时,对剪枝后的VGG-16网络重新训练,其精度可达到89.63%;相比于剪枝前,性能只下降了0.06%。