《表2 在NWPU-RESISC45数据集上,剪枝93.92%的参数,知识蒸馏效果》
注:“↑”“↓”表示相对于原始网络,剪枝并再训练后网络分类精度的上升或下降比例。
通过调整Softmax函数中参数α、T的值,可获得不同的知识蒸馏效果。网络再训练后的分类精度见表2。由表2可见,采用知识蒸馏法训练的网络比普通训练方式得到的网络性能更好,这说明原始网络的分类结果对小网络的训练起到了正向的指导作用,提升了小网络的表现。当α=0.8、T=5时,对剪枝后的VGG-16网络重新训练,其精度可达到89.63%;相比于剪枝前,性能只下降了0.06%。
图表编号 | XD00208258000 严禁用于非法目的 |
---|---|
绘制时间 | 2021.02.25 |
作者 | 卢丹、孙永岩、郑幸飞、齐保贵、师皓 |
绘制单位 | 上海卫星工程研究所、上海卫星工程研究所、北京理工大学信息与电子学院雷达技术研究所、嵌入式实时信息处理技术北京市重点实验室、北京理工大学信息与电子学院雷达技术研究所、嵌入式实时信息处理技术北京市重点实验室、北京理工大学信息与电子学院雷达技术研究所、嵌入式实时信息处理技术北京市重点实验室 |
更多格式 | 高清、无水印(增值服务) |