《表1 网络压缩方法总结：卷积神经网络的压缩研究》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《卷积神经网络的压缩研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

本文详细介绍了四种常用的卷积神经网络压缩技术:低秩近似，剪枝与稀疏压缩，参数量化，二值网络。如表1所示，低秩近似在全连接层应用最多，使用SVD可以压缩5～13倍；剪枝与稀疏压缩有效利用了卷积神经网络的过参数化特性，去掉冗余的神经元，能够减少大量权重，同时还可以增强网络的抗过拟合能力；参数量化方法是目前在FPGA和专用的硬件加速器中使用最普遍的方法，在不改变原始网络结构的基础上能够很好地压缩网络，节省大量存储空间；二值网络是压缩比最高的方法，但网络训练困难，精度损失大，二值网络是目前压缩研究的热点问题。卷积神经网络的压缩研究未来会集中在通用化、网络改动小、压缩比高、精度损失小等综合性能突出的压缩方法上，或者融合多种压缩方法应用到一个网络上，以最大化性能提升。