《表1 不同深度神经网络压缩与加速方法总结》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《高效深度神经网络综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

参数剪枝主要通过移除神经网络中不重要的参数，减少网络的参数量。低秩分解则通过对卷积核或全连接层进行矩阵分解来降低参数量。需要注意的是，参数剪枝和低秩分解都需要对已有网络的结构进行一定的改动。知识蒸馏不需要对网络进行任何改动，而是通过性能更高的大网络来指导小网络的训练，提升小网络的性能。知识蒸馏并不会对模型进行加速或者压缩，更像是一种改进的训练方式来提升模型性能。模型量化则通过使用更少的位数来表示模型参数和中间输出值，比如使用8 bit来表示浮点数（通常是32 bit或64 bit）。量化并不能减少参数量，但是可以显著减少模型的大小。另外，当与特定的硬件结合（比如高通DSP芯片提供了8 bit运算）时，低比特的模型能获得显著的加速。网络架构搜索NAS则通过自动调优来寻找更好的网络架构，其本质是通过自动化搜索来替代了人工调优过程。对5种方法进行了简要介绍见表1。此外，也可以通过设计精简的结构化卷积核或计算单元，以减少计算和存储开销，这部分代表性的工作有MobileNet[6-7]和ShuffleNet[8]。