《表3 轻量化网络发展时间轴》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《面向实时应用的深度学习研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

然而，上述在已训练模型上进行因式分解和稀疏卷积技术没有从根本上实现网络的高效轻量化.研究者们从网络结构设计出发，设计出了适用于移动设备的轻量级神经网络.表3中，最早于2016年2月，加州大学伯克利分校和斯坦福大学提出轻量化网络SqueezeNet[65]模型.该模型具有新的网络结构，通过降低大型卷积核的输入通道数量，新的网络结构实现了不同大小卷积核的通道连接来特征提取.同年10月，Google提出了Xception模型.2017年4月，Google提出的MobileNet[76]模型具有一种新颖的卷积结构，其特点是在保证特征的非线性表示情况下，深度分离卷积式的卷积结构，充分解耦了传统卷积模型，将卷积分为深度卷积和逐点卷积.这种卷积改进方式可以极大降低计算量和参数量，并且适配于移动设备.2018年，Google和Face++分别相继发布MobileNetV2和ShuffleNetV2，两个轻量化网络均是在之前模型的改进模型.轻量化网络极大地降低了深度学习模型的参数量和计算量，同时，在很大程度上保证了特征的高度抽象提取，在一定程度上保证了模型的精确度.