《表1 基于框架的深度网络模型概述》
基于深度学习的完美重构网络的研究近来也在逐渐兴起。为了减少深度神经网络训练时所需的内存开销,Gomez等人(2017)受到传统信号处理中提升算法的启发,提出了可逆残差网络。由于该网络中每一层的特征图可以由反向传播过程的上一层计算得到,解决了反向传播算法需要记录每一层特征图的问题,从而减少了内存开销。而这种方法引起了Jacobsen等人(2018)的注意而引入到了神经网络的解释体系中。具体地,由信息瓶颈理论出发的神经网络解释方法说明深度网络在训练的过程中逐渐丢弃了与标签信息无关的信息,而可逆网络在分类任务上的优异表现则与之相异。因此,基于信息瓶颈理论的深度神经网络解释方法仍然需要进一步补充完善。
图表编号 | XD00141895500 严禁用于非法目的 |
---|---|
绘制时间 | 2020.01.16 |
作者 | 熊红凯、戴文睿、林宙辰、吴飞、于俊清、申扬眉、徐明星 |
绘制单位 | 上海交通大学电子信息与电气工程学院、上海交通大学电子信息与电气工程学院、北京大学信息科学技术学院、浙江大学计算机科学与技术学院、华中科技大学计算机科学与技术学院、上海交通大学电子信息与电气工程学院、上海交通大学电子信息与电气工程学院 |
更多格式 | 高清、无水印(增值服务) |