《表1 批量归一化算法:基于改进的AlexNet的乳腺肿瘤智能诊断方法》
深度网络的训练是一个复杂的过程,只要网络的前几层发生微小的改变,那么这种微小的偏移就会被后几层累积放大下去。神经网络学习的本质也就是学习数据分布[13],一旦网络某一层的输入数据的分布发生改变,那么这一层网络就需要去适应学习这个新的数据分布。如果训练过程中,训练数据的分布一直在发生变化,将会影响网络的训练速度。文献[13]中提出的批量归一化算法(Batch Normalize简称BN)能够减小ReLU函数导致的数据偏移,解决训练过程中原始数据分布发生改变的问题,从而加速网络收敛,改善网络性能。BN算法通过计算一个小批量中的均值与方差来实现特征归一化。BN算法的详细过程见表1。
图表编号 | XD00148007900 严禁用于非法目的 |
---|---|
绘制时间 | 2020.08.01 |
作者 | 武明虎、马旭茹、刘敏 |
绘制单位 | 湖北工业大学电子与电气工程学院、湖北工业大学电子与电气工程学院、湖北工业大学电子与电气工程学院 |
更多格式 | 高清、无水印(增值服务) |