《表3 引入动量系数的SGD优化算法》
动量[17]:传统的随机梯度下降方法(stochastic gradient descend,SGD)在每次迭代过程中的梯度会含有较大的噪声,特别是在处理高曲率,小梯度的情况下,不能很好地反映真实的梯度。本文在对分割模块的训练中,引入变量(v)来作为指数衰减平均值,并使用了动量来对随机梯度下降方法进行调整,计算梯度指数衰减移动平均和,并将之加入到新的梯度中。算法过程见表3。
图表编号 | XD0040527900 严禁用于非法目的 |
---|---|
绘制时间 | 2019.04.16 |
作者 | 肖宁、强彦、赵涓涓、张小龙 |
绘制单位 | 太原理工大学信息与计算机学院、太原理工大学信息与计算机学院、太原理工大学信息与计算机学院、宾夕法尼亚州立大学信息科学与技术学院 |
更多格式 | 高清、无水印(增值服务) |