《表3 不同步长训练效果对比》
步长表示每次训练移动的长度。步长移动距离越短,搜索过程中越不会错过最优解,但代价是花费大量时间,收敛缓慢,容易陷入局部最优。步长过长,每次偏移过大,会造成永远都找不到真正的最小值。对于深度越高的神经网络,“平滑区”会越来越多,局部最小点也会越来越多。没有合适的算法,很容易陷入某个局部最小值里去。不同步长训练效果对比如表3所示。由表3可以看出,步长持续增大,训练结果反而越差,这也意味着步长存在最适区间,超过或者低于这个区间,对训练结果都会有极大影响。
图表编号 | XD00116822100 严禁用于非法目的 |
---|---|
绘制时间 | 2019.12.01 |
作者 | 崔承刚、邹宇航 |
绘制单位 | 上海电力学院自动化工程学院、上海电力学院自动化工程学院 |
更多格式 | 高清、无水印(增值服务) |