《表1 BP算法和BPTT算法比较》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《回复式神经网络及其应用研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

对于RNN，因为要处理时序数据，所以它采用基于时间的反向传播（Back-Propagation Through Time，BPTT）算法．BPTT算法的基本原理和BP算法相同[8].RNN每一时刻t都会产生一个损失值losst，因此网络的总损失可以表示为L=∑tlosst．在RNN训练过程中，梯度一方面会按照空间结构传播（输出层，隐藏层，输入层），即yt→ht→xt，这种情况与BP算法一致；另一方面，梯度要沿着时间通道传播，即ht→ht-1→…→h1，此时，基于公式（1）循环迭代地计算各层梯度，这也是BPTT算法名称的由来．表1总结了BP算法和BPTT算法的特点和训练过程．