《表2 模型训练时批归一化计算量[2]、访存及计算密度》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《卷积神经网络训练访存优化》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

模型训练时，批归一化层的输入与输出数据量相同，假设前向计算过程中批归一化层的输入数据个数为E×F×N且已经保存于主存中（前向的卷积结果），其计算使用单精度（4B)[9]。依据上述分析，统计训练时批归一化层的计算量、访存量及计算密度，如表2所示。