《表5 编码自注意力计算粒度压缩实验比较》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《从粗粒度到细粒度的神经机器翻译系统推断加速方法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

解码端的注意力计算粒度不压缩，对编码端的自注意力计算根据信息量的大小分别将每一层的计算粒度压缩比例控制在0.5～1.0与0～1.0之间，对比基线和平均压缩的情况．由于在实际推断时会暂存编码器的输出，所以对于编码端来说，压缩之后推断速度只提升0.10%，但是性能损失了0.47个BLEU值（表5）．可见，将CTF方法应用于编码器的自注意力权重计算，获得的加速效果与损失的性能是不成正比的，因此在进行整体压缩的时候对于编码端可以压缩得更少甚至不用压缩．不过CTF方法在速度提升与性能损失上依旧略优于平均压缩的方法．