《表3 调节自注意力机制头数目的效果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《序列-序列模型注意力机制模块基本原理探究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

可以看到，虽然机器翻译的性能几乎会随着头数量的增加而变好，但是词对齐错误率几乎不变。对所有头取平均也不会让词对齐错误率有所降低。因此，对于基于自编码网络的神经机器翻译模型来说，仅仅调节头的数目是不够的，并不能够让模型学习到很好的词对齐。