《表1 注意力机制按照关注范围分类》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《自然语言处理中的注意力机制研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

在Bahdanau等[3]的工作中，注意力在计算时考虑源文本的全部信息，即对源文本序列中的每个元素都计算其针对查询的得分和权重，也被称为全局注意力（Global Attention)[7]。全局注意力计算开销较大，且随着源文本长度的增加其效果会变弱，因此部分学者对注意力机制的关注范围进行改进研究。表1按照不同的关注范围对其进行归纳。