《表6 层级注意力在部分生成式摘要任务上的表现》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《自然语言处理中的注意力机制研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

在部分针对长文本的生成式任务研究中，采用层级注意力，试图利用文本的结构信息改善模型的表现，但没有取得理想的效果[15，56]。表6整理了两项生成式摘要工作的数据，其中Nallapati等[15]基于CNN/Daily Mail语料集就两种注意力进行对比实验，从实验结果可以看出：层级注意力和全局注意力相比并没有提高生成摘要的质量，甚至在ROUGE-L指标上还略有降低。而Cohan等[57]在面向超长文本语料集arXiv上的生成式摘要实验中体现出了层级注意力的优势。在机器翻译的相关研究中，也仅有一篇文档级翻译工作[58]采用层级注意力，提高了译文的连贯性和衔接性。可以看出，在生成式任务中，仅在处理超长文本时层级注意力才能发挥效用。一个可能的原因是神经网络的记忆能力有限，对于超长文本无能为力，而层级注意力恰好可以弥补这一不足；但在神经网络的处理能力之内，层级注意力效果不显著，只会增加无谓的计算开销。