《表2 部分方面情感分析模型的表现》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《自然语言处理中的注意力机制研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

（注：Restaurant和Laptop数据集来自SemEval 2014 Task 4[40]；Twitter数据集来自ACL 2014[41]；情感极性指积极、中性、消极三类。）

文本分类任务的核心问题之一是特征选择[30]。和先前的方法相比，注意力机制可以动态地为文本特征分配权重，使分类器可以有重点地利用特征信息。多项工作证实了注意力机制在分类任务中的有效性[12，14]。在文本分类任务中，方面情感分析（Aspect-Level Sentiment Analysis）任务对注意力机制的运用最具代表性。“方面”经常由多个词项构成。例如，分析句子“机子运行很快，就是物流太慢”在“手机速度”方面的情感极性时，“手机”和“物流”都具备“速度”属性。若想让模型的注意力聚焦到“手机”上，除了考虑句子中的每个元素对“方面”的重要性之外，“方面”中的每个元素对句子的重要性同样也有意义，因此双向注意力可能会在此类任务中发挥作用。表2整理了部分方面情感分析模型在相同数据集上的表现，可以看出，配备双向注意力的模型整体表现突出。值得注意的是，在方面情感分析中采用细粒度注意力的模型总体上表现更优，因为细粒度比粗粒度更能捕捉细微的情感差异[31]。尽管细粒度注意力会带来更大的计算开销，但由于“方面”中包含的词项一般不会太多，总的来说还是值得的。还可以看出，多个模型采用了语境化（contextualized）注意力，是此类任务所特有的注意力类型，其基本思想是“方面”左右两侧的上下文对情感极性的影响不同，因此可能需要分别“注意”。此外，对于长文本分类而言，层级注意力往往会取得更好的效果。