《表7 综合评测评分细则：学术文本词汇功能识别——基于标题生成策略和注意力机制的问题方法抽取》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《学术文本词汇功能识别——基于标题生成策略和注意力机制的问题方法抽取》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

鉴于以上评测方法均存在一定缺陷，本文采用了量化评分的方式对生成标题的质量以及问题方法的命中进行综合评价。Unigram和Exact match无法识别问题和方法的同义词及变体，如SVM与支持向量机虽指向同一实体，但Unigram与Exact match两种指标均无法对其匹配。同时，Turing测试中无法指定可依循的评测规则，掺杂了较高主观性。因此，本文从五个层面（表7）对标题的生成质量和问题方法的命中效果进行综合评测。具体流程如下：（1）从测试集中随机选出500条数据，每条数据包含标题和摘要字段；（2）将500条数据中的原标题均替换为对应的机器生成标题，并在未告知的情况下由三名博士研究生进行独立评测；（3）要求在理解摘要语义的基础上完成每个待测标题的量化评分；（4）独立重复多次实验，对结果累计求均值。综合评测的最终结果如图4所示。