《表1 相关性人工标注评分规则表》
(1)相关性:三位标注者根据提问意图的相关性判断原则(见表1)分别对结果列表RD中的自然语言问句进行人工打分,并由一位领域专家审核。三位标注者的Fleiss Kappa系数[26]为0.524 1,表明标注结果具有较强的一致性。
图表编号 | XD00198137400 严禁用于非法目的 |
---|---|
绘制时间 | 2020.10.25 |
作者 | 丁恒、李映萱 |
绘制单位 | 华中师范大学信息管理学院、华中师范大学信息管理学院 |
更多格式 | 高清、无水印(增值服务) |
(1)相关性:三位标注者根据提问意图的相关性判断原则(见表1)分别对结果列表RD中的自然语言问句进行人工打分,并由一位领域专家审核。三位标注者的Fleiss Kappa系数[26]为0.524 1,表明标注结果具有较强的一致性。
图表编号 | XD00198137400 严禁用于非法目的 |
---|---|
绘制时间 | 2020.10.25 |
作者 | 丁恒、李映萱 |
绘制单位 | 华中师范大学信息管理学院、华中师范大学信息管理学院 |
更多格式 | 高清、无水印(增值服务) |