《表3 反馈前后一致性指标》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《接受型语言考试与语言标准对接的效度问题——一致性》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

为探究反馈对提高专家判断一致性的作用，首先比较两轮改良Angoff法判断结果在以上三个一致性指标上的差异，结果如表3所示。就专家判断一致性而言，专家与级别交互比例在第二轮明显降低，其他指标基本无差异，说明经过反馈，专家们对级别的理解总体上更为一致，但在专家和题目个体层面上的一致性并无显著提高。就专家判断与实测难度相关而言，第二轮各个级别的相关系数均略高于第一轮，但第一轮相关系数均已高于0.7。就标准设定误差而言，各级别第二轮标准误差均低于第一轮，尤其是四级和五级的标准误差降低较多，达到0.1及以上，说明反馈环节让专家们对各个级别最低能力考生均达成更一致的理解。