《表2 专家严厉度及一致性统计量》

《表2 专家严厉度及一致性统计量》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《产出型语言考试与语言标准对接的效度问题——概推性与一致性》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

首先根据MFRM分析结果考察专家之间评分的一致性程度以及每位专家评分是否与模型预期一致。表2报告了专家的严厉度和一致性统计量。严厉度的logit值越高则代表专家越严厉。从表2可见8号专家比较宽松,严厉度logit值为-1.63,根据表2最下方一行的标准差可以算出其标准分为(-1.63-0)/0.65=-2.51;除此之外,其余专家的严厉度logit值都在±1之间,标准分在±1.5之内,整体上比较接近。衡量专家评分和模型预期的一致性的两个拟合参数估计值(Infit和Outfit)非常接近。从表2可见有两位专家(4号和16号)两项拟合参数估计值均低于0.50;而13号专家两项拟合参数估计值均为1.62,超过1.50。按照Linacre(2002)建议的标准,该值为.50-1.50之间时一致程度较佳,超过1.50时一致性欠佳,但对评分质量影响不大,超过2.00时影响测量结果,建议删除相关数据,低于.50时过于一致,可能导致信度虚高,但对评分质量影响不大,可以不删除。据此可以认为专家的判断总体上符合模型预期。