《表1 机器评分与人工评分在试题题型上的人分散度对照表(n=100)》

《表1 机器评分与人工评分在试题题型上的人分散度对照表(n=100)》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《机器自动口语测试的信度和效度研究——以MyET口语测试系统为例》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

数据的描述性统计显示:机器评分的平均成绩(32.08)略低于人工评分的平均成绩(37.04、34.95、37.09);机器评分的最低分为8.4、最高分为45.8,而人工评分的最低分为0,最高分分别为53.00、53.04、55.28。机器评分与人工评分在试题题型上的人分散度对比结果如表1所示,可以看出:机器评分的总难度系数(0.53)略低于人工评分平均的总难度系数(0.61),但在Part A和Part B上,两者的难度差异并不大;Part C上的机器评分难度系数(0.40)与人工评分平均的难度系数(0.52)的差异虽然较大,但此部分三个评分员也呈现出较大差异,这说明人工评分对口头作文的评分标准较难把握;人工评分平均的总区分度(0.53)远高于机器评分的总区分度(0.29),尤其在Part A和Part B上,机器评分出现了趋中性。此外,从标准差来看,人工评分平均的总标准差为14.36,而机器评分的总标准差只有7.64,再次反映了机器评分的趋中性。