《表3 大学英语四级口语考试人机评分描述统计数据》
注:**表示p<0.01。
第二,同套试题的人机评分相关性。描述统计分析结果(表3)显示,机评分数的均值略高于人评均值,机评分数的标准差低于人工评分的标准差,说明机评分数的离散度小于人工评分;此外,机评对零分卷的判断有偏差。综合考察2套试卷的偏度值、直方图及正态概率Q-Q散点图,可判断2套试卷的人机评分均为正态分布。采用Pearson相关分析,2套试卷的人机评分相关系数均较高,分别为0.85(p<0.01)和0.83(p<0.01)。进一步对分数两端的考生数据进行分析,由于两端数据呈非正态分布,采用非参数检验Spearman相关分析,结果表明,F01试卷得分前5%和后5%考生的人机评分相关系数分别为0.50(p<0.01)和0.47(p<0.01),F07试卷为0.56(p<0.01)和0.40(p<0.01)。该结果与胡国平等[22]写作自动评分研究发现一致,即高低两端的人机评分相关程度相对较低。
图表编号 | XD00165273200 严禁用于非法目的 |
---|---|
绘制时间 | 2020.07.10 |
作者 | 金艳、王伟、张晓艺、赵英华 |
绘制单位 | 上海交通大学、教育部考试中心、复旦大学、教育部考试中心 |
更多格式 | 高清、无水印(增值服务) |