《附录:各任务评分标准:英语口语机器评分和人工评分的对比研究》

《附录:各任务评分标准:英语口语机器评分和人工评分的对比研究》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《英语口语机器评分和人工评分的对比研究》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

本研究对比了朗读、复述和口头作文三项任务的计算机自动评分和3名人工评分员的评分结果,主要发现如下:(1)机器对朗读评分过高,对复述评分过低,机器在给这两项任务打分时存在系统偏差,机器评分与被试的显著偏差比例少于人工评分与被试的显著偏差;(2)口头作文的机评与人评结果的分差、一致率和一致性均比较好;(3)机器与人工评分各自的内部一致性较好,但严厉度有显著差异。这些结果表明,我国的英语口语自动评分系统的特征提取技术、成绩合成算法等需要进一步提升和优化;有关自动评分可靠性、效度等测试方面的研究也需要深入开展;此外,造成机器评分对个别任务的系统评分偏差和误差的原因未来需要进一步深入研究。