《附录:各任务评分标准:英语口语机器评分和人工评分的对比研究》
本研究对比了朗读、复述和口头作文三项任务的计算机自动评分和3名人工评分员的评分结果,主要发现如下:(1)机器对朗读评分过高,对复述评分过低,机器在给这两项任务打分时存在系统偏差,机器评分与被试的显著偏差比例少于人工评分与被试的显著偏差;(2)口头作文的机评与人评结果的分差、一致率和一致性均比较好;(3)机器与人工评分各自的内部一致性较好,但严厉度有显著差异。这些结果表明,我国的英语口语自动评分系统的特征提取技术、成绩合成算法等需要进一步提升和优化;有关自动评分可靠性、效度等测试方面的研究也需要深入开展;此外,造成机器评分对个别任务的系统评分偏差和误差的原因未来需要进一步深入研究。
图表编号 | XD00152788700 严禁用于非法目的 |
---|---|
绘制时间 | 2020.08.15 |
作者 | 孙海洋、张敏 |
绘制单位 | 中国科学院大学外语系、中国科学院大学外语系 |
更多格式 | 高清、无水印(增值服务) |