《表4 不同主观测评方式性能分析》
表4对比了本文方法和其他两种不同主观测评方式的性能。自评估方式即由算法提出者自己挑选图像进行主观比较,并总结自己的主观感受。这种做法通常存在样本量小等缺陷,并不能体现测评结果的客观性和无偏性。“土耳其机器人”[24]是一款“第三方”网络评估平台,与本文设计的评估系统类似,都允许征集足够多的测评者进行大样本的测评,因此测评结果的无偏性可以得到保证。然而,“土耳其机器人”通常在收集测评结果后排除无效数据,操作复杂度较高,效率低,且其收集到的测评结果并不具备足够的客观性。本文设计的评估系统通过三个主要功能(隐藏样本标签,隐藏样本次序,给分双确认),保证了测评结果的客观性。同时,本系统实现的给分双确认功能,可以阻止无效数据(如“乱”打分)的生成,使得测评更简易便捷,效率更高。
图表编号 | XD00188994300 严禁用于非法目的 |
---|---|
绘制时间 | 2020.11.15 |
作者 | 韩东旭、钟宝江 |
绘制单位 | 苏州大学计算机科学与技术学院、苏州大学计算机科学与技术学院 |
更多格式 | 高清、无水印(增值服务) |