《表4 用户A/B测试实验结果》

《表4 用户A/B测试实验结果》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《搜索引擎结果展示效果自动评价方法》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

本文开发的实验用搜索引擎可以完成正常的搜索功能,同时记录用户的鼠标交互数据。本文共邀请12个参与者完成2种展示的对照实验,每人完成24个查询,其中12个查询采用P1展示而另外12个采用P2展示。采用希腊拉丁方法和随机序列的方法,保证每个任务以相同的概率展现给用户,对于每种展示下的每个任务,可以收集到6个用户的搜索数据,统计结果如表4所示,其中,?代表下降且统计显著性指标p<0.1。相比于P1的展示策略,P2展示策略下,用户阅读摘要的时间更短,并且点击次数、长度和最大排名都明显减少,说明用户花费更少的时间就能获得满意的结果,极大地提高搜索效益。因此,P2是比P1更好的突显策略。这与人工评测和自动评测得到的结论相一致。