《表3 爬虫工作量分布表：一种分布式爬虫系统的设计与应用》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《一种分布式爬虫系统的设计与应用》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

但是目前slave爬虫数量还需人工根据经验预估提前设定，未来可以向根据任务量自动设定爬虫数量方向进行改进。同时目前多个爬虫分担的工作量还不够均衡，可以从负载均衡角度出发进行改进，充分发挥每个爬虫的资源。