《表3 因素水平表：基于网络爬虫的搜索引擎的设计与实现》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于网络爬虫的搜索引擎的设计与实现》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

对于Scrapy-Redis框架，修改对应的措施，实现分布式爬虫的要求。首先在Scrapy-Redis功能配置的defaults文件中设置REDIS＿CLS=redis.Strict Redis可以提供对Redis集群操作的方法。然后添加Redis配置，对DOWNLOADER＿MIDDLE-WARES，SCHEDULER和ITEM＿PIPELEINES分别设置对应的措施满足分布式爬虫的要求。最后在connection中添加Redis集群实例化的措施。