《表2 平均重用距离统计：基于网络爬虫的搜索引擎的设计与实现》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于网络爬虫的搜索引擎的设计与实现》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

爬取数据后通过Pipeline文件处理数据，将Spider中解析字段插入到数据库中，本系统使用异步插入方式。在from＿settings类中通过do＿insert函数来执行具体插入并根据不同的item构建不同SQL语句插入数据库。同时在配置中修改主要控制字段来控制爬虫的爬取行为，部分字段名称及作用如表2: