《表2 URL地址清理类别》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于网页浏览内容的心理健康预测模型的研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

在获取到某个标记样本产生的URL之后，需要对URL进行过滤和清理.因为不是所有的URL都指向包含内容的HTML文件，而且也有可能存在URL重复的情况，所以有必要进行数据清理.首先去除重复和冗余的URL，然后清理掉指向非HTML文件的URL.这一过程可以通过爬虫框架Scrapy完成，使用的过滤规则如表2所示.