《表1 招聘网站常见反爬虫策略》
不同招聘网站采取的反爬虫策略不同,对爬虫的限制也不同。如表1所示,大部分网站反爬虫策略相对常规,前程无忧甚至未对爬虫采取任何反爬虫策略。BOSS直聘对爬虫进行了IP访问频率监测,即当某个IP访问频率超过一定阈值,服务器将返回一个滑块验证码,通过验证之后,才能继续请求。
图表编号 | XD00106822500 严禁用于非法目的 |
---|---|
绘制时间 | 2019.09.20 |
作者 | 刘杰平 |
绘制单位 | 成都东软学院电子商务研究所 |
更多格式 | 高清、无水印(增值服务) |
不同招聘网站采取的反爬虫策略不同,对爬虫的限制也不同。如表1所示,大部分网站反爬虫策略相对常规,前程无忧甚至未对爬虫采取任何反爬虫策略。BOSS直聘对爬虫进行了IP访问频率监测,即当某个IP访问频率超过一定阈值,服务器将返回一个滑块验证码,通过验证之后,才能继续请求。
图表编号 | XD00106822500 严禁用于非法目的 |
---|---|
绘制时间 | 2019.09.20 |
作者 | 刘杰平 |
绘制单位 | 成都东软学院电子商务研究所 |
更多格式 | 高清、无水印(增值服务) |