注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 反反爬策略:随机更换请求对象的IP信息

反反爬策略:随机更换请求对象的IP信息

来源:互联网 作者:admin 时间:2019-04-15 15:09:11

爬虫的目的就是为了模拟点击浏览器操作的行为,在反反爬策略中,最基础的就是更换User-Agent。User-Agent的作用是方便服务器识别,当前请求对象的身份信息。无法从身份属性来识别是否是机器操作,网站服务器只能通过其他信息来辨别,区别机器和正常用户。识别IP访问频率,判断cookie信息,添加验证码操作等都是常见的网站反爬操作。下面具体来讲讲反反爬策略:随机更换请求对象的IP信息。

反反爬策略:随机更换请求对象的IP信息

Scrapy中,更换请求对象的IP信息非常的方便,只需要在request对象进入下载器之前,修改request对象的参数信息。

所以我们需要在下载器中间件 Download_middleware中自定义一个下载器中间件ProxiesMiddleware,在process_request()函数中修改request对象信息。

其中 PROXIES_LIST 是构建的代理列表。

process_request的参数分别是request当前请求对象,spider当前的爬虫对象。

返回None,Scrapy将继续处理该Request;

返回Request对象时,这个Reuqest会重新放到调度队列里,更低优先级的process_reqyest()函数不会执行;

返回Response对象时,直接将Response对象发送给Spider来处理。

现在每次发送一次请求,请求对象的IP信息就会从配置中的代理IP池中随机挑选一个。不同的IP就会迷惑服务器监控,不会对本次请求做反爬处理了。至此,我们的爬虫就能顺顺当当的获取数据了。好了,本期结束,大家散会吧。

NO! NO! NO!这还远远不够,这才只是代理的第一步。没有哪个代理是能保证百分之百成功的。付费代理也好,免费代理也好,即使是高匿代理也只不过是提高了防反爬的几率,并没有说一定会成功的。

请求失败的解决方案有两种:

1. 多试几次,直到请求成功,不成功就报错。

2. 换一个IP试试,直到换成请求成功的代理。对代理质量要求必须高。如果代理池质量很差,项目就会陷入死循环中。

解决逻辑是: 设置重试次数,达到指定次数就换IP。

幸运的是Scrapy框架中自带了处理失败请求的中间件RetryMiddleware。

注释的部分是添加的加入代理的逻辑,需要继承RetryMiddleware之后再重写。

在settings中设置最大重试次数以及需要进行重试的异常状态码列表。

关闭Scrapy自带的RetryMiddleware中间件,开启自定义的Retry中间件。

启动项目测试。遇到失败的请求会重新发送,超过最大重试次数以后返回一个空的数据。

这就是我们预期的结果了,剩下的就是提高代理池的质量,就能最大程度的保证爬虫的可用性了。


最新资讯

推荐阅读

  1. 24

    2019-09

    IP网络加速器有什么作用?

    IP网络加速器有什么作用?IP加速器是一种新型的虚拟专用网络构建工具,它能够在Internet网络中建立一条虚拟的专用通道,让两个远距离的网络客户在这个专用的网络通道中相互传递资料而不会

  2. 21

    2019-05

    动态代理ip可以获取哪些信息

    随着互联网的飞速发展,各行各业都逐渐应用了大数据,通过数据的变化,可以知道行业发展情况,并做出调整,那么企业利用代理ip让爬虫采集什么数据?毕竟数据并不一定都能产生价值的,

  3. 23

    2019-04

    几种常用的浏览器如何设置代理IP上网

    浏览器设置代理IP上网是代理IP最基础的使用方法,不同的浏览器设置代理IP的方法略有不同,几种常用的浏览器如何设置代理IP上网?接下来就来为各位详细说明。

  4. 30

    2019-01

    爬虫怎么判断网页有没有更新

    有些网站每天都更新,不仅会出现新的网页,而且老的网页也会有更新内容,这样爬虫怎么判断网页有没有更新?应该怎么设计爬取策略?难度每天都重新爬遍这个网站的所有网页,然后判断是

  5. 14

    2020-03

    换ip工具有什么作用?

    换ip工具有什么作用?今天ip代理精灵给大家科普一下ip更改软件对于电脑来说,每时每刻、每台电脑都有一个唯一的IP地址,这个地址的作用就是用来确定这台电脑的位置。用ADSL等方式拨号上网的时

  6. 28

    2019-05

    怎么选择代理ip?有什么技巧?

    怎么选择代理ip?有什么技巧?ip代理精灵的代理ip实效性较强,一般有效期在20分钟到4小时不等。在选择代理ip使用时的技巧需要十分注意,有时候选择不好,花高价钱买了代理ip可能并不适合