注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 如何通过免费代理搭建自己的IP池

如何通过免费代理搭建自己的IP池

来源:IP代理精灵 作者:admin 时间:2019-05-27 11:24:11

对于爬虫来说,当你的访问频率达到了目标网站的预警值时,就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。当ip被封禁后,从此ip发出的请求将不能得到正确的响应。这种时候,我们就需要一个代理ip池。本文就来告诉大家如何通过免费代理搭建自己的IP池。

如何通过免费代理搭建自己的IP池

1.目标网站


爬取代理ip,这也需要找网页,这就得看看哪个网页提供这些代理ip了,我选择了爬取IP代理精灵的网站。


2.分析网站结构


我们需要获取的高匿代理,按下F12打开开发者工具


上面我们要获取的数据是ip地址,端口和类型这三个就可以了,可以看到,这些数据都在一个tr标签里,但是有两个不同的tr标签,这样可以用正则表达式,利用相隔的html结构先把整个内容匹配下来,再把重要信息匹配下来,最后就把他弄成这个样子{'https': 'https://ip:端口'}存入列表即可,最后就随机获取一个ip,然后可以先判断是否有用,再拿来做你此时项目的代理ip,判断是否用的方法就是随便拿一个百度获取别的网站,加上代理ip发送get请求,看看status_code()的返回码是不是200,即可,就如下面这样


3.代码部分


1).匹配数据,并挑选数据存入列表


2).随机获取ip,并写好ip格式


我这里是把他存入列表,现抓现用,是因为我现在的爬虫项目都是很小的,只需要这些就可以了。


END


以上就是我简单搭建的代理ip池了,等到以后慢慢完善,你可以把他们存入你的数据库,然后要用的时候,就随机拿出来,先看看有没有用,没用的话就删除,有用就拿来用即可。


最新资讯

推荐阅读

  1. 05

    2019-07

    浅析HTTP代理协议 HTTP/1.1的CONNECT方法

    我们平时使用HTTP协议无非就是GET、POST这些方法,但是HTTP的内容远不止那些。今天就来说说HTTP代理使用的CONNECT。APACHE只是作为网页的服务器被使用的,不会支持这个方法。如果要使用它必须在

  2. 17

    2019-04

    如何获得代理ip

    在互联网冲浪时,时常为了突破某些限制,需要使用到代理IP,如网站Vote、注册账户、访问被禁止的网站等。那么,如何才能获得代理ip呢?下面分享几种获得代理ip的方法。

  3. 30

    2019-03

    IP不足得问题爬虫是怎么解决得,可以用代理IP吗?

    当你利用爬虫爬取网络信息的时候经常会莫名其妙的被目标网站禁止访问,你可以查找以下几个原因:

  4. 10

    2019-06

    如何设置隐藏自己的IP地址

    现在一般人都不知道IP地址的重要性,但是有的电脑高手却可以通过IP地址去找到我们,下面小编将告诉大家如何设置隐藏自己的IP地址。我们在这里先选择电脑的一个浏览器,在这里我们以电脑

  5. 27

    2019-11

    使用IP代理精灵软件有哪些好处?

    使用IP代理精灵软件有哪些好处?有些朋友在上网的过程中会遇到这样的情况,网站建议你的IP地址已经被记录下来,不能在短时间内访问该网站,这是你的IP地址被网站锁定的时候,网站认为你

  6. 18

    2020-02

    如何提升营运商的IP封禁?

    如何提升营运商的IP封禁?代理ip其作用就是说代理商互联网客户去获得信息网络。品牌形象的说:这是信息网络的转运站,服务器代理就好像一个大的Cache,那就能明显提升访问速率和高效率,