注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 如何通过免费代理搭建自己的IP池

如何通过免费代理搭建自己的IP池

来源:IP代理精灵 作者:admin 时间:2019-05-27 11:24:11

对于爬虫来说,当你的访问频率达到了目标网站的预警值时,就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。当ip被封禁后,从此ip发出的请求将不能得到正确的响应。这种时候,我们就需要一个代理ip池。本文就来告诉大家如何通过免费代理搭建自己的IP池。

如何通过免费代理搭建自己的IP池

1.目标网站


爬取代理ip,这也需要找网页,这就得看看哪个网页提供这些代理ip了,我选择了爬取IP代理精灵的网站。


2.分析网站结构


我们需要获取的高匿代理,按下F12打开开发者工具


上面我们要获取的数据是ip地址,端口和类型这三个就可以了,可以看到,这些数据都在一个tr标签里,但是有两个不同的tr标签,这样可以用正则表达式,利用相隔的html结构先把整个内容匹配下来,再把重要信息匹配下来,最后就把他弄成这个样子{'https': 'https://ip:端口'}存入列表即可,最后就随机获取一个ip,然后可以先判断是否有用,再拿来做你此时项目的代理ip,判断是否用的方法就是随便拿一个百度获取别的网站,加上代理ip发送get请求,看看status_code()的返回码是不是200,即可,就如下面这样


3.代码部分


1).匹配数据,并挑选数据存入列表


2).随机获取ip,并写好ip格式


我这里是把他存入列表,现抓现用,是因为我现在的爬虫项目都是很小的,只需要这些就可以了。


END


以上就是我简单搭建的代理ip池了,等到以后慢慢完善,你可以把他们存入你的数据库,然后要用的时候,就随机拿出来,先看看有没有用,没用的话就删除,有用就拿来用即可。


最新资讯

推荐阅读

  1. 11

    2019-11

    代理ip在抓取抓取数据时对Python抓取工具有什么作用?

    代理ip在抓取抓取数据时对Python抓取工具有什么作用?几年前,Python在中国只是一种小众语言,但从2011年至今,Python的百度搜索索引增长了10倍。 流行程度几乎与Java相当,并且有很大的追赶性。

  2. 21

    2020-10

    如何改回自己原本的ip地址址

    如何改回自己原本的ip地址址?事情是这样的,听朋友说,前几天下了一个IP代理,可是用完之后,想用回自己的IP,结果刚刚查了本机IP,居然还是前几天用的代理的IP地址。朋友已经把那个IP代

  3. 25

    2019-04

    代理IP为什么要通过服务器验证才能使用

    还记得几年前刚接触到代理IP时,那时候同事给我一个txt文本,里面几百个IP,让我尽情的使用,根本没有绑定IP授权使用这回事。不过,后来IP质量渐渐的不行了,大部分都不能使用了。

  4. 22

    2019-07

    什么样的代理是好代理?

    什么样的代理是好代理?代理好用的标准:速度快,稳定,当然前提是免费。在代理猎手3.0以上版本,验证时间栏为“时间特性”,显示情况类似这样:“0.9│1.3│2.6”、“26.3│0.0│26.3”,这

  5. 03

    2021-07

    高匿代理越来越受欢迎,你知道高匿代理的实现原理是什么

    高匿代理越来越受欢迎,你知道高匿代理的实现原理是什么吗?高匿代理现如今备受欢迎,作为代理中往往被首选的一种代理方式,它能极大的隐藏用户的真实Ip地址,可以使用户在访问互联网服

  6. 11

    2020-09

    自动更换ip地址的软件

    自动更换ip地址的软件!代理IP是做网站推广必不可少的资源之一,尤其是一些需要换IP的平台推广如:百度知道、天涯论坛、百度贴吧、搜狗问问等。然而这些平台都是目前国内影响力最大,推