注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 如何通过免费代理搭建自己的IP池

如何通过免费代理搭建自己的IP池

来源:IP代理精灵 作者:admin 时间:2019-05-27 11:24:11

对于爬虫来说,当你的访问频率达到了目标网站的预警值时,就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。当ip被封禁后,从此ip发出的请求将不能得到正确的响应。这种时候,我们就需要一个代理ip池。本文就来告诉大家如何通过免费代理搭建自己的IP池。

如何通过免费代理搭建自己的IP池

1.目标网站


爬取代理ip,这也需要找网页,这就得看看哪个网页提供这些代理ip了,我选择了爬取IP代理精灵的网站。


2.分析网站结构


我们需要获取的高匿代理,按下F12打开开发者工具


上面我们要获取的数据是ip地址,端口和类型这三个就可以了,可以看到,这些数据都在一个tr标签里,但是有两个不同的tr标签,这样可以用正则表达式,利用相隔的html结构先把整个内容匹配下来,再把重要信息匹配下来,最后就把他弄成这个样子{'https': 'https://ip:端口'}存入列表即可,最后就随机获取一个ip,然后可以先判断是否有用,再拿来做你此时项目的代理ip,判断是否用的方法就是随便拿一个百度获取别的网站,加上代理ip发送get请求,看看status_code()的返回码是不是200,即可,就如下面这样


3.代码部分


1).匹配数据,并挑选数据存入列表


2).随机获取ip,并写好ip格式


我这里是把他存入列表,现抓现用,是因为我现在的爬虫项目都是很小的,只需要这些就可以了。


END


以上就是我简单搭建的代理ip池了,等到以后慢慢完善,你可以把他们存入你的数据库,然后要用的时候,就随机拿出来,先看看有没有用,没用的话就删除,有用就拿来用即可。


最新资讯

推荐阅读

  1. 05

    2021-02

    手机换ip软件助你轻松修改手机上的IP地址

    手机换ip软件助你轻松修改手机上的IP地址!有的朋友的手机因为工作原因还是其他原因需要经常换ip地址,但苦于不知道怎样换ip地址,有些人回去下载一些手机软件来更改ip地址,但有些软件要

  2. 13

    2019-09

    http代理ip是网络安全新型避风港!

    http代理ip是网络安全新型避风港!互联网急速发展的今天,网络安全急需得到人们重视,因此衍生的http代理ip变得必不可少了。使用代理ip可以保护自己的本地ip,防止被黑被入侵,来保障个人信

  3. 07

    2019-05

    动态ip地址的优缺点

    动态IP地址(Dynamic IP)指的是在需要的时候才进行IP地址分配的方式。动态IP地址和静态IP地址是对应的。所谓动态就是指当你每一次上网时,电信会随机分配一个IP地址,静态指的是固定分配一

  4. 22

    2019-10

    如何修改电脑IP?

    如何修改电脑IP?那就要使用到ip转换器,什么是IP转换器,IP转换器又是怎么修改IP的呢,我们看看IP转换器的原理与应用及了解它的一些功能和用途。

  5. 05

    2019-09

    使用代理IP,真实地址能被查到吗?

    使用代理IP,真实地址能被查到吗?现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来

  6. 24

    2019-07

    如何更改自己电脑上的公网IP?

    通过 ADSL 猫拨号上网后,在整个互联网上,就会分配给你一个独占的 IP 地址,这个 IP 在全世界都是唯一的,这个 IP 就叫公网 IP。就像你在网上的门牌号一样。那如何更改自己在网络上的门牌号