注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 如何爬取可用的IP代理

如何爬取可用的IP代理

来源:IP代理精灵​ 作者:admin 时间:2019-04-19 14:38:14

对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何爬取可用的IP代理呢?这里分享一下一些爬取IP代理的心得体会。

如何爬取可用的IP代理

1、步骤


第一可以先找几个提供免费测IP代理的网站,获取到可以使用的IP资源


第二验证对应的IP代理访问出口IP是不是跟本机的出口IP保持一致,得到的不一致的IP代理列表


第三根据自身的实验目的验证IP代理的相应速度,进行排序,择优选用


2、具体做法


第一上网搜索IP代理,例如ip代理精灵、黑核动态ip代理等等


第二可以这里进行验证


第三这个就根据自身爬虫的需要,看是下载东西还是其他的,再进一步测试速度


3、代码


View Code


关于这份代码,有几个地方做一下说明:


· check_a_ip(ip):该函数为IP代理检查函数,返回两个值(一个为访问请求是否成功使用了代理,一个为检查的响应时间)


· start_page、end_page: 手动输入获取IP代理的网页页码,这个需要根据具体网站设定


· for i in range(int(start_page), int(end_page) + 1):主函数的循环,遍历设定范围的网页


· for tr in trs[1:len(trs)]:循环遍历并解析出一个网页中的所有IP代理,以及检验是否可用


· ip_proxy_file:文本写入,最终把结果都写入proxy.txt中


4、拓展


本实验可以采用多线程进行爬取或者检验,这样的爬取速率会快很多,大家有时间可以尝试一下。


最新资讯

推荐阅读

  1. 14

    2019-06

    SOCKS5协议的原理和应用

    首先解释一下为什么它被称之为SOCKS。其实该协议设计之初是为了让有权限的用户可以穿过过防火墙的限制,使得高权限用户可以访问一般用户不能访问的外部资源。当时设计者考虑到几乎所有

  2. 10

    2019-06

    windows平台HTTP代理服务器搭建

    HTTP代理是最经典最常见的代理协议。其用途非常广泛,普遍见于公司内网环境,一般员工都需要给浏览器配置一个HTTP代理才能访问互联网。今天我们来学学windows平台HTTP代理服务器搭建的具体

  3. 13

    2019-02

    获取高质量代理IP的途径

    很多人都追求高质量的东西,因为越高质量的东西,价值也越高,体验效果也更加好,就连代理IP也不例外。高质量的代理IP能提高我们的工作效率,使用更加省心,不想哪些免费的代理时不时

  4. 01

    2019-06

    代理IP有哪几种拨号方式

    代理IP有哪几种拨号方式?代理IP采用了拨号的方法来更改IP,较为可靠,每拨一次,就更换一次ip,包括混拨、多拨和单拨。1、混拨 混拨就是说拨各地的IP地址,如今网上平台卖的许多代理IP其

  5. 26

    2019-05

    云南代理IP哪里找?

    现在的代理IP行业出现一个不成文的怪圈现象,热门地区家家都有,冷门区域有钱也难求,好比云南省,面积39万平方千米,总人口5千万,在全国各省级行政区面积和人数中都是名列前茅的,但

  6. 05

    2019-05

    代理IP使用起来安不安全?

    在使用爬虫多次爬取同一同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决禁封IP的问题,我们通常会使用代理IP。很多用户都会有这个疑问,代理IP使用起来安不安全?今天本文就来