注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 如何爬取可用的IP代理

如何爬取可用的IP代理

来源:IP代理精灵​ 作者:admin 时间:2019-04-19 14:38:14

对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何爬取可用的IP代理呢?这里分享一下一些爬取IP代理的心得体会。

如何爬取可用的IP代理

1、步骤


第一可以先找几个提供免费测IP代理的网站,获取到可以使用的IP资源


第二验证对应的IP代理访问出口IP是不是跟本机的出口IP保持一致,得到的不一致的IP代理列表


第三根据自身的实验目的验证IP代理的相应速度,进行排序,择优选用


2、具体做法


第一上网搜索IP代理,例如ip代理精灵、黑核动态ip代理等等


第二可以这里进行验证


第三这个就根据自身爬虫的需要,看是下载东西还是其他的,再进一步测试速度


3、代码


View Code


关于这份代码,有几个地方做一下说明:


· check_a_ip(ip):该函数为IP代理检查函数,返回两个值(一个为访问请求是否成功使用了代理,一个为检查的响应时间)


· start_page、end_page: 手动输入获取IP代理的网页页码,这个需要根据具体网站设定


· for i in range(int(start_page), int(end_page) + 1):主函数的循环,遍历设定范围的网页


· for tr in trs[1:len(trs)]:循环遍历并解析出一个网页中的所有IP代理,以及检验是否可用


· ip_proxy_file:文本写入,最终把结果都写入proxy.txt中


4、拓展


本实验可以采用多线程进行爬取或者检验,这样的爬取速率会快很多,大家有时间可以尝试一下。


最新资讯

推荐阅读

  1. 23

    2019-05

    使用免费代理IP有什么风险

    市面上免费代理IP那么多,为什么还有人愿意花钱使用付费代理IP?下面由小编带大家简单分析一下使用免费代理IP有什么风险,相信大家就能够明白了。一、免费代理IP传送信息不安全。同理,

  2. 30

    2020-11

    如何快捷更换ip

    如何快捷更换ip?在这个互联网信息时代,由于工作需要更换ip是常有的事,如:爬虫,网购抢秒杀价,网络推广,投票助理等,这些业务都需要更换ip才能完成任务。

  3. 04

    2019-06

    如何能够买到便宜好用的代理服务器

    互联网的蓬勃发展带动很多企业都做起了线上的业务活动,甚者有的企业建立了站群,那么做站群就需要购买一个站群专用服务器。而购买到一个便宜低价又好用的香港站群服务器可谓是每一个

  4. 25

    2019-04

    独享代理IP和共享代理IP有什么区别

    很多人都知道,代理IP​分为独享代理IP和共享代理IP,一般上很多人使用的都是共享IP,这是由于目前IP资源还是稀缺的,之前的IPv4中的IP地址早就分完了,尤其是中国,人口多,最近几年网络

  5. 17

    2019-01

    哪些人使用代理IP?营销推广人员、网络爬虫

    现在很多工作都是通过网络来实现的,比如企业品牌或产品的推广,很多人都使用代理IP,通过换IP来突破网络限制,达到自己的目的,到底是哪些人使用代理IP呢?比如:

  6. 23

    2020-10

    代理ip软件对我们友哪些用处

    代理ip软件对我们友哪些用处?在互联网世界的今天,我们每天都要通过网络来工作、学习,无形之中,我们经常要跟ip地址打交道,但是大家并不清楚,在什么时候,我们会需要换ip,代理ip软件