注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 如何爬取可用的IP代理

如何爬取可用的IP代理

来源:IP代理精灵​ 作者:admin 时间:2019-04-19 14:38:14

对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何爬取可用的IP代理呢?这里分享一下一些爬取IP代理的心得体会。

如何爬取可用的IP代理

1、步骤


第一可以先找几个提供免费测IP代理的网站,获取到可以使用的IP资源


第二验证对应的IP代理访问出口IP是不是跟本机的出口IP保持一致,得到的不一致的IP代理列表


第三根据自身的实验目的验证IP代理的相应速度,进行排序,择优选用


2、具体做法


第一上网搜索IP代理,例如ip代理精灵、黑核动态ip代理等等


第二可以这里进行验证


第三这个就根据自身爬虫的需要,看是下载东西还是其他的,再进一步测试速度


3、代码


View Code


关于这份代码,有几个地方做一下说明:


· check_a_ip(ip):该函数为IP代理检查函数,返回两个值(一个为访问请求是否成功使用了代理,一个为检查的响应时间)


· start_page、end_page: 手动输入获取IP代理的网页页码,这个需要根据具体网站设定


· for i in range(int(start_page), int(end_page) + 1):主函数的循环,遍历设定范围的网页


· for tr in trs[1:len(trs)]:循环遍历并解析出一个网页中的所有IP代理,以及检验是否可用


· ip_proxy_file:文本写入,最终把结果都写入proxy.txt中


4、拓展


本实验可以采用多线程进行爬取或者检验,这样的爬取速率会快很多,大家有时间可以尝试一下。


最新资讯

推荐阅读

  1. 25

    2019-11

    HTTP代理是什么 有什么用?

    HTTP代理是什么,有什么用?HTTP代理服务器是一中间程序,由它连接用户主机和远程服务器。具体的连接过程是这样的:首先用户主机需要远程服务器数据,用户主机通过HTTP代理服务器与远程服

  2. 24

    2021-06

    网络爬虫一定用IP修改器吗

    网络爬虫一定用IP修改器吗?网络爬虫一定用IP修改器吗?好多人认为网络爬虫必须要加IP修改器,没了IP修改器将无路可走;也有些人认为IP修改器是非需要的。这是为什么呢?不能直接用采集工具吗?

  3. 13

    2019-04

    IP代理精灵科普:单游戏窗口单ip防封技术

    近几年,一种全新的游戏防封号技术渐渐被人们所熟悉,单游戏窗口单ip防封技术,游戏下号在上就会变换一个ip,这种软件在各大辅助商网盘或游戏工作室网站随处可见,品牌也有十几种之多

  4. 30

    2019-10

    安全正确使用代理ip软件的方法

    安全正确使用代理ip软件的方法!很多的网络营销以及市场营销的工作中。可能不时地点击或是投票,更或是某些需要不时点入操作的工作需要处置,为的就是增加虚拟的人气。但是不得不说的

  5. 01

    2019-05

    为什么用了代理ip还是拒绝访问?

    一般运用代理IP攻克IP受限,但偶尔使用代理依然拒绝访问,这是怎么回事呢?怎么会出现这样的情况?是由于代理IP的问题吗?怎样检查拒绝访问的原因呢?下面ip代理精灵小编来为大家细细分

  6. 25

    2019-04

    爬虫大数据使用IP代理精灵有哪些优势

    目前爬虫大和大数据采集、分析等领域,在很多时候都需要用到IP,以此达到切换IP的目的。切换IP有很多方法,不过目前越来越多的企业级用户选择使用IP代理精灵的动态IP,这是为什么呢?与传