注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > Python爬虫设置代理IP的方法

Python爬虫设置代理IP的方法

来源:互联网 作者:admin 时间:2019-04-14 16:19:00

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧——设置代理IP。


配置环境


安装requests库


安装bs4库


安装lxml库


具体代码

Python爬虫设置代理IP的方法

函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。


函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险。


proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法。


代理IP的使用


运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

Python爬虫设置代理IP的方法

最新资讯

推荐阅读

  1. 06

    2019-05

    不同类型的IP代表着什么

    不同类型的IP代表着什么?为了帮助大家更好的理解,下文为大家进行详细说明。静态与动态IP 静态IP地址不会更改。它们主要用于外部设备或网站必须记住您的IP时。其中一个示例是VPN(虚拟专

  2. 28

    2019-06

    怎么挑选到称心如意的HTTP代理IP?

    随着使用HTTP代理IP的用户越来越多,互联网中各种各样的代理IP供应商也层出不穷。那要怎么挑选到称心如意的HTTP代理IP?对用户而言,要想挑选到称心如意的商品,不仅要慎重,还要懂得很多

  3. 17

    2019-04

    代理ip软件让营销变得不再难

    在长期的营销人员的课每日必做的事情中,让这些营销人员感到无奈以及困扰的就是,进行点击流量的增加。从工作量来说,这工作量属于所有工作中最小,但是从工作的繁琐程度来说,这是最

  4. 08

    2019-05

    HTTP代理IP如何使用

    HTTP代理IP​是最普遍的一种代理形式,能够代理客户机的HTTP访问,例如我们平时上网浏览页面使用的都是HTTP协议。如果你的业务是在浏览器操作,那么HTTP代理IP在适合不过。那么,HTTP代理IP要

  5. 14

    2019-05

    如何更改IP地址

    如何更改IP地址?有许多方法可以更改您的IP地址。有些方法适用于您,但可能不适用于其他人,反之亦然。我们将介绍如何使用命令提示符在Windows 2000、7和Vista中更改IP地址。

  6. 09

    2019-05

    爬虫采集时如何使用代理IP?有什么需要注意的?

    在互联网营销时代,数据的获取是做出营销策略制定的重要前提。而以代理IP为基础的爬虫技术是现在较为基础和简便的数据获取手段。那么爬虫采集时如何使用代理IP?有什么需要注意的?下