注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > Python爬虫设置代理IP的方法

Python爬虫设置代理IP的方法

来源:互联网 作者:admin 时间:2019-04-14 16:19:00

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧——设置代理IP。


配置环境


安装requests库


安装bs4库


安装lxml库


具体代码

Python爬虫设置代理IP的方法

函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。


函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险。


proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法。


代理IP的使用


运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

Python爬虫设置代理IP的方法

最新资讯

推荐阅读

  1. 09

    2019-10

    如何选择高质量爬虫http代理ip?

    如何选择高质量爬虫http代理ip?在互联网信息时代下,无论互联网行业发展到何种地步,“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲,任何一个互联网公司都会用到不同类型

  2. 19

    2019-01

    面对平台的反网络爬虫,怎么突破好

    众所周知,哪个平台都有自己的反网络爬虫机制,越是大型平台就越是严格,一般来说,这些平台都有哪些反网络爬虫呢?面对平台的反网络爬虫,怎么突破好?今天就跟小编去看看关于网络的

  3. 19

    2019-10

    http代理软件是什么 有哪些用处?

    http代理软件是什么 有哪些用处?本代理ip软件具有一键功能,可以一键获更换代理ip,可以设置时间区间,控制更换频率,定时更换ip代理地址,是一款全自动化的更换ip地址软件。那么朋友们可

  4. 28

    2019-08

    怎样才能隐藏上网IP?

    在浏览互联网时,如果希望不被他人追踪,则需要隐藏您的IP地址。怎样才能隐藏上网IP?有多种方式可以实现,操作难易程度和可靠性各有千秋。

  5. 27

    2019-12

    IP被限制该怎么切换IP?

    IP被限制该怎么切换IP?我们在平时浏览一个网站的时候都发现,如果在一个网站上操作过快,就容易出现IP地址受限、限制登录等问题。例如在贴吧发帖的时候,怎么也发布不成功帖子,这就有

  6. 11

    2020-04

    如何使用代理IP?

    如何使用代理IP?IP封号,确实,不清除这类将会,例如应用全透明代理或一般代理,总体目标服务器一下就发觉你也是"一只披着羊皮的狼",被禁封是毫无疑问的。提议从业互联网技术工作中的