注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > Python爬虫设置代理IP的方法

Python爬虫设置代理IP的方法

来源:互联网 作者:admin 时间:2019-04-14 16:19:00

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧——设置代理IP。


配置环境


安装requests库


安装bs4库


安装lxml库


具体代码

Python爬虫设置代理IP的方法

函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。


函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险。


proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法。


代理IP的使用


运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

Python爬虫设置代理IP的方法

最新资讯

推荐阅读

  1. 15

    2019-05

    Linux主机如何通过代理服务器进行网络连接

    Linux主机如何通过代理服务器进行网络连接?我们都知道在Windows下通过代理服务器怎么去设置连接代理服务器,浏览器---->工具------>internet选项----->连接--->局域网设置------->勾选“为lan使用代理

  2. 14

    2019-05

    免费代理为什么弊大于利

    免费代理为什么弊大于利?有时似乎每个人都在关注自己的在线隐私。媒体中的各种泄密和安全丑闻只会增加这种全球热潮。为了保护个人的隐私,用户可以使用当今丰富的各种免费代理服务,

  3. 24

    2019-04

    短效优质代理IP好用吗?每次提取多少IP合适?

    ip代理精灵一向诚信为商,在这里如实说明本站的短效优质代理是用ADSL拨号VPS搭建的,IP地址并不具备一手性,但是一直以来某些同行在用这类IP充当“私密代理IP”来欺骗客户高价牟取暴利。短

  4. 20

    2019-06

    电商用哪家代理IP好

    代理IP如雨后春笋般,蓬勃发展,现在的网络市场上能够提供代理IP服务的网站平台有很多,品质质量各不相同,那么我们在需要使用代理IP的时候该如何选择呢?电商用哪家代理IP好呢?网络业

  5. 23

    2019-08

    国内最新HTTP代理IP哪里有

    在很多时候,由于互联网的各种限制,导致我们在访问网站时经常受限,它的表现可能是无法打开网页、注册不成功、无法登陆账号等。在这种情况下我们可以通过使用HTTP代理IP来解决,下面我

  6. 10

    2019-05

    动态ip地址和静态ip的区别

    对于基于TCP/IP协议的局域网,IP地址的管理方式主要有静态分配方式和动态分配方式,还可以根据需要将两种方式结合使用,即混合分配方式。下面我们一起来看看动态ip地址和静态ip的区别吧