注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > Python爬虫设置代理IP的方法

Python爬虫设置代理IP的方法

来源:互联网 作者:admin 时间:2019-04-14 16:19:00

在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧——设置代理IP。


配置环境


安装requests库


安装bs4库


安装lxml库


具体代码

Python爬虫设置代理IP的方法

函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。


函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险。


proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法。


代理IP的使用


运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可

Python爬虫设置代理IP的方法

最新资讯

推荐阅读

  1. 08

    2021-06

    解密爬虫使用代理IP效果变差的原因

    解密爬虫使用代理IP效果变差的原因!在互联网大数据时代,网络爬虫是大数据发展中必不可少的一部分,而代理IP是网络爬虫工作中必不可少的一部分。爬虫使用优质代理IP后,可稳定可持续工

  2. 13

    2019-09

    C#网络爬虫代理ip如何抓取图片?

    C#网络爬虫代理ip如何抓取图片?精灵代理IP技术今天要给大家分享干货,最近精灵代理IP技术在研究C#爬虫,先从简单的指定网站图片爬虫开始。其次就是代理ip,使用代理精灵IP成功率更高,真实

  3. 18

    2019-09

    ip代理让你上网更安全

     ip代理让你上网更安全。随着互联网的发展,技术的进。网络与人们的生活工作息息相关,个人的信息也易于爆露于网络中,这对于人们个人信息隐私极其不安全。基于这种状况的出现,与直

  4. 17

    2019-10

    IP地址的分类以及ip地址更改的影响

    IP地址的分类以及ip地址更改的影响

  5. 11

    2019-04

    电脑为什么要使用换ip软件?

    由于工作的需要,频繁访问某一网站导致IP受限,这个时候电脑换IP后去访问是一个比较简单的办法。电脑换IP之后就可以使用更改后的IP去做自己想要的工作,比如营销策略(游戏试玩 游戏挂机

  6. 12

    2019-05

    一个搭建代理IP池的方法

    突破次数的限制就可以使爬虫更高效的工作,代理IP是突破次数限制,提高爬虫高效工作的最好的工具。所以,很多人都想通过建立IP池的方法,实现换IP突破限制,那么这IP池如何进行搭建呢?