注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > selenium+python设置爬虫代理IP的方法

selenium+python设置爬虫代理IP的方法

来源:IP代理精灵 作者:admin 时间:2019-04-26 14:40:32

这篇文章主要介绍了selenium+python设置爬虫代理IP的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧!

selenium+python设置爬虫代理IP的方法

1. 设置背景


在使用selenium浏览器渲染技术,当我们爬取某个网站的信息的时候,在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站,反爬虫的应对技术都比较厉害,对IP访问频率有很高程度的限制。所以,如果想提升selenium抓取数据的速度,可以从两个方面出发:


第一方面, 抓取频率要提高,破解出现的验证信息,一般都是验证码或者是用户登陆 。


第二方面,使用多线程 + 代理IP, 这种方式,需要电脑有足够的内存和充足稳定的代理IP。


2. 为chrome设置代理IP


注意事项:


第一,选择稳定的固定的代理IP。不要选择动态代理IP。我们常用的爬虫IP代理通常都是具有高度保密性质的高匿名动态IP,是通过拨号动态产生的,时效性非常的短,一般都是在3分钟左右。对于scrapy这种并发度很高,又不需要登录的爬虫来说,非常合适,但是在浏览器渲染类爬虫中并不适用。


第二,选择速度较快的代理IP。因为selenium爬虫采用的是浏览器渲染技术,这种浏览器渲染技术速度就本身就很慢。如果选择的代理IP速度较慢,爬取的时间就会进一步增加。


第三,要有足够大的电脑内存。因为chrome占内存较大,在并发度很高的情况下,容易造成浏览器崩溃,也就是程序崩溃。


第四,在程序结束时,调用 browser.quit( ) 清除浏览器缓存。


最新资讯

推荐阅读

  1. 23

    2019-05

    爬虫使用HTTP代理可以突破IP限制吗

    大家可能对于HTTP代理并不是很了解,其实工作中会经常使用到HTTP代理,一些需要换IP的工作,经常使用的就是HTTP代理,当然还有其他的代理,但主要用的还是HTTP代理。那么,爬虫使用HTTP代理

  2. 07

    2019-03

    Python制作爬虫请求头的设置方法

    爬虫在爬取网站数据时,由于网站设置了防爬虫的措施,就会被限制,那么这时就要根据实际情况设置请求头和代理IP,本文就几种爬虫技术设置请求的方法做个总结。

  3. 14

    2020-03

    免费的换ip工具你敢用吗?

    免费的换ip工具你敢用吗?ip更换软件有免费的也有收费的,很多刚接触的人不知道两者有什么区别,认为有免费的为什么要花钱,其实两者还是有区别的。

  4. 22

    2019-05

    怎样更换服务器的IP地址

    随着网站的发展或者服务器商的不靠谱都需要更换服务器IP地址,但是第一次更换难免会有些紧张或担心,网站瘫痪了怎么办?更换IP时出错了怎么办?怎样更换服务器的IP地址?本文给您以下几

  5. 24

    2021-03

    代理服务器是一种怎样的代理形式

    代理服务器是一种怎样的代理形式?呼声为什么这么高?因为业务需求,所以不少机构需要不停更迭IP,普通服务人员根本无法做到这一点,所以有时候,确实需要立足于专业性较强的代理服务器

  6. 14

    2019-10

    做单如何更换ip地址?

    做单如何更换ip地址?我们都知道一台只有一个ip地址,所以在做单的时候每次都用同一个ip地址,将会被淘宝查出,最终把店家的店铺封了所以无论是对做单人员或者卖家而言,ip地址无法更换一