注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > selenium+python设置爬虫代理IP的方法

selenium+python设置爬虫代理IP的方法

来源:IP代理精灵 作者:admin 时间:2019-04-26 14:40:32

这篇文章主要介绍了selenium+python设置爬虫代理IP的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧!

selenium+python设置爬虫代理IP的方法

1. 设置背景


在使用selenium浏览器渲染技术,当我们爬取某个网站的信息的时候,在一般情况下速度都不是特别的快。而且需要利用selenium浏览器渲染技术爬取的网站,反爬虫的应对技术都比较厉害,对IP访问频率有很高程度的限制。所以,如果想提升selenium抓取数据的速度,可以从两个方面出发:


第一方面, 抓取频率要提高,破解出现的验证信息,一般都是验证码或者是用户登陆 。


第二方面,使用多线程 + 代理IP, 这种方式,需要电脑有足够的内存和充足稳定的代理IP。


2. 为chrome设置代理IP


注意事项:


第一,选择稳定的固定的代理IP。不要选择动态代理IP。我们常用的爬虫IP代理通常都是具有高度保密性质的高匿名动态IP,是通过拨号动态产生的,时效性非常的短,一般都是在3分钟左右。对于scrapy这种并发度很高,又不需要登录的爬虫来说,非常合适,但是在浏览器渲染类爬虫中并不适用。


第二,选择速度较快的代理IP。因为selenium爬虫采用的是浏览器渲染技术,这种浏览器渲染技术速度就本身就很慢。如果选择的代理IP速度较慢,爬取的时间就会进一步增加。


第三,要有足够大的电脑内存。因为chrome占内存较大,在并发度很高的情况下,容易造成浏览器崩溃,也就是程序崩溃。


第四,在程序结束时,调用 browser.quit( ) 清除浏览器缓存。


最新资讯

推荐阅读

  1. 25

    2019-04

    手机上怎样更换国内各个地区的IP?

    手机广泛应用后,因为便于携带,使用也方便,手机用户愈来愈多,许多人逐渐用手机工作。可是不换ip特别容易被禁掉,这就要手机也能换ip,所以手机上怎样更换国内各个地区的IP呢?接下来

  2. 07

    2019-01

    爬虫怎么调用代理IP池的IP

    爬虫在进行采集工作之前,需要解决反爬虫的问题,特别是如果需要提高爬取速度,是必须要使用大量的IP。如果使用代理IP池,这爬虫是如何调用代理IP池中的IP使用呢?

  3. 23

    2019-10

    判断代理IP的设置是否已经生效的方法

    判断代理IP的设置是否已经生效的方法!一些新用户在使用代理ip时不知道自己获取的代理ip是否有效,也不知道自己设置的代理IP是否已经生效,其实判断代理ip是否生效也并不难,今天精灵代

  4. 29

    2019-04

    如何通过爬虫代理IP快速获取大量数据

    数据信息内容是创造和决策的原材料,高质量的数据信息内容都价值不菲。而利用网络爬虫,小编们可以获取大量的价值数据信息内容,经分析可以发挥巨大的价值,今天我们就来讲讲如何通过

  5. 15

    2020-06

    代理IP助攻网络爬虫的工作

    代理IP助攻网络爬虫的工作!互联网时代,采集信息是一项十分关键的的工作。可是互联网的发展十分迅速,留存的数据信息可以用大量来描述,假如只是靠人力资源开展数据采集,不但繁杂工作

  6. 22

    2019-05

    动态拨号VPS换IP有什么作用

    大家应该都怕碰上类似的情况:网店虚假单子过多导致被封的可能、网站发布过多信息而造成的IP被封的危险、上网速度跟不上而抢不到自己打算购买的商品、这些难题ip代理精灵可以帮你搞定