注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 爬虫的采集速度要控制在什么范围之内?

爬虫的采集速度要控制在什么范围之内?

来源:互联网 作者:admin 时间:2019-02-25 17:08:29

我们都知道,如果爬虫一直快速的访问一个网站,会给网站服务器带来比较大的压力,这么明显的异常访问,网站人员肯定会检测到问题的。因此,为了能够持续的采集数据,这速度肯定是要控制的,那么爬虫的采集速度要控制在什么范围之内?


要避免爬虫采集过快被对方发现,那么首先要知道什么样的采集速度是快。网站的用户是人,访问的速度自然是根据用户来设置的,超出人的范围速度就过快了。


每个网站限制的访问频率可能不一样,我们最好先测试下网站的访问阈值,设置合理的访问时间阈值。另外还要注意,不是设置固定的访问时间间隔,需要设置随机的时间间隔,因为大批量一样的时间间隔,肯定是不是人,不是机器刷的还是爬虫代码爬取的,所以要注意这一点。


1.设置随机访问时间间隔方法:


很多网站的反爬虫机制都设置了访问间隔时间,一个IP如果短时间内超过了指定的次数就会进入“冷却CD”,所以除了轮换IP和user_agent,可以设置访问的时间间间隔长一点,比如没抓取一个页面休眠一个随机时间:


import time,random


time.sleep(random.random()*3)


对于一个crawler来说,这是一个比较responsible的做法。


2.爬虫有时候会因为爬去某些网页速度极慢,影响性能。所有可以设置超时时间。


timeout单位秒


设置超时时间为0,使用try语句。


爬虫的采集速度要控制在什么范围之内?


输出异常:a


timeout设置为一之后就能正常返回获取的html代码了。


以上是介绍了关于“爬虫的采集速度要控制在什么范围之内”这个问题的一些分析,可供参考。合理的控制访问速度,可以降低服务器负载,还能起到防封的效果。不然即使使用了代理IP,这过快的速度还是出卖了你。


最新资讯

推荐阅读

  1. 17

    2019-09

    淘宝使用IP代理做单有用吗?

    淘宝使用IP代理做单有用吗?淘宝做营销推广少不了的就是刷单,记得09年的时候,曾给朋友淘宝店做单,同一台电脑给他做了五个单,马上好评,五朵小红花就出来了。可是现在你试试在同一台

  2. 23

    2019-05

    使用免费代理IP有什么风险

    市面上免费代理IP那么多,为什么还有人愿意花钱使用付费代理IP?下面由小编带大家简单分析一下使用免费代理IP有什么风险,相信大家就能够明白了。一、免费代理IP传送信息不安全。同理,

  3. 08

    2019-08

    代理服务器的常见类型

    代理服务器的功能就是可以代理网络用户去或得网络信息,其实就是网络中转站,隐藏了用户的真实IP,还可以加快网络速度。代理服务器使用中有很多类型,最常见的有以下6种基本类型:

  4. 27

    2019-05

    python爬虫需要了解的代理IP知识

    代理IP,作为现代网络兴起的一种上网方式,被逐步应用于人们的学习、生活中。特别是一些python爬虫,为了业务的顺利进行,代理IP算得上是必备资源。那什么是代理IP呢?大家都知道,IP地址

  5. 16

    2019-04

    http代理和socks代理的区别

    常在一些软件的设置中可以看到HTTP代理、SOCKS代理等,那你知道它们分别是什么意思吗?这两者之间又有什么区别呢?接下来我们就来看看http代理和socks代理的区别吧。SOCKS其实是一种网络代理

  6. 13

    2019-09

    代理ip平台哪个比较好?

     代理ip平台哪个比较好?其实对于我们国内的很多年轻人来说,他们对于很多国外的网站,无论是娱乐性质或是会有教学性质的网站,都会非常感兴趣。但是毕竟在国内如果没有使用苹果手机的