注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 爬虫怎么判断网页有没有更新

爬虫怎么判断网页有没有更新

来源:互联网 作者:admin 时间:2019-01-30 16:50:00

有些网站每天都更新,不仅会出现新的网页,而且老的网页也会有更新内容,这样爬虫怎么判断网页有没有更新?应该怎么设计爬取策略?难度每天都重新爬遍这个网站的所有网页,然后判断是不是有更新吗?这样爬虫的访问量不就很大吗?


对于这些问题,我们首先要判断网站页面是否刷新,下面就介绍几种判断方法:


1.使用MD5数字签名


每次下载网页时,把服务器返回的数据流ResponseStream先放在内存缓冲区,然后对ResponseStream生成MD5数字签名S1,下次下载同样生成签名S2,比较S2和S1,如果相同,则页面没有更新,否则网页就有跟新。需要说明的是用md5算法对文本刘签名的速度是极快的,M级的数据可以在毫秒内完成。这种策略虽然也把页面数据从服务器传输到了本地机,但是省掉了页面的I/O操作,对系统性能的提升是很有帮助的。


爬虫怎么判断网页有没有更新


2.304页面http状态码


当第二次请求页面访问的时候,该页面如果未更新,则会反馈一个304代码,而搜索引擎也会利用这个304http状态码来进行判断页面是否更新。


首先第一次肯定是要爬取网页的,假设是A.html,这个网页存储在磁盘上,相应地有个修改时间(也即是更新这个文件的时间)。那么第二次爬取的时候,如果发现这个网页本地已经有了,例如A.html,这个时候,你只需要向服务器发送一个If-Modified-Since的请求,把A.html的修改时间带上去。


如果这段时间内,A.html更新了,也就是A.html过期了,服务器就会HTTP状态码200,并且把新的文件发送过来,这时候只要更新A.html即可。


如果这段时间内,A.html的内容没有变,服务器就会返返回HTTP状态码304(不返回文件内容),这个时候就不需要更新文件。


3.文件大小不同,可以比对下


搜索引擎还会取出之前页面文件,和现在的文件进行对比,不过因为大部分网站都是一种替换式更新,往往比对文件大小很难说明问题,因此常见与页面链接变化配合使用。


4.Last-Modified文件最后修改时间,抓取最新更新的


这是http头部信息中的一个属性,主要是记录页面最后一次的修改时间,往往我们会发现,一些权重很高的网站,及时页面内容不更新,但是快照却还是能够每日更新,这其中就有Last-Modified的作用。通产情况下,下载网页我们使用HTTP协议,向服务器发送HEAD请求,可以得到页面的最后修改时间LastModifed,或者标签ETag。将这两个变量和上次下载记录的值的比较就可以知道一个网页是否跟新。这个策略对于静态网页是有效的。是对于绝大多数动态网页如ASP,JSP来说,LastModifed就是服务器发送Response的时间,并非网页的最后跟新时间,而Etag通常为空值。所以对于动态网页使用LastModifed和Etag来判断是不合适的,因此Last-Modified只是蜘蛛判断页面是否更新的一个参考值,而不是条件。


爬虫怎么判断网页有没有更新?以上介绍了四个判断网页有没有更新的方法,如今大数据时代,许多企业都会进行数据的采集,但是对方也会设置各种的限制,比如IP限制等,对于这个限制,爬虫可以使用IP代理精灵去突破限制。若是其他的限制,爬虫就要对症下药了,否则不能获取到网站数据。


最新资讯

推荐阅读

  1. 23

    2019-05

    独立IP与共享IP有哪些区别

    做网站选择独立IP还是共享IP,相信很多站长都在此纠结过,自己不使用服务器的时候从来没有关心过独立IP和共享IP的究竟有什么具体的差别。但当自己真正用到的时候,才发现:同样都是 IP,

  2. 22

    2018-11

    采集爬虫使用IP代理还会封ip吗?IP代理精灵告诉你

    爬虫听上去是一个很神秘的词语,用好了爬虫技术可以成就类似谷歌百度这种大神级别的搜索引擎,而如果使用不当分分钟可以搞垮一个小网站。很多站长常常会遇到ip因为爬虫太频繁而被网站

  3. 11

    2019-07

    换IP地址可以用虚拟ip吗

    换IP地址可以用虚拟ip吗?找个可用的IP换,好麻烦,要验证很多个IP才能找到个能用的,实在是麻烦多了,能不能简单些呢?有没有虚拟的IP使用,不需要使用很久的。就是一个未分配给真实主

  4. 19

    2019-10

    淘宝刷单必选代理ip软件

    淘宝刷单必选代理ip软件!现在说到网购大家可能第一时间想到的就是淘宝,想买市面东西淘宝搜一下,作为国内最大的网络购物平台,淘宝上面的商家成千上万,商品更是数以亿计,这么多的店

  5. 17

    2019-12

    如何确保IP制作的安全?

    如何确保IP制作的安全?随着电视产业向IP现场制作转变,这种转换的好处显而易见。最显著的是,与更刚性的被替代标准SDI相比,IP制作可以提供更动态、更敏捷、在某些情况下更经济的内容制

  6. 23

    2019-04

    几种常用的浏览器如何设置代理IP上网

    浏览器设置代理IP上网是代理IP最基础的使用方法,不同的浏览器设置代理IP的方法略有不同,几种常用的浏览器如何设置代理IP上网?接下来就来为各位详细说明。