注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 爬虫怎么判断网页有没有更新

爬虫怎么判断网页有没有更新

来源:互联网 作者:admin 时间:2019-01-30 16:50:00

有些网站每天都更新,不仅会出现新的网页,而且老的网页也会有更新内容,这样爬虫怎么判断网页有没有更新?应该怎么设计爬取策略?难度每天都重新爬遍这个网站的所有网页,然后判断是不是有更新吗?这样爬虫的访问量不就很大吗?


对于这些问题,我们首先要判断网站页面是否刷新,下面就介绍几种判断方法:


1.使用MD5数字签名


每次下载网页时,把服务器返回的数据流ResponseStream先放在内存缓冲区,然后对ResponseStream生成MD5数字签名S1,下次下载同样生成签名S2,比较S2和S1,如果相同,则页面没有更新,否则网页就有跟新。需要说明的是用md5算法对文本刘签名的速度是极快的,M级的数据可以在毫秒内完成。这种策略虽然也把页面数据从服务器传输到了本地机,但是省掉了页面的I/O操作,对系统性能的提升是很有帮助的。


爬虫怎么判断网页有没有更新


2.304页面http状态码


当第二次请求页面访问的时候,该页面如果未更新,则会反馈一个304代码,而搜索引擎也会利用这个304http状态码来进行判断页面是否更新。


首先第一次肯定是要爬取网页的,假设是A.html,这个网页存储在磁盘上,相应地有个修改时间(也即是更新这个文件的时间)。那么第二次爬取的时候,如果发现这个网页本地已经有了,例如A.html,这个时候,你只需要向服务器发送一个If-Modified-Since的请求,把A.html的修改时间带上去。


如果这段时间内,A.html更新了,也就是A.html过期了,服务器就会HTTP状态码200,并且把新的文件发送过来,这时候只要更新A.html即可。


如果这段时间内,A.html的内容没有变,服务器就会返返回HTTP状态码304(不返回文件内容),这个时候就不需要更新文件。


3.文件大小不同,可以比对下


搜索引擎还会取出之前页面文件,和现在的文件进行对比,不过因为大部分网站都是一种替换式更新,往往比对文件大小很难说明问题,因此常见与页面链接变化配合使用。


4.Last-Modified文件最后修改时间,抓取最新更新的


这是http头部信息中的一个属性,主要是记录页面最后一次的修改时间,往往我们会发现,一些权重很高的网站,及时页面内容不更新,但是快照却还是能够每日更新,这其中就有Last-Modified的作用。通产情况下,下载网页我们使用HTTP协议,向服务器发送HEAD请求,可以得到页面的最后修改时间LastModifed,或者标签ETag。将这两个变量和上次下载记录的值的比较就可以知道一个网页是否跟新。这个策略对于静态网页是有效的。是对于绝大多数动态网页如ASP,JSP来说,LastModifed就是服务器发送Response的时间,并非网页的最后跟新时间,而Etag通常为空值。所以对于动态网页使用LastModifed和Etag来判断是不合适的,因此Last-Modified只是蜘蛛判断页面是否更新的一个参考值,而不是条件。


爬虫怎么判断网页有没有更新?以上介绍了四个判断网页有没有更新的方法,如今大数据时代,许多企业都会进行数据的采集,但是对方也会设置各种的限制,比如IP限制等,对于这个限制,爬虫可以使用IP代理精灵去突破限制。若是其他的限制,爬虫就要对症下药了,否则不能获取到网站数据。


最新资讯

推荐阅读

  1. 22

    2020-05

    推荐功能齐全又永久免费又功能齐全的IP代理池

    推荐功能齐全又永久免费又功能齐全的IP代理池!源自推广营销或者各式各样规定,有很多朋友都务必换 IP 的手机app,或者找IP代理 ,但是这类IP代理有很多,有没有既功能齐全又永久免费又功

  2. 22

    2021-02

    好的IP代理软件必须具有的四项功能

    好的IP代理软件必须具有的四项功能!随着网络信息技术的快速发展,越来越多的工作需要用到IP地址更换。因为付费的IP可以切换更加稳定快速的IP地址,大大节省很多工作时间,提高我们的工

  3. 08

    2020-01

    哪种HTTP代理IP性价比高?

    哪种HTTP代理IP性价比高?HTTP代理IP对于爬虫工作者来说并不陌生,毕竟需要天天与之打交道。HTTP代理IP作为爬虫与反爬虫斗争中的一大助力,自然至关重要,优质高效的HTTP代理IP可以让工作事半

  4. 13

    2019-08

    怎么更换电脑IP

    更换IP是使用电脑比较常见的事情,但是很多初学者并不知道IP该怎么更换,下面就为大家进行详细的介绍。1.打开电脑后,找到网络图标,右击选择属性。或者直接在桌面左下角的开始中,找到

  5. 06

    2019-11

    选择代理IP的注意事项

    选择代理IP的注意事项!大家对于代理IP是否都熟悉呢?其实大部分人还是很熟悉的。其实很多人都以为换IP是个非常简单的事情,但是换IP的方法也比较多,根据不同的需求会导致换IP的方法不同。

  6. 04

    2020-12

    代理IP除了换IP还有什么功能

    代理IP除了换IP还有什么功能?随着互联网的不断发展,IP代理如今是市面上需求比较旺盛的一个行业,也出现越来越多的IP代理商,但是有很多人都不知道代理IP除了换IP还有什么功能,那么今天IP