注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 网站反爬虫和爬虫的应对方法

网站反爬虫和爬虫的应对方法

来源:互联网 作者:admin 时间:2019-02-22 15:20:42

网站反爬虫比较多,robots限制是最基本的,告诉爬虫们哪些是不可以爬取的。还有其他的限制,比如常见的有IP限制,验证码限制,还有User-Agent检测,JS脚本等等,不同的反爬虫可以起到不同的效果。


网站反爬虫和爬虫的应对方法


1.robots.txt限制


搜索引擎本身就是一个超级大的爬虫,爬虫可以24h不间断的在网上爬取着新的信息,并返回给数据库,但是这些搜索引擎的爬虫都遵守着一个协议:robots.txt


robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。当然在特定情况下,比如说我们爬虫的获取网页的速度,和人类浏览网页是差不多的,这并不会给服务器造成太大的性能损失,在这种情况下,我们是可以不用恪守robots协议的。


2.JS脚本限制


举个例子:如果想爬取某个网站,在请求之前,它会有一个验证页面来验证你是否机器。即会通过js代码生成一大段随机的数字,然后要求浏览器通过js的运算得出这一串数字的和,再返回给服务器。


解决方法:使用PhantomJS


PhantomJS是一个Python包,他可以在没有图形界面的情况下,完全模拟一个”浏览器“,js脚本验证什么的再也不是问题了。


3.User-Agent检测


无论是浏览器还是爬虫程序,在向服务器发起网络请求的时候,都会发过去一个头文件:headers,表明身份。对于爬虫程序来说,最需要注意的字段就是User-Agent,很多网站都会建立user-agent白名单,只有属于正常范围的user-agent才能够正常访问。


解决方法:可以自己设置一下user-agent,或者更好的是,可以从一系列的user-agent里随机挑出一个符合标准的使用。


上文介绍了关于三种网站反爬虫的解决方法,仅供参考,若是在爬取的过程中还是遇到问题,可能是网站还有其他的反爬虫,这在爬取之前是需要进行分析,并找到问题解决的。


如:P限制,可以使用IP代理精灵;验证码限制,可以使用人工打码或者验证码识别...


最新资讯

推荐阅读

  1. 14

    2019-05

    网络爬虫如何获得大量动态ip进行数据抓取

    通常在数据爬取的时候,数据量相对较大,单个爬虫抓取速度太慢了,使用爬虫都是要多个爬虫抓取的,这时候就需要使用IP代理,使用多个动态IP来抓取可以提高爬虫的效率,同时降低单个IP访

  2. 15

    2019-10

    代理防火墙的含义及基本知识

    代理防火墙的含义及基本知识!什么是代理防火墙,有什么用?代理防火墙是一种网络安全系统,它通过过滤应用层的消息来保护网络资源。代理防火墙也可以称为应用防火墙或网关防火墙。

  3. 08

    2019-11

    IP代理和http代理的区别

    IP代理和http代理的区别!我们都知道,IP代理和http代理都可以更换IP,那么IP代理和http代理有什么区别呢?今天ip代理精灵为大家详细介绍一下。

  4. 12

    2019-04

    HTTPS代理有哪些优势?

    对于HTTP和HTTPS,只要上网的人基本都是认识的,看起来HTTPS只是比HTTP多了一个“S”,但实际上并不是那么简单的。HTTPS可以说是HTTP的安全版,从这一点上来看,大家应该都会选择使用HTTPS的,但

  5. 05

    2019-11

    代理IP需要避免的四大误区

    代理IP需要避免的四大误区!在互联网信息时代,互联网很多工作都需要用到代理IP,选择一个好的代理IP池,有助于更高效快捷的完成工作任务。所以,选择代理IP很重要,代理IP需要避免哪些误

  6. 31

    2019-07

    动态ip代理可以突破哪些IP限制

    动态ip代理可以突破哪些IP限制?代理的作用不少,主要是充当中间商,为用户获取信息,还可以突破各种关于IP的限制,比如:1.突破中国电信的IP封锁:中国电信用户有很多网站是被限制访问