注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

来源:IP代理精灵 作者:admin 时间:2019-04-22 14:01:05

自从有了爬虫工作者这个职业后,也就有了反爬虫策略来对付他们,从此,爬虫与反爬虫之间的战争开始了。所谓知己知彼方能百战百胜,那么有哪些比较常见的反爬虫策略呢?又该怎么对付它们呢?下面ip代理精灵为大家讲述几种比较常见的反爬虫策略及应对方法。

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

有一种比较普通的反爬虫策略:通过cookie限制抓取信息,比如我们模拟登陆之后,想拿到登陆之后某页面信息,千万不要以为模拟登陆之后就所有页面都可以抓了,有时候还需要请求一些中间页面拿到特定cookie,然后才可以抓到我们需要的页面。


解决方法:通过浏览器的F12查看器,观察具体整个过程都请求了哪些URL(主要包括HTML、JS、XHR),挨个试吧,试到成功为止。


另外一种比较常见的反爬虫模式当属采用JS渲染页面了。什么意思呢,就是返回的页面并不是直接请求得到,而是有一部分由JS操作DOM得到,所以那部分数据我们也拿不到咯。


解决方法:


1)一般JS或者XHR都是请求某个链接得到数据,所以需要我们去对应JS、XHR代码里面分析具体请求了哪个链接,然后采用同样的方式,用程序模拟请求。


2)有一些开源工具包是可以执行js的,例如HtmlUnit,可以试试哦(不过执行起来比较慢,这是缺点)


还有一种反爬虫,实在登录部分做了手脚,对用户名或者密码进行加密处理。而我们模拟登陆的时候如果用原始用户名密码的话,肯定登录失败的。


解决方法:


1)一般加密都在某个JS里面,所以只能分析JS,在我们的程序里面进行加密了。


2)用HtmlUnit等开源工具,直接执行JS,直接就可以登录啦。


最恶心最恶心的反爬虫,把页面全部转换成图片,你抓取到的内容全部隐藏在图片里。想提取内容,休想。


解决办法:唯一解决的办法:图像识别吧,但是感觉代价很大。。。


这些只是爬虫与反爬虫之间的战争缩影,反爬虫策略在不断升级,为了能顺利完成爬取工作,爬虫策略也要不断的升级。


最新资讯

推荐阅读

  1. 17

    2019-04

    代理ip软件让营销变得不再难

    在长期的营销人员的课每日必做的事情中,让这些营销人员感到无奈以及困扰的就是,进行点击流量的增加。从工作量来说,这工作量属于所有工作中最小,但是从工作的繁琐程度来说,这是最

  2. 21

    2019-05

    如何在手机上更换国内不同地区的IP

    手机广泛应用后,因为便于携带,使用也方便,手机用户愈来愈多,许多人逐渐用手机工作。可是不换ip特别容易被禁掉,这就要手机也能换ip,所以如何在手机上更换国内不同地区的IP呢?接下

  3. 06

    2019-09

    大数据采集为什么要使用IP代理,代理IP的特点是什么?

    大数据采集为什么要使用IP代理,代理IP的特点是什么?互联网的迅速发展带动了大数据的应用,数据采集成为了一个热门的行业,大数据样本获得需要通过数据爬虫来实现,而爬虫工作者一般都绕

  4. 20

    2019-05

    代理服务器怎么操作?有什么风险?

    最近很多用户咨询我们代理服务器方面的问题,小编针对这些问题做了一些整理。今天就和大家简单的介绍一下代理服务器那些事儿。什么是代理服务器?代理服务器充当您和互联网之间的网关

  5. 02

    2019-05

    怎么验证一个代理IP是否高级匿名代理

    用户通常通过代理来突破限制,如局域网对上网用户的端口、目的网站、协议、游戏、即时通讯软件等的限制,网站对于IP的访问频率、访问次数的限制等;另一方面,通过代理也可以隐藏用户的

  6. 21

    2018-11

    代理ip怎么用?免费的ip代理器哪个好用?

    无论是出于对网络安全的考虑,还是互联网合作者的必备工具,代理ip是一项非常重要的网络工具。如今网络中黑客出入频繁,一个不小心就泄露我们的信息让人有机可乘。