注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

来源:IP代理精灵 作者:admin 时间:2019-04-22 14:01:05

自从有了爬虫工作者这个职业后,也就有了反爬虫策略来对付他们,从此,爬虫与反爬虫之间的战争开始了。所谓知己知彼方能百战百胜,那么有哪些比较常见的反爬虫策略呢?又该怎么对付它们呢?下面ip代理精灵为大家讲述几种比较常见的反爬虫策略及应对方法。

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

有一种比较普通的反爬虫策略:通过cookie限制抓取信息,比如我们模拟登陆之后,想拿到登陆之后某页面信息,千万不要以为模拟登陆之后就所有页面都可以抓了,有时候还需要请求一些中间页面拿到特定cookie,然后才可以抓到我们需要的页面。


解决方法:通过浏览器的F12查看器,观察具体整个过程都请求了哪些URL(主要包括HTML、JS、XHR),挨个试吧,试到成功为止。


另外一种比较常见的反爬虫模式当属采用JS渲染页面了。什么意思呢,就是返回的页面并不是直接请求得到,而是有一部分由JS操作DOM得到,所以那部分数据我们也拿不到咯。


解决方法:


1)一般JS或者XHR都是请求某个链接得到数据,所以需要我们去对应JS、XHR代码里面分析具体请求了哪个链接,然后采用同样的方式,用程序模拟请求。


2)有一些开源工具包是可以执行js的,例如HtmlUnit,可以试试哦(不过执行起来比较慢,这是缺点)


还有一种反爬虫,实在登录部分做了手脚,对用户名或者密码进行加密处理。而我们模拟登陆的时候如果用原始用户名密码的话,肯定登录失败的。


解决方法:


1)一般加密都在某个JS里面,所以只能分析JS,在我们的程序里面进行加密了。


2)用HtmlUnit等开源工具,直接执行JS,直接就可以登录啦。


最恶心最恶心的反爬虫,把页面全部转换成图片,你抓取到的内容全部隐藏在图片里。想提取内容,休想。


解决办法:唯一解决的办法:图像识别吧,但是感觉代价很大。。。


这些只是爬虫与反爬虫之间的战争缩影,反爬虫策略在不断升级,为了能顺利完成爬取工作,爬虫策略也要不断的升级。


最新资讯

推荐阅读

  1. 25

    2019-04

    动态IP拨号服务器是什么

    拨号服务器又叫动态拨号vps、动态vps或者拨号vps,主要是相对于平常所见到的固定IP 的VPS服务器而言的。ip代理精灵可以在VPS服务器上实现更换IP的作用,拨一次号换一次IP,从而实现不断更换IP

  2. 24

    2019-04

    使用代理IP常见的几种错误

    在使用代理IP的过程中,经常会遇到一些问题,可能一夜醒来,发现代理IP全都不能用了,也有可能就吃了个中午饭,下午的代理IP就大面积失效了,这是为什么呢,是代理IP的质量突然下降了吗

  3. 09

    2019-10

    爬虫使用代理ip和随机ua突破反爬机制

    爬虫使用代理ip和随机ua突破反爬机制。在爬取网站的时候,经常会遇到一个问题,就是很多网站上都部署了反爬虫机制,当服务器检测到一段时间内同一个IP持续密集的访问网站,则将其判定为

  4. 28

    2020-02

    代理服务器的使用 代理IP地址设置方法

    代理服务器的使用 代理IP地址设置方法!在互联网时代,为了工作的便捷或是想浏览某些站点,我们需要借助代理IP。那代理服务器如何使用呢?代理ip地址怎么设置呢?今天ip代理精灵小编就来简单

  5. 11

    2019-05

    如何利用代理ip让自媒体涨粉丝

    自媒体是现代经济下的产物,自媒体不仅仅包括企业的一种宣传,个人在自媒体上也可发发表自己的观点,发布一些视频等等。顾名思义,自媒体就是自己掌握的,能让大众所看到的一个媒介平

  6. 18

    2019-06

    为什么要用代理服务器

    为什么要用代理服务器?一般会使用代理服务器的用户有两种情况:使用虚拟身份信息或地理位置;访问国内不允许访问的外国网站。设置代理服务器的话,有以下优点。