注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

来源:IP代理精灵 作者:admin 时间:2019-04-22 14:01:05

自从有了爬虫工作者这个职业后,也就有了反爬虫策略来对付他们,从此,爬虫与反爬虫之间的战争开始了。所谓知己知彼方能百战百胜,那么有哪些比较常见的反爬虫策略呢?又该怎么对付它们呢?下面ip代理精灵为大家讲述几种比较常见的反爬虫策略及应对方法。

代理IP知识:浅谈几种比较常见的反爬虫策略及应对方法

有一种比较普通的反爬虫策略:通过cookie限制抓取信息,比如我们模拟登陆之后,想拿到登陆之后某页面信息,千万不要以为模拟登陆之后就所有页面都可以抓了,有时候还需要请求一些中间页面拿到特定cookie,然后才可以抓到我们需要的页面。


解决方法:通过浏览器的F12查看器,观察具体整个过程都请求了哪些URL(主要包括HTML、JS、XHR),挨个试吧,试到成功为止。


另外一种比较常见的反爬虫模式当属采用JS渲染页面了。什么意思呢,就是返回的页面并不是直接请求得到,而是有一部分由JS操作DOM得到,所以那部分数据我们也拿不到咯。


解决方法:


1)一般JS或者XHR都是请求某个链接得到数据,所以需要我们去对应JS、XHR代码里面分析具体请求了哪个链接,然后采用同样的方式,用程序模拟请求。


2)有一些开源工具包是可以执行js的,例如HtmlUnit,可以试试哦(不过执行起来比较慢,这是缺点)


还有一种反爬虫,实在登录部分做了手脚,对用户名或者密码进行加密处理。而我们模拟登陆的时候如果用原始用户名密码的话,肯定登录失败的。


解决方法:


1)一般加密都在某个JS里面,所以只能分析JS,在我们的程序里面进行加密了。


2)用HtmlUnit等开源工具,直接执行JS,直接就可以登录啦。


最恶心最恶心的反爬虫,把页面全部转换成图片,你抓取到的内容全部隐藏在图片里。想提取内容,休想。


解决办法:唯一解决的办法:图像识别吧,但是感觉代价很大。。。


这些只是爬虫与反爬虫之间的战争缩影,反爬虫策略在不断升级,为了能顺利完成爬取工作,爬虫策略也要不断的升级。


最新资讯

推荐阅读

  1. 15

    2019-05

    代理服务器的类型有哪些?有什么用途?

    代理服务器是位于客户端计算机和Internet之间的计算机,并为客户端提供间接网络服务。它可以驻留在用户的本地计算机上,也可以驻留在用户的计算机和因特网上的目标服务器之间的各个点上

  2. 16

    2019-05

    Python爬虫必须用代理IP吗

    很多人都认为,Python爬虫必须用ip代理,倘若没有了代理ip将寸步难行,但也很多人觉得代理ip不是必需品,能够用爬取工具代替,所以Python爬虫必须用代理IP吗?使用采集工具,有人说。用来抓

  3. 02

    2019-04

    代理IP协助使用python抓取百度漂流瓶妹纸照片

    首先打开抓包神器 Fiddler ,然后打开漂流瓶首页,加载几页试试,在Fiddler中过滤掉图片数据以及非 http 200 状态码的干扰数据后,发现每一页的数据获取都很有规律,这就给抓取提供了便利。

  4. 16

    2019-03

    IP代理精灵:多线程的同步和异步是什么意思

    限制网络发展快,数据产生也快,这对网络的性能挑战越来越大,多线程的同步和异步则应运而生。使用多线程的同步和异步获取信息,要注意什么?下面我们来了解下多线程的同步和异步是什

  5. 05

    2019-05

    关于代理服务器的类型

    代理服务器是位于客户端计算机和Internet之间的计算机,为客户端提供间接网络服务。它可以驻留在用户的本地计算机上,也可以驻留在用户计算机和Internet上的目标服务器之间的各个点上。代

  6. 14

    2019-05

    免费代理为什么弊大于利

    免费代理为什么弊大于利?有时似乎每个人都在关注自己的在线隐私。媒体中的各种泄密和安全丑闻只会增加这种全球热潮。为了保护个人的隐私,用户可以使用当今丰富的各种免费代理服务,

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961