注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 爬虫被封禁的常见原因

爬虫被封禁的常见原因

来源:互联网 作者:admin 时间:2019-04-14 16:05:00

爬虫采集成为很多公司企业个人的需求,但正因为如此,反爬虫的技术也层出不穷,像时间限制、IP限制、验证码限制等等,都可能会导致爬虫无法进行,所以也出现了很多像代理IP、时间限制调整这样的方法去接触反爬虫限制,当然具体的操作方法需要你针对性的去研究。

爬虫被封禁的常见原因

爬虫采集数据过程中经常会出现受限问题,那么爬虫被封禁的常见原因有哪些呢?


1、检查JavaScript


如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的JavaScript执行有问题。


2、检查正常浏览器提交的参数


如果你准备向网站提交表单或发出POST请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用Chrome浏览器的网络面板(快捷键F12打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的POST命令,确认你的每个参数都是正确的。


3、是否有合法的Cookie


如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确认在加载每个页面时cookie都被正确调用,而且你的cookie在每次发起请求时都发送到了网站上。


4、IP被封禁


如果你在客户端遇到了HTTP错误,尤其是403禁止访问错误,这可能说明网站已经把你的IP当作机器人了,不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除,要么就换个IP地址(可以使用代理IP,比如极光代理)。如果你确定自己并没有被封杀,那么再检查下面的内容。


5、确认你的爬虫在网站上的速度不是特别


快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,也是IP被网站列入黑名单的首要原因。给你的爬虫增加延迟,让它们在夜深人静的时候运行。切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。


6、修改你的请求头(必须做的事情)


有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。


7、确认你没有点击或访问任何人类用户通常不能点击或接入的信息。


最新资讯

推荐阅读

  1. 11

    2019-11

    爬虫IP被封的六种解决方案

    爬虫IP被封的六种解决方案!爬虫在采集数据的过程中,不可避免会遇到反爬虫封锁问题,这让我们的爬虫工作不得不终止下来,那遇到这种情况该怎么办呢?有没有对应的解决方案呢?今天ip代理

  2. 14

    2020-02

    正确分配与高效管理IP地址的方式

    正确分配与高效管理IP地址的方式!HCIE考试俱乐部 2019-10-15 IP地址是电脑网络互通的基础,在实际工作中,网络管理员、安全员的大量日常工作与IP地址有关。

  3. 16

    2019-05

    获取代理ip地址的几种方法

    要用到代理服务器​,前提需要获得代理服务器具体地址,它应当是ip地址或URL,比如“ www.ipjldl.com”。如果代理服务器提供URL当做它的地址,那么有时候代表此代理服务器的IP地址不稳定,它

  4. 21

    2019-06

    代理IP背后的原理

    讲解各种代理IP背后的原理:知道代理IP的人越来越多了,不管是单纯的换IP,还是进行大量的数据采集,或者是游走于灰色之中,都是离不开代理IP这个工具的,但是很少人会关注各种代理IP背

  5. 17

    2020-01

    哪种ip代理软件能够独享宽带网络?

    哪种ip代理软件能够独享宽带网络?当一个行业有足够的市场需求时,很快整个行业就会得到更好的发展,例如改变了 IP地址 的软件站点的出现,而且时间不长,但在几年内,我们的 IP代理 行业

  6. 11

    2019-05

    使用代理IP进行数据采集被拒绝怎么办

    使用代理IP​进行数据采集被拒绝怎么办?无论是网络爬虫的公司或者是个人爱好者,都曾经遇到过在数据采集的过程中呗拒绝的状况,我们举个例子分析一下,为什么会被拒绝。原因一:IP地