注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 爬虫被封禁的常见原因

爬虫被封禁的常见原因

来源:互联网 作者:admin 时间:2019-04-14 16:05:00

爬虫采集成为很多公司企业个人的需求,但正因为如此,反爬虫的技术也层出不穷,像时间限制、IP限制、验证码限制等等,都可能会导致爬虫无法进行,所以也出现了很多像代理IP、时间限制调整这样的方法去接触反爬虫限制,当然具体的操作方法需要你针对性的去研究。

爬虫被封禁的常见原因

爬虫采集数据过程中经常会出现受限问题,那么爬虫被封禁的常见原因有哪些呢?


1、检查JavaScript


如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的JavaScript执行有问题。


2、检查正常浏览器提交的参数


如果你准备向网站提交表单或发出POST请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用Chrome浏览器的网络面板(快捷键F12打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的POST命令,确认你的每个参数都是正确的。


3、是否有合法的Cookie


如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确认在加载每个页面时cookie都被正确调用,而且你的cookie在每次发起请求时都发送到了网站上。


4、IP被封禁


如果你在客户端遇到了HTTP错误,尤其是403禁止访问错误,这可能说明网站已经把你的IP当作机器人了,不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除,要么就换个IP地址(可以使用代理IP,比如极光代理)。如果你确定自己并没有被封杀,那么再检查下面的内容。


5、确认你的爬虫在网站上的速度不是特别


快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,也是IP被网站列入黑名单的首要原因。给你的爬虫增加延迟,让它们在夜深人静的时候运行。切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。


6、修改你的请求头(必须做的事情)


有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。


7、确认你没有点击或访问任何人类用户通常不能点击或接入的信息。


最新资讯

推荐阅读

  1. 30

    2019-10

    解析使用代理的优点和缺点

    解析使用代理的优点和缺点

  2. 04

    2019-11

    深入剖析爬虫所需要的代理IP

    深入剖析爬虫所需要的代理IP!析爬虫所需要的代理IP是什么?为什么爬虫需要用到代理ip。爬取某些网站时,我们经常会设置代理 IP 来避免爬虫程序被封。我们获取代IP地址方式通常提取国内的知

  3. 21

    2021-01

    代理IP可以在没有网络时候使用吗

    代理IP可以在没有网络时候使用吗?有人因为没有网络不能上网,想使用代理IP上网,结果自然不能如愿,问客服:没有网络可以使用代理IP上网吗?

  4. 23

    2019-09

    如何选择合适自己的快速换网页IP的软件?

    如何选择合适自己的快速换网页IP的软件?二十一世纪的今天,在飞速发展的互联网世界,我们的本地IP有时会因为被对方网站列入黑名单,或者地域限制等因素,导致无法正常访问目标网站。为

  5. 18

    2019-04

    如何匿名访问网页?

    你确定你的上网活动是隐私吗?再想一想。据《今日美国报》网站报道,不仅是你的浏览过程被网站、搜索引擎和社交网络跟踪,还会被你的网络服务提供者,网页浏览器,政府以及上百家网络

  6. 27

    2020-03

    没有优质代理IP,爬虫会怎样?

    没有优质代理IP,爬虫会怎样? 大数据时代来临,爬虫独步天下,混得有声有色。然而,一物降一物,反爬虫应运而生,并且不断进化,爬虫工作举步维艰,若不能升级、进化,只能被淘汰