注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 爬虫被封禁的常见原因

爬虫被封禁的常见原因

来源:互联网 作者:admin 时间:2019-04-14 16:05:00

爬虫采集成为很多公司企业个人的需求,但正因为如此,反爬虫的技术也层出不穷,像时间限制、IP限制、验证码限制等等,都可能会导致爬虫无法进行,所以也出现了很多像代理IP、时间限制调整这样的方法去接触反爬虫限制,当然具体的操作方法需要你针对性的去研究。

爬虫被封禁的常见原因

爬虫采集数据过程中经常会出现受限问题,那么爬虫被封禁的常见原因有哪些呢?


1、检查JavaScript


如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的JavaScript执行有问题。


2、检查正常浏览器提交的参数


如果你准备向网站提交表单或发出POST请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用Chrome浏览器的网络面板(快捷键F12打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的POST命令,确认你的每个参数都是正确的。


3、是否有合法的Cookie


如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的cookie。确认在加载每个页面时cookie都被正确调用,而且你的cookie在每次发起请求时都发送到了网站上。


4、IP被封禁


如果你在客户端遇到了HTTP错误,尤其是403禁止访问错误,这可能说明网站已经把你的IP当作机器人了,不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除,要么就换个IP地址(可以使用代理IP,比如极光代理)。如果你确定自己并没有被封杀,那么再检查下面的内容。


5、确认你的爬虫在网站上的速度不是特别


快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,也是IP被网站列入黑名单的首要原因。给你的爬虫增加延迟,让它们在夜深人静的时候运行。切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。


6、修改你的请求头(必须做的事情)


有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。


7、确认你没有点击或访问任何人类用户通常不能点击或接入的信息。


最新资讯

推荐阅读

  1. 23

    2019-05

    更改ip地址会带来什么影响

    更改ip地址会带来什么影响呢?一般来说是没什么影响的,因为ip地址主要是为了连接上网使用的。但是有一些电脑的ip地址设定之后并没有自动的连接可以上网的地址,这个时候就要通过换ip软

  2. 20

    2019-05

    如何使用代理服务器上网

    前几天,有两个同事咨询过我,如何使用代理上网,我发现其过程还是挺多的,与其我一步步讲给他们听,不如写一个教程,这样他们也更能理解和操作。下面我就介绍一下怎么使用代理服务器

  3. 25

    2019-04

    爬虫为什么可以使用动态vps隐藏ip并提高爬取效率

    目前网站的反爬虫策略非常的完善,越是成熟的网站,想要获取信息越难,因为漏洞少,那只能伪装成用户去拿数据了,一个用户不会拿这么多的数据,最好是要伪装大量的用户去获取数据。而

  4. 30

    2019-05

    什么是免费代理服务器?

    什么是免费代理服务器?在使用软件搜索代理服务器地址时,会在验证状态栏中出现类似“要密码”、“Free”等字样。如果你把“Free”的地址设置为代理服务器,那你就会发现访问网页时不会

  5. 09

    2019-09

    代理ip自动刷网页的浏览量,几十万阅读量不是梦

    代理ip自动刷网页的浏览量,几十万阅读量不是梦。每当看到几十万的阅读量的文章就心生羡慕,为什么别人的文章阅读量如此之高,自己的文章却没什么阅读量,别人这些阅读量这么高是真的吗

  6. 22

    2019-11

    代理ip和api接口获取的方法

    代理ip和api接口获取的方法!代理服务器其功能就是代理网络用户去取得网络信息。形象的说:它是网络信息的中转站。代理服务器就好象一个大的Cache,这样就能显著提高浏览速度和效率。更重