注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 解读网页referer的作用以及反爬虫的解决方法

解读网页referer的作用以及反爬虫的解决方法

来源:IP代理精灵 作者:admin 时间:2020-04-26 16:35:45

解读网页referer的作用以及反爬虫的解决方法!我们知道,referer的作用就是记录你在访问一个目标网站时,在访问前你的原网站的地址, 比如用Chrome从知乎的某个板块到另外一个,那么你在的这个网站就是原网站,按F12,选中Network选项,从页面内进入一个网站,可以从这个网站的header即头信息中,看到referer就是原来的那个网站。

解读网页referer的作用以及反爬虫的解决方法

由于referer是请求网页中,也就是发起HTTP请求中header的一部分,所以可以用来做网页的图片防盗链!比如一个网页的图,想用python下载到自己的电脑里,用urllib.request或者requests第三方库访问图片时,爬不下来, 这是因为python提交request申请的时候,就类似于在浏览器中的空地址栏里键入这个网页然后访问,没有referer,这时网站的设置比如是要求有referer,且referer的网站必须是你进来之前的网站,也就是这个图片的主页。

方法很简单! 既然要求你传入图片主页面的referer,在构造header的时候,传入Referer参数(注意R要大写),它的值为与这个图片链接相关的网站,或者这个图片链接地址的原网站就可以了,听起来很生涩,下面上代码。

from fake_useragent import UserAgent

伪装成浏览器

#ua = UserAgent()

headers = {'User-Agent':ua.random} #

一般网站伪装成这样也就够了,但是如果想爬图片,图片反盗链的话。如下

其实很好理解,就是告诉你要下载的那个图片页面,我是从主页面来的,现在把数据给我。

#headers = {'User-Agent':ua.random,'Referer':'这里放入图片的主页面'}#

然后在后续requests中传入header即可

最新资讯

推荐阅读

  1. 11

    2019-04

    代理IP如何帮助爬虫爬取淘宝商品价格信息的

    代理IP如何帮助爬虫是爬取淘宝商品价格数据的。这次的主要抓取目标是获取淘宝搜索结果页面的信息,提取商品名称和价格的信息数据。下面我们以手机为例。

  2. 06

    2019-09

    IP代理购买时需要注意的3个问题

    IP代理购买时需要注意的3个问题。知道代理IP的人越来越多了,不管是单纯的换IP,还是进行大量的数据采集,或者是游走于灰色之中,都是离不开代理IP这个工具的.假如您正在考虑购买代理服

  3. 12

    2019-11

    HTTP代理IP隧道技术是怎样的?

    HTTP代理IP隧道技术是怎样的?通过HTTP协议与代理服务器建立连接,协议信令中包含要连接到的远程主机的IP和端口号,如果代有身份验证还要加上授权信息,服务器收到信令后首先进行身份验证

  4. 04

    2019-06

    HTTP代理IP、HTTPS代理IP和Socks等代理IP的区别

    代理ip的种类较多,有透明代理IP、普通匿名代理、高级匿名代理IP、HTTP代理IP、HTTPS代理IP和Socks代理IP等,那么他们是怎么分类的,这些代理ip之间又有什么区别呢?下面IP代理精灵为大家介绍下

  5. 15

    2019-08

    代理IP用错可能会泄露真实IP

    代理IP是目前换IP最方便的软件,无论是在IP受到限制的时候,还是想隐藏真实IP的时候,都可以用它来帮忙。很多用户用代理IP就是想隐藏IP,但真实IP还是泄露了,被目标网站发现,这是为什么

  6. 18

    2019-05

    使用代理ip有什么好处

    现在,高匿代理ip时代已经到来,但是,还是有很多人不了解高匿代理ip到底有什么用,虽然随着网络科技的发展,网络对我们的生活带来了很多方便,也带来了更多的选择。使用高匿名代理IP,