注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 代理IP协助使用python抓取百度漂流瓶妹纸照片

代理IP协助使用python抓取百度漂流瓶妹纸照片

来源:互联网 作者:admin 时间:2019-04-02 17:25:19

1.分析


首先打开抓包神器 Fiddler ,然后打开漂流瓶首页,加载几页试试,在Fiddler中过滤掉图片数据以及非 http 200 状态码的干扰数据后,发现每一页的数据获取都很有规律,这就给抓取提供了便利。


看参数很容易明白,page_number 就是当前页码,page_size 就是当前页中包含的漂流瓶数量。


访问后得到的是一个json格式的数据,结构大致如下:

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.编码


这里采用的是 python2.7 + urllib2 + demjson 来完成此项工作。urllib2 是python2.7自带的库,demjson 需要自己安装下(一般情况下用python自带的json库就可以完成json解析任务,但是现在好多网站提供的json并不规范,这就让自带json库无能为力了。)


demjson 安装方式 (windows 不需要 sudo)


sudo pip install demjson


或者


sudo esay_install demjson


2.1获得一页内容

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.2根据url保存图片数据

代理IP协助使用python抓取百度漂流瓶妹纸照片

全部代码如下

代理IP协助使用python抓取百度漂流瓶妹纸照片


爬虫总是爬取一个网站信息时,IP地址就很容易被封,那么这时候就要切换IP地址,精灵IP代理海量ip,每天超过一千两百万IP供你选择,代理IP是爬虫的好助手。

最新资讯

推荐阅读

  1. 16

    2019-05

    动态IP可以做VPS服务器吗

    动态IP服务器就是DHCP服务器的一个俗称,动态主机设置协议(Dynamic Host Configuration Protocol, DHCP)是一个局域网的网络协议,使用UDP协议工作,主要有两个用途:给内部网络或网络服务供应商自动

  2. 20

    2019-06

    如何获取代理IP

    如何获取代理IP?获取代理IP可以在网上直接搜索关键词就可以了,也可以通过广告或者各种网络渠道。在搜索后就可以发现网上有很多代理IP软件,可以说是各种各样,只要找到符合自己想要的

  3. 24

    2018-11

    ip代理软件有什么用?应用于哪些场景?

    今天给大家介绍一个实用的工具--IP代理!他有什么作用呢?应用于哪些场景?应用的场景比较多,不仅仅是突破IP限制,还可以隐藏真实IP等等。

  4. 13

    2019-04

    ip代理软件的原理是什么?适用场景有哪些?

    顺应互联网时代发展的需求,现在市面上的代理ip比比皆是,那么这些ip代理软件的原理到底是什么?怎么样才能将它的作用最大化?ip代理软件原理:原理就是有一台电脑(服务器)代替你访问你

  5. 17

    2019-06

    数据采集为什么要用IP代理?

    互联网的迅速发展带动了大数据的应用,数据采集成为了一个热门的行业,大数据样本的获得需要通过数据爬虫来时限,爬虫工作者一般都会解用爬虫代理IP这个工具,这是因为再数据采集的过

  6. 20

    2019-05

    代理服务器的作用是什么?怎么设置?

    关于代理服务器以及代理服务器的作用,很多人都可能了解的似是而非,能了解一点,却不并不是很透彻。那么,今天,小编就来讲一讲代理服务器的作用是什么以及怎么设置这两个问题。问题

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961