注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP协助使用python抓取百度漂流瓶妹纸照片

代理IP协助使用python抓取百度漂流瓶妹纸照片

来源:互联网 作者:admin 时间:2019-04-02 17:25:19

1.分析


首先打开抓包神器 Fiddler ,然后打开漂流瓶首页,加载几页试试,在Fiddler中过滤掉图片数据以及非 http 200 状态码的干扰数据后,发现每一页的数据获取都很有规律,这就给抓取提供了便利。


看参数很容易明白,page_number 就是当前页码,page_size 就是当前页中包含的漂流瓶数量。


访问后得到的是一个json格式的数据,结构大致如下:

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.编码


这里采用的是 python2.7 + urllib2 + demjson 来完成此项工作。urllib2 是python2.7自带的库,demjson 需要自己安装下(一般情况下用python自带的json库就可以完成json解析任务,但是现在好多网站提供的json并不规范,这就让自带json库无能为力了。)


demjson 安装方式 (windows 不需要 sudo)


sudo pip install demjson


或者


sudo esay_install demjson


2.1获得一页内容

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.2根据url保存图片数据

代理IP协助使用python抓取百度漂流瓶妹纸照片

全部代码如下

代理IP协助使用python抓取百度漂流瓶妹纸照片


爬虫总是爬取一个网站信息时,IP地址就很容易被封,那么这时候就要切换IP地址,精灵IP代理海量ip,每天超过一千两百万IP供你选择,代理IP是爬虫的好助手。

最新资讯

推荐阅读

  1. 22

    2019-05

    服务器更换IP有哪些安全常识?

    更换IP虽然不常见,但在某些特定时候能保障网站更安全的运行,但IP作为网络中的一个重要标识,没有计划的更换必定会引起负面反应,可能是搜索引擎的惩罚,也可能是业务的流失。因此,

  2. 18

    2019-07

    如何快速更改电脑ip地址

    什么是ip地址?ip是中文网络之间互联的协议的英文缩写,意思就是连接网络的电脑需要的规则,也就是我们在连接网络的时候应该遵守的规定。任何计算机只有都遵守着个规定才能进行网络连

  3. 03

    2019-06

    代理ip地址的设置方法

    网络上有很多关于代理IP原理,代理IP作用的文章,关于代理IP的文章已经是老生常谈了,这里本人就不再多做解释了。那就说一下代理ip地址的设置方法,有人说这有什么好说的,非也,听我慢

  4. 02

    2019-07

    爬虫爱好者怎么搭建一个简单的代理IP池

    爬虫爱好者怎么搭建一个简单的代理IP池?相信很多爬虫爱好者在网上看到了很多关于如何搭建代理IP池的文章,他们说的头头是道,很有道理的样子,等你照着他们说的一顿操作猛如虎,结果

  5. 23

    2019-02

    学习爬虫攻略之如何应对反爬虫

    爬虫在访问网站的时候,需要带一些信息,比如伪装成为浏览器访问,否则就会被网站限制住,因为网站会根据请求信息来判断来者何人。而且除了这个检测方法外,还设置了其他的一些反爬虫

  6. 11

    2019-05

    代理ip对装修业务人员的作用

    说起装修行业,前几年可以说是做的风生水起,但是随着近几年房地产行业的增长,装修公司也是越开越多,要想拿到客户,那作为线下的市场工作者就得尤为上心,单凭着“鸡毛换糖:得精神