注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP协助使用python抓取百度漂流瓶妹纸照片

代理IP协助使用python抓取百度漂流瓶妹纸照片

来源:互联网 作者:admin 时间:2019-04-02 17:25:19

1.分析


首先打开抓包神器 Fiddler ,然后打开漂流瓶首页,加载几页试试,在Fiddler中过滤掉图片数据以及非 http 200 状态码的干扰数据后,发现每一页的数据获取都很有规律,这就给抓取提供了便利。


看参数很容易明白,page_number 就是当前页码,page_size 就是当前页中包含的漂流瓶数量。


访问后得到的是一个json格式的数据,结构大致如下:

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.编码


这里采用的是 python2.7 + urllib2 + demjson 来完成此项工作。urllib2 是python2.7自带的库,demjson 需要自己安装下(一般情况下用python自带的json库就可以完成json解析任务,但是现在好多网站提供的json并不规范,这就让自带json库无能为力了。)


demjson 安装方式 (windows 不需要 sudo)


sudo pip install demjson


或者


sudo esay_install demjson


2.1获得一页内容

代理IP协助使用python抓取百度漂流瓶妹纸照片



2.2根据url保存图片数据

代理IP协助使用python抓取百度漂流瓶妹纸照片

全部代码如下

代理IP协助使用python抓取百度漂流瓶妹纸照片


爬虫总是爬取一个网站信息时,IP地址就很容易被封,那么这时候就要切换IP地址,精灵IP代理海量ip,每天超过一千两百万IP供你选择,代理IP是爬虫的好助手。

最新资讯

推荐阅读

  1. 11

    2020-09

    自动更换ip地址的软件

    自动更换ip地址的软件!代理IP是做网站推广必不可少的资源之一,尤其是一些需要换IP的平台推广如:百度知道、天涯论坛、百度贴吧、搜狗问问等。然而这些平台都是目前国内影响力最大,推

  2. 24

    2019-05

    ip代理怎么选择?有什么需要注意?

    随着大数据的兴起,每个公司都需要收集自己的大数据来进行分析,而一般获取大数据就不可或缺低要谈到ip代理,但是市面上IP代理提供商这么多,我们该如何选择?有什么需要注意?

  3. 04

    2019-09

    什么是动态代理ip?跟普通代理ip有什么区别?

    在区分什么是动态代理IP之前,首先我们要弄清楚,什么是代理IP?就是你在你的浏览器设置选项中(IE/火狐/chrome),手动输入你的代理ip地址。然后用浏览器去搜索,比如说访问百度,在百度

  4. 31

    2019-10

    伪装自己的ip地址有什么用?

    伪装自己的ip地址有什么用?随着互联网的普及,人们每天都在和网络打交道。我们都知道,上网是需要使用IP地址的否则无法上网,即使是使用无线网络,也是需要分配IP地址才能连接上网的。

  5. 06

    2020-01

    为什么说高质量HTTP代理你值得拥有

    为什么说高质量HTTP代理你值得拥有!看到这个标题大家会在想什么是高质量HTTP代理?在现在的互联网时代,当你上网时,你的IP地址就相当于网上身份证。我们HTTP代理安全性可以分为三个层次。

  6. 20

    2020-11

    手机换ip软件手机动态IP专业软件