注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 如何使用动态ip爬取豆瓣电影数据?

如何使用动态ip爬取豆瓣电影数据?

来源:IP代理精灵 作者:admin 时间:2020-03-25 17:40:55

如何使用动态ip爬取豆瓣电影数据?学爬虫对一个电影爱好者来说还是挺有用的,如果你常常闹片荒,豆瓣top榜单也拯救不了你,那么就自己动手吧。

如何使用动态ip爬取豆瓣电影数据?

(一)反爬虫策略分析:之前其实有搜到过笑虎大大的文章:单机30分钟抓取豆瓣电影7万+数据:论爬虫策略的重要性(附全部数据下载地址),但是发现单 ip +随机cookie的方法已经失效了。经过我不断摸索,总结规律如下。

(1)单个ip不带cookie访问多次,ip不一会被封

(2)首次访问返回cookie值,带同一个cookie值连续访问,几分钟被封;带不同cookie值访问,大约十分钟之后,IP还是被封了。

(3)单个ip低速访问(10s以上),不会被封

(二) 爬虫策略分析:简单来说,有这么几个防止反爬方法:带随机User Agent:最简单,新手也都会设置爬取间隔时间: 简单,但是大大降低效率 带可用cookie:可难可容易找规律,会需要带上一些认证或者解密的数值去计算 使用代理:简单粗暴有效,但是维护代理是个问题 由于单个ip怎么样都会被封,所以我投向了代理的怀抱,常见的有 代理IP 和动态 vps 。爬虫策略大致如下: 三个随机:随机UA,随机代理,随机cookie 网上免费代理一抓一大把,质量低下,不稳定,一开始自己写了个proxypool,来过滤各大网站可能的ip再去爬,好不容易抓到一些能用,过了一会,这些ip又失效,或者又被封。最后遂决定还是得搞个动态的ip池。 对于使用免费代理: 可以参考git上的一个开源项目:jhao104/proxy。用了几个类似的,感觉这个是最好的,它主要用flask做了一个api来实时刷新可用ip,不仅可以抓取各大主流免费代理ip,还能定时检验ip的可用性。但是这个项目还是有一个问题,比如当我设定抓取的间隔为10秒之后,执行任务的时间可能大于10s,会报一个warning引发整个程序暂停。 对于使用付费代理: 我个人不想再用免费低质的ip,遂买了那种包天的套餐,后来又丑陋地膜改了下这个jhao104/proxy的开源项目,只留下主要api+抓取proxy+数据库的功能,每5秒一刷10个ip,爽歪歪~ 用付费 IP代理 的朋友可以参考下我的方法~proxy丰富的话,爬取数据时候可以不需要sleep的,另外用 动态ip 拨号vps也可以达到相同的效果。

(三)代码实现:

爬取过程: 首先找到豆瓣的索引页面,通过查看源代码发现,页面内容是动态显示的。通过谷歌浏览器自带的F12->Network->XHR,找到json的入口。 动态页面有两种解析方式,一种直接用自带的json库,另一种selenium库+Phantom JS来模拟真实浏览器。点开页面,幸好~呼呼,没用加密,直接用json库就可以。 json网址的格式大概是这样的: https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start=20&genres=%E5%96%9C%E5%89%A7 通过观察,发现start=用来控制页数,每个页面有20部电影,20一整数一变。每个页面有相关电影名字,链接等。 打开单个电影页面,比如:movie.douban.com/subjec。我所爬的信息如图中所示。

某部最近看了喜欢的电影OK,大致思路来了。首先我们获取每个json页面的film信息,当json页面没有返回内容时候,解析停止,再去逐条分析单个电影静态页面的信息,打包入库。

2. 几个关键点: 解析方式:选了xpath,效率比某soup高很多,正则解析效率最高,但是开发效率较低(其实是我背不出 多线程:爬虫算是IO型任务,使用多线程。用的是multiprocessing.dummy,似乎鲜为人知,比threading感觉使用上简单一点,不是很明白两者之间的区别?之后会尝试下和threading比比效率。 MongoDB: Proxy和电影的信息都存在Mongodb里,其实用redis存proxy更好,但是我不高兴开那么多数据库了,后来发现mongodb似乎各种不稳定……有个topology was detroyed的错误时常发生导致数据库失联,有老铁知道这是为啥嘛? 爬proxy时间间隔:这个其实还挺重要,因为代理有效时效有限(我买的是保证五分钟),最好的效果应该是代理池里数量稍大于实际用量,也就是假设proxy可用率为50%,5秒用坏一个proxy,五分钟proxy失效,那么大概设定平均略小于2.5秒左右刷新1个proxy比较好。如果proxy在数据库里冗余,大量失效proxy会导致爬虫效率降低。

(四)成果 爬取结果: 四核开了四线程,爬虫效率大概是十分钟400部左右,所以真的不明白为什么 @笑虎 大大可以半小时爬70000部,难道他的mac是100核的?

总之,大概加起来爬了二十多个小时终于爬完了……成果如下。

剧情片: 9,843部

喜剧片: 8,912部

爱情片: 7,714部

动作片: 6,065部

惊悚片: 5,776部

犯罪片: 4,610部

恐怖片: 4,113部

悬疑片: 3,895部

冒险片: 3,060部

奇幻片: 2,842部

科幻片: 2,665部

战争片: 1,822部

传记片: 1,531部

历史片: 1,464部

音乐片: 1,305部

同性片: 1,267部

歌舞片: 924部

情色片: 517部

西部片: 407部

武侠片: 377部灾

难片: 159部2.

查询使用 数据在Mongodb里,大概是长这样的: 某个document如果想找个电影看看,如: 评分高于7.5分 观看人数在1000~20000人之间 科幻片 可以写类似的query: db.collection.find({'$and': [{'star': {'$gte': 7.5}}, {'pp': {'$gte': 1000, '$lte': 20000}},{'type':re.compile('科幻')}]})经过整合,清洗之后,总共有41960 部电影,以json格式从Mongodb里导出,打包放在百度云盘

(五)最后: 感兴趣的同学可移步我另外一个回答: 有哪些质量很高的冷门电影? 下一步会继续研究scrapy+redis+mongodb走向分布式,提高爬虫效率,以及做一些简单的数据分析。推荐阅读:购买动态VPS需要多少钱?

最新资讯

推荐阅读

  1. 23

    2020-03

    私有IP公有IP和弹性IP有什么区别?

    私有IP公有IP和弹性IP有什么区别?地址对于一个房子而言只有一个,是固定的,是让人能找到它的标识。在网络中,IP也是如此,起到一个让用户访问的作用,但是IP有时却不是固定不变的,并且

  2. 04

    2019-12

    代理IP软件的发展现状

    代理IP软件的发展现状!在互联网世界,自1998年中国产生第一笔互联网交易以来,中国电商事业蓬勃发展,如今2017天猫购物狂欢节再创新高,截止11月11日13:09分,天猫交易额达到1207亿元,打破了

  3. 17

    2019-04

    如何利用代理IP软件吸粉?

    接触过互联网营销的人都知道,如今不管从事于什么行业做什么生意都需要吸粉。随着网络事业的发展,有很多依赖于互联网而出现的一些销售和相关行业也开始相继崛起。而这样的行业,他们

  4. 12

    2019-06

    代理服务器介绍

    代理服务器是介于浏览器和Web服务器之间的一台服务器。其功能是代理用户去取得网络信息。网络信息则是通过代理服务器进行中转的。下面由小编来为大家详细介绍代理服务器。

  5. 24

    2019-05

    数据采集爬虫代理的基本原理

    我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么正常,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这时候打开网页一看,可

  6. 27

    2019-08

    哪个动态ip服务商拥有大量代理IP资源

    哪个动态ip服务商拥有大量代理IP资源?在当前的网络中,有很多代理IP的网站,并且有很多软件提供代理IP。在选择时,我们需要考虑一些因素。那么有什么因素呢?让我在下面详细解释。首先