注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 如何使用动态ip抓取豆瓣电影数据

如何使用动态ip抓取豆瓣电影数据

来源:IP代理精灵 作者:admin 时间:2019-07-14 14:14:00

如何使用动态ip抓取豆瓣电影数据?学爬虫有一段时间了,作为一个悬疑片爱好者总是无限片荒,泛滥的Top250爬取以及填补不了我饥渴的内心。于是果然地决定:自己动手,爬完豆瓣,丰衣足食。

如何使用动态ip抓取豆瓣电影数据

(一)反爬虫策略分析:


之前其实有搜到过笑虎大大的文章:单机30分钟抓取豆瓣电影7万+数据:论爬虫策略的重要性(附全部数据下载地址),但是发现单ip+随机cookie的方法已经失效了。经过我不断摸索,总结规律如下。


(1)单个ip不带cookie访问多次,ip不一会被封


(2)首次访问返回cookie值,带同一个cookie值连续访问,几分钟被封;带不同cookie值访问,大约十分钟之后,IP还是被封了。


(3)单个ip低速访问(10s以上),不会被封


(二) 爬虫策略分析:


简单来说,有这么几个防止反爬方法:


带随机User Agent:最简单,新手也都会


设置爬取间隔时间: 简单,但是大大降低效率


带可用cookie:可难可容易找规律,会需要带上一些认证或者解密的数值去计算


使用代理:简单粗暴有效,但是维护代理是个问题


由于单个ip怎么样都会被封,所以我投向了代理的怀抱,常见的有代理IP和IP代理精灵。爬虫策略大致如下:


三个随机:随机UA,随机代理,随机cookie


网上免费代理一抓一大把,质量低下,不稳定,一开始自己写了个proxypool,来过滤各大网站可能的ip再去爬,好不容易抓到一些能用,过了一会,这些ip又失效,或者又被封。最后遂决定还是得搞个动态的ip池。


对于使用免费代理:


可以参考git上的一个开源项目:jhao104/proxy。用了几个类似的,感觉这个是最好的,它主要用flask做了一个api来实时刷新可用ip,不仅可以抓取各大主流免费代理ip,还能定时检验ip的可用性。但是这个项目还是有一个问题,比如当我设定抓取的间隔为10秒之后,执行任务的时间可能大于10s,会报一个warning引发整个程序暂停。


对于使用付费代理:


我个人不想再用免费低质的ip,遂买了那种包天的套餐,后来又丑陋地膜改了下这个jhao104/proxy的开源项目,只留下主要api+抓取proxy+数据库的功能,每5秒一刷10个ip,爽歪歪—— 用付费代理的朋友可以参考下我的方法——proxy丰富的话,爬取数据时候可以不需要sleep的,另外用IP代理精灵也可以达到相同的效果。


(三)代码实现:


爬取过程:


首先找到豆瓣的索引页面,通过查看源代码发现,页面内容是动态显示的。通过谷歌浏览器自带的F12->Network->XHR,找到json的入口。


动态页面有两种解析方式,一种直接用自带的json库,另一种selenium库+Phantom JS来模拟真实浏览器。点开页面,幸好——呼呼,没用加密,直接用json库就可以。


json网址的格式大概是这样的:


xx/j/new_search_subjects?sort=T&range=0,10&tags=&start=20&genres=%E5%96%9C%E5%89%A7


通过观察,发现start=用来控制页数,每个页面有20部电影,20一整数一变。每个页面有相关电影名字,链接等。


打开单个电影页面,比如:xx/subjec。我所爬的信息如图中所示。


某部最近看了喜欢的电影


OK,大致思路来了。首先我们获取每个json页面的film信息,当json页面没有返回内容时候,解析停止,再去逐条分析单个电影静态页面的信息,打包入库。


2. 几个关键点:


解析方式:选了xpath,效率比某soup高很多,正则解析效率最高,但是开发效率较低(其实是我背不出


多线程:爬虫算是IO型任务,使用多线程。用的是multiprocessing.dummy,似乎鲜为人知,比threading感觉使用上简单一点,不是很明白两者之间的区别?之后会尝试下和threading比比效率。


MongoDB: Proxy和电影的信息都存在Mongodb里,其实用redis存proxy更好,但是我不高兴开那么多数据库了,后来发现mongodb似乎各种不稳定……有个topology was detroyed的错误时常发生导致数据库失联,有老铁知道这是为啥嘛?


爬proxy时间间隔:这个其实还挺重要,因为代理有效时效有限(我买的是保证五分钟),最好的效果应该是代理池里数量稍大于实际用量,也就是假设proxy可用率为50%,5秒用坏一个proxy,五分钟proxy失效,那么大概设定平均略小于2.5秒左右刷新1个proxy比较好。如果proxy在数据库里冗余,大量失效proxy会导致爬虫效率降低。


(四)成果


爬取结果:


四核开了四线程,爬虫效率大概是十分钟400部左右,所以真的不明白为什么


@笑虎


大大可以半小时爬70000部,难道他的mac是100核的?


总之,大概加起来爬了二十多个小时终于爬完了……成果如下。


剧情片: 9,843部


喜剧片: 8,912部


爱情片: 7,714部


动作片: 6,065部


惊悚片: 5,776部


犯罪片: 4,610部


恐怖片: 4,113部


悬疑片: 3,895部


冒险片: 3,060部


奇幻片: 2,842部


科幻片: 2,665部


战争片: 1,822部


传记片: 1,531部


历史片: 1,464部


音乐片: 1,305部


同性片: 1,267部


歌舞片: 924部


情色片: 517部


西部片: 407部


武侠片: 377部


灾难片: 159部


2. 查询使用


数据在Mongodb里,大概是长这样的:


某个document


如果想找个电影看看,如:


评分高于7.5分


观看人数在1000——20000人之间


科幻片


可以写类似的query:


db.collection.find({'$and': [{'star': {'$gte': 7.5}}, {'pp': {'$gte': 1000, '$lte': 20000}},{'type':re.compile('科幻')}]})


经过整合,清洗之后,总共有41960 部电影,以json格式从Mongodb里导出


(五)最后:


感兴趣的同学可移步我另外一个回答:


有哪些质量很高的冷门电影?


下一步会继续研究scrapy+redis+mongodb走向分布式,提高爬虫效率,以及做一些简单的数据分析。


动态拨号vps是IP代理精灵的主打产品之一,该产品的主要特点是可以在服务器上实现在线秒换IP,适合有大量更换IP需求的用户。目前IP代理精灵服务器节点已遍布国内数十个地区,总计上千万IP地址供切换使用,该产品适合一切需要大量动态IP地址的领域。IP代理精灵是国内专业的动态拨号vps提供商,所有服务器节点均为自营,服务器均采用Intel企业级高速SSD硬盘,读写速度更快,稳定性和速度远远超过其他服务商。


最新资讯

推荐阅读

  1. 22

    2020-07

    代理IP是保证爬虫高效率的优质伙伴

    代理IP是保证爬虫高效率的优质伙伴!爬虫是大数据时代的重要工具,而对于大规模爬虫来说,最核心的问题就是效率,没有效率就等于没有任何意义,因为“时间就是生命,效率就是金钱”。

  2. 16

    2019-03

    IP代理精灵:多线程的同步和异步是什么意思

    限制网络发展快,数据产生也快,这对网络的性能挑战越来越大,多线程的同步和异步则应运而生。使用多线程的同步和异步获取信息,要注意什么?下面我们来了解下多线程的同步和异步是什

  3. 26

    2019-04

    动态ip代理的工作原理是什么

    一听到IP代理,咱们有种似曾相识又陌生的感觉。到底IP代理是什么?动态ip代理的工作原理是什么呢?听不懂的朋友,来,咱们科普时间到啦!通常情况下,代理ip网用公网IP接入Int关采取双网卡结

  4. 25

    2019-10

    socks5代理IP和HTTP代理IP的区别

    socks5代理IP和HTTP代理IP的区别!有些朋友不了解socks5代理IP,也不知道socks5代理IP和HTTP代理IP的区别是什么,今天代理精灵IP小编整理一下,给朋友们分享了解下。

  5. 28

    2019-06

    怎么挑选到称心如意的HTTP代理IP?

    随着使用HTTP代理IP的用户越来越多,互联网中各种各样的代理IP供应商也层出不穷。那要怎么挑选到称心如意的HTTP代理IP?对用户而言,要想挑选到称心如意的商品,不仅要慎重,还要懂得很多

  6. 09

    2019-12

    浅谈各种类型代理IP背后的原理

    浅谈各种类型代理IP背后的原理!相信大家应该都会遇到过,当我们对某些网站进行爬去的时候,我们经常会换IP来避免爬虫程序被封锁。代理ip地址如何获取?其实也是一个比较简单的操作,目前