注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 如何使用动态ip抓取豆瓣电影数据

如何使用动态ip抓取豆瓣电影数据

来源:IP代理精灵 作者:admin 时间:2019-07-14 14:14:00

如何使用动态ip抓取豆瓣电影数据?学爬虫有一段时间了,作为一个悬疑片爱好者总是无限片荒,泛滥的Top250爬取以及填补不了我饥渴的内心。于是果然地决定:自己动手,爬完豆瓣,丰衣足食。

如何使用动态ip抓取豆瓣电影数据

(一)反爬虫策略分析:


之前其实有搜到过笑虎大大的文章:单机30分钟抓取豆瓣电影7万+数据:论爬虫策略的重要性(附全部数据下载地址),但是发现单ip+随机cookie的方法已经失效了。经过我不断摸索,总结规律如下。


(1)单个ip不带cookie访问多次,ip不一会被封


(2)首次访问返回cookie值,带同一个cookie值连续访问,几分钟被封;带不同cookie值访问,大约十分钟之后,IP还是被封了。


(3)单个ip低速访问(10s以上),不会被封


(二) 爬虫策略分析:


简单来说,有这么几个防止反爬方法:


带随机User Agent:最简单,新手也都会


设置爬取间隔时间: 简单,但是大大降低效率


带可用cookie:可难可容易找规律,会需要带上一些认证或者解密的数值去计算


使用代理:简单粗暴有效,但是维护代理是个问题


由于单个ip怎么样都会被封,所以我投向了代理的怀抱,常见的有代理IP和IP代理精灵。爬虫策略大致如下:


三个随机:随机UA,随机代理,随机cookie


网上免费代理一抓一大把,质量低下,不稳定,一开始自己写了个proxypool,来过滤各大网站可能的ip再去爬,好不容易抓到一些能用,过了一会,这些ip又失效,或者又被封。最后遂决定还是得搞个动态的ip池。


对于使用免费代理:


可以参考git上的一个开源项目:jhao104/proxy。用了几个类似的,感觉这个是最好的,它主要用flask做了一个api来实时刷新可用ip,不仅可以抓取各大主流免费代理ip,还能定时检验ip的可用性。但是这个项目还是有一个问题,比如当我设定抓取的间隔为10秒之后,执行任务的时间可能大于10s,会报一个warning引发整个程序暂停。


对于使用付费代理:


我个人不想再用免费低质的ip,遂买了那种包天的套餐,后来又丑陋地膜改了下这个jhao104/proxy的开源项目,只留下主要api+抓取proxy+数据库的功能,每5秒一刷10个ip,爽歪歪—— 用付费代理的朋友可以参考下我的方法——proxy丰富的话,爬取数据时候可以不需要sleep的,另外用IP代理精灵也可以达到相同的效果。


(三)代码实现:


爬取过程:


首先找到豆瓣的索引页面,通过查看源代码发现,页面内容是动态显示的。通过谷歌浏览器自带的F12->Network->XHR,找到json的入口。


动态页面有两种解析方式,一种直接用自带的json库,另一种selenium库+Phantom JS来模拟真实浏览器。点开页面,幸好——呼呼,没用加密,直接用json库就可以。


json网址的格式大概是这样的:


xx/j/new_search_subjects?sort=T&range=0,10&tags=&start=20&genres=%E5%96%9C%E5%89%A7


通过观察,发现start=用来控制页数,每个页面有20部电影,20一整数一变。每个页面有相关电影名字,链接等。


打开单个电影页面,比如:xx/subjec。我所爬的信息如图中所示。


某部最近看了喜欢的电影


OK,大致思路来了。首先我们获取每个json页面的film信息,当json页面没有返回内容时候,解析停止,再去逐条分析单个电影静态页面的信息,打包入库。


2. 几个关键点:


解析方式:选了xpath,效率比某soup高很多,正则解析效率最高,但是开发效率较低(其实是我背不出


多线程:爬虫算是IO型任务,使用多线程。用的是multiprocessing.dummy,似乎鲜为人知,比threading感觉使用上简单一点,不是很明白两者之间的区别?之后会尝试下和threading比比效率。


MongoDB: Proxy和电影的信息都存在Mongodb里,其实用redis存proxy更好,但是我不高兴开那么多数据库了,后来发现mongodb似乎各种不稳定……有个topology was detroyed的错误时常发生导致数据库失联,有老铁知道这是为啥嘛?


爬proxy时间间隔:这个其实还挺重要,因为代理有效时效有限(我买的是保证五分钟),最好的效果应该是代理池里数量稍大于实际用量,也就是假设proxy可用率为50%,5秒用坏一个proxy,五分钟proxy失效,那么大概设定平均略小于2.5秒左右刷新1个proxy比较好。如果proxy在数据库里冗余,大量失效proxy会导致爬虫效率降低。


(四)成果


爬取结果:


四核开了四线程,爬虫效率大概是十分钟400部左右,所以真的不明白为什么


@笑虎


大大可以半小时爬70000部,难道他的mac是100核的?


总之,大概加起来爬了二十多个小时终于爬完了……成果如下。


剧情片: 9,843部


喜剧片: 8,912部


爱情片: 7,714部


动作片: 6,065部


惊悚片: 5,776部


犯罪片: 4,610部


恐怖片: 4,113部


悬疑片: 3,895部


冒险片: 3,060部


奇幻片: 2,842部


科幻片: 2,665部


战争片: 1,822部


传记片: 1,531部


历史片: 1,464部


音乐片: 1,305部


同性片: 1,267部


歌舞片: 924部


情色片: 517部


西部片: 407部


武侠片: 377部


灾难片: 159部


2. 查询使用


数据在Mongodb里,大概是长这样的:


某个document


如果想找个电影看看,如:


评分高于7.5分


观看人数在1000——20000人之间


科幻片


可以写类似的query:


db.collection.find({'$and': [{'star': {'$gte': 7.5}}, {'pp': {'$gte': 1000, '$lte': 20000}},{'type':re.compile('科幻')}]})


经过整合,清洗之后,总共有41960 部电影,以json格式从Mongodb里导出


(五)最后:


感兴趣的同学可移步我另外一个回答:


有哪些质量很高的冷门电影?


下一步会继续研究scrapy+redis+mongodb走向分布式,提高爬虫效率,以及做一些简单的数据分析。


动态拨号vps是IP代理精灵的主打产品之一,该产品的主要特点是可以在服务器上实现在线秒换IP,适合有大量更换IP需求的用户。目前IP代理精灵服务器节点已遍布国内数十个地区,总计上千万IP地址供切换使用,该产品适合一切需要大量动态IP地址的领域。IP代理精灵是国内专业的动态拨号vps提供商,所有服务器节点均为自营,服务器均采用Intel企业级高速SSD硬盘,读写速度更快,稳定性和速度远远超过其他服务商。


最新资讯

推荐阅读

  1. 11

    2020-09

    如何改电脑ip地址?

    如何改电脑ip地址?我们在使用电脑的日常中,有时候会出现无网络访问权限,右下角有一个感叹号,也可能会遇到被网管限制带宽、限制浏览等情况,这些操作通常都是针对ip地址实现的,想要

  2. 11

    2019-05

    ip代理精灵教你反网络爬虫以及解决方案

    做技术的或者是互联网行业的人可能都比较清楚,网络爬虫对于互联网的共享是非常大的,其中有超过一半的流量都是网络爬虫的贡献,如果一个网站不设置发爬虫机制,那就会成为一个透明的

  3. 13

    2019-05

    为什么有代理IP

    我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这时候打开网页一看,可

  4. 11

    2019-10

    动态代理IP对seo网站运营的影响

    动态代理IP对seo网站运营的影响!现在相信大家对动态代理IP都不陌生,今天我们来聊下如何利用动态代理ip来做SEO优化。其实除了SEO很多网络营销也都需要用到代理IP,因为很多网络营销的用户都

  5. 08

    2020-07

    同是代理IP,为什么质量却参差不齐

    同是代理IP,为什么质量却参差不齐?随着互联网经济的发展,市场营销方式的转变。对代理IP的需求量越来越大,有需求就会供给。因此市面上代理IP非常多,选择的范围很广。这样有利有弊,

  6. 21

    2019-10

    如何解决Python爬虫时ip被封问题?

    如何解决Python爬虫时ip被封问题?在使用爬虫爬取数据的过程中,常常遇到IP被封禁的情况,这时候就需要想办法解决IP受限问题。