注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 大量采集数据,爬虫如何运用多线程?

大量采集数据,爬虫如何运用多线程?

来源:互联网 作者:admin 时间:2019-01-29 17:55:57

一般使用到爬虫的项目,需要抓取的任务量并不低,但靠单线程是无法满足抓取的效率,于是爬虫通过使用代理IP,多IP的使用,采用多线程的方法来大量抓取数据,这爬虫如何运用多线程呢?


Thread使用方法为:


大量采集数据,爬虫如何运用多线程?


threading.Thread(target=线程运行的函数,args=(参数)) 其中参数用逗号分隔,并以逗号结尾。


随后使用start启动。


运行结果如下:


大量采集数据,爬虫如何运用多线程?


可以看到五个线程同步运行,因sleep设置的时间相同,所以也同步结束。


但有一个缺点是第16行代码在五个线程启动后随即也就运行了,相当于此时主线程已经结束了而那五个子线程还在运行。


控制策略有两个


在start之前把子线程设置为守护线程


修改代码如下:


大量采集数据,爬虫如何运用多线程?


运行结果如下:


大量采集数据,爬虫如何运用多线程?


子线程在主线程结束的时候也同步结束,未运行的部分也就不再运行了。


在主线程中使用join,让主线程挂起等待子线程结束


修改代码如下:


大量采集数据,爬虫如何运用多线程?

大量采集数据,爬虫如何运用多线程?


从运行结果可以看到主线程停留在t.join()的位置,一直等到五个子线程全部结束后才开始继续向后运行。


以上就是需要用到的threading模板里所有的东西了。


在整理好需要处理的数据列表后,我们只需要将列表分段分别交给不同的线程来处理,主线程等待所有数据处理完毕之后再进行下一步操作,如下:


大量采集数据,爬虫如何运用多线程?


运行结果如下:


大量采集数据,爬虫如何运用多线程?


综上可知,爬虫如何运用多线程的方法,五个线程分步处理各自被分配到的数据,总体运行时间大幅缩减。当然机器给力的话,可以增加线程数,得到更快的速度。


最新资讯

推荐阅读

  1. 25

    2019-07

    为何越来越多人对http代理ip资源感兴趣?

    时代在发展,社会在进步,信息技术随着时代也开始发展得越来越好。http代理ip服务开始在人们的生活中普遍起来。因为现在很多普通大众对于电脑的了解都非常深,使用非常广泛,因此他们需

  2. 21

    2019-08

    用你们的代理访问网站还会被封吗?

    很多IP代理精灵的客户会有这样的疑问,用你们的代理访问网站还会被封吗?IP代理精灵的所有IP都是来源自建,使用动态代理能极大程度减少被封的概率,但不合理的策略仍然可能会导致被封,

  3. 22

    2019-04

    如何才能拥有属于自己的代理IP池

    作为爬虫程序的设计者,为了避免IP被封锁,或者是想快速的爬取数据,就需要使用多个IP地址。目前网上有很多能提供可靠、稳定的IP代理服务,但是基本都是收费的,而且价格不菲。于是心里

  4. 24

    2019-04

    速度快的代理IP选什么好

    一般选择使用代理IP的,无非是处于这么几个原因,一是自己的IP被网站限制或者封锁了,无法继续访问网站;二是自己的网络速度慢,像投票,抢购这样的业务对网速有要求;三是IP无法访问一些

  5. 30

    2019-05

    爬虫为什么使用ip代理

    爬虫为什么使用ip代理?我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这

  6. 24

    2018-11

    手机更换ip地址软件哪个好?

    很多人有疑问,为什么手机更换ip地址?好像用不着吧,能上网就可以了。其实手机更换ip地址作用很多,比如微信给人投票,刷移动端网站的流量和排名,刷网站注册量等等。