注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 如何如何快速构建ip代理池?

如何如何快速构建ip代理池?

来源:IP代理精灵 作者:admin 时间:2019-11-22 15:07:57

如何如何快速构建ip代理池?代理池主要由5部分组成:ProxyGeter(代理获取模块)、RedisClient(代理管理模块,负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。

如何如何快速构建ip代理池

ProxyGeter

从几个代理网站爬取最新的代理,并把代理存储到redis数据库中

RedisClient

主要实现ip的删、减、增等基本操作,采用reids的几方面原因如下:

redis的hash数据结构可以为IP的有效性(根据可用性分为0-100)进行评分;

redis提供的key-value更方便地储存IP;

对于IP的存储、提取、删除、查询数量等功能会更加地快捷;

Texter

模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点,然后随机取出数据库中的代理,用获取到的ip来访问目标站点:

若访问无效,首先降低ip的分数等级(减10),其次做判断:若该ip的分数等级低于10分直接从reids数据库中删除;

若访问有效,首先增加ip的分数等级(加10),其次更新reids中该ip的分数等级;

Web_Api

为了让用户获取可用性ip更加方便一点,这里利用flask框架做了一个API,这个接口连接着redis数据库;

当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口(提供的url)就可以获取相应的IP代理。

这四个模块是彼此独立的(例如,当检测一个ip不可用时,需要调用RedisClient来从数据库中删除这个ip),因此需要引入一个新的模块:Schedule来进行协调。

代理池的运作关系如下图:

代码实现部分

在构建ip代理池过程中,如果使用redis数据库和flask框架,则需要提前完成相关配置。

部分代码:

class Tester(object): def __init__(self): self.redis =Redisclient() async def text_single_proxy(self,proxy): ''' 测试单个代理的可用性; :param proxy: 单个代理; :return: ''' conn = aiohttp.TCPConnector(verify_ssl=False) async with aiohttp.ClientSession(connector=conn) as session: try: if isinstance(proxy,bytes): proxy =proxy.decode('utf-8') real_proxy = 'http://'+proxy async with session.get(TEXT_URL,proxy = real_proxy,timeout = 15) as response: if response.status in VAILD_SATTUS_CODES: self.redis.max(proxy) print('') print('代理可用',proxy) else: self.redis.decrease_proxy(proxy) print('请求响应码不合法',proxy) except (TimeoutError,AttributeError): self.redis.decrease_proxy(proxy) print('代理请求失败') def run(self): ''' 调用主函数; :return: ''' print('测试器开始运行') try: proxies = self.redis.get_all_prpxy() loop =asyncio.get_event_loop() #批量测试 for i in range(0,len(proxies),BATCH_TEXT_SIZE): test_proxies = proxies[i:i+BATCH_TEXT_SIZE] tasks = [self.text_single_proxy(proxy) for proxy in test_proxies] loop.run_until_complete(asyncio.wait(tasks)) time.sleep(5) except Exception as e: print('测试器发生错误',e.args)

ip代理池实现效果

获取、测试代理:

Flask_api接口获取代理:推荐阅读:如何为你的爬虫实现动态ip代理?

以上是ip代理池的整个搭建过程,但是与映射于一句话 最便宜的也就是最贵的一样,源于免费,会造成大量用户使用,并且ip的质量堪忧,远不如付费ip。

最新资讯

推荐阅读

  1. 17

    2019-09

    使用代理IP的4个优势

    使用代理IP的4个优势。信息化时代,代理IP给人们的生活和工作带来了便捷,那使用代理IP有什么优势呢?今天IP代理精灵就分大家分享下使用代理IP的4个优势

  2. 28

    2021-06

    代理IP解决下载受限制问题

    代理IP解决下载受限制问题!不知道大家有没有遇到过网络受到限制的情况?通常在这种状况下,用户是无法进行看视频、下载等操作的。那么,我们应该如何解决呢?下面我们来看看解决方案有哪

  3. 20

    2021-04

    免费代理IP更昂贵

    免费代理IP更昂贵?自古以来,免费的东西往往最受欢迎,不管是实物还是虚拟物,只要是免费的,往往大部分人都要去尝试下,毕竟是免费的,试试又不用钱,这是人的本性,也有部分朋友可能

  4. 27

    2019-08

    用代理IP应对爬虫被源网站流量监控封杀IP

    爬虫经常需要配合代理IP,但并不是所有网站都会监控流量来源,一些运行良好的网站需要考虑数据安全性和核心竞争力,才会对流量进行监控,防止爬虫的高频率抓取导致核心数据外泄。这部

  5. 13

    2019-09

    代理ip平台哪个比较好?

     代理ip平台哪个比较好?其实对于我们国内的很多年轻人来说,他们对于很多国外的网站,无论是娱乐性质或是会有教学性质的网站,都会非常感兴趣。但是毕竟在国内如果没有使用苹果手机的

  6. 30

    2019-05

    爬虫为什么使用ip代理

    爬虫为什么使用ip代理?我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这