注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > python开源IP代理池--IPProxys

python开源IP代理池--IPProxys

来源:互联网 作者:admin 时间:2019-03-19 15:56:21

突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理,在爬虫工作中将起到重要的作用,但是从成本的角度来说,一般稳定的ip池都很贵,因此我这个开源项目的意义就诞生了,爬取一些代理网站提供的免费ip(虽然70%都是不好使的,但是扛不住量大,网站多),检测有效性后存储到数据库中,同时搭建一个http服务器,提供一个api接口,供大家的爬虫程序调用。



好了,废话不多说,咱们进入今天的主题,讲解一下我写的这个开源项目IPProxys。


下面是这个项目的工程结构:

python开源IP代理池--IPProxys

api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


db包:主要是封装了一些数据库的操作


spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


test包:测试一些用例,不参与整个项目的运行


util包:提供一些工具类。IPAddress.py查询ip的地理位置


validator包:用来测试ip地址是否可用


config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


接下来讲一下关键代码:


   首先说一下apiServer.py,主要是产生一个http服务器。


class WebRequestHandler(BaseHTTPServer.BaseHTTPRequestHandler):



    def do_GET(self):

        """

        """

        dict={}


        parsed_path = urlparse.urlparse(self.path)

        try:

            query = urllib.unquote(parsed_path.query)

            print query

            if query.find('&')!=-1:

                params = query.split('&')

                for param in params:

                    dict[param.split('=')[0]]=param.split('=')[1]

            else:

                    dict[query.split('=')[0]]=query.split('=')[1]

            str_count=''

            conditions=[]

            for key in dict:

                if key =='count':

                    str_count = 'lIMIT 0,%s'% dict[key]

                if key =='country' or key =='area':

                    conditions .append(key+" LIKE '"+dict[key]+"%'")

                elif key =='types' or key =='protocol' or key =='country' or key =='area':

                    conditions .append(key+"="+dict[key])

                    

 从代码中可以看出是对参数的解析,参数包括 count(数量), types(模式),protocol(协议),country(国家),area(地区),(


types类型(0高匿名,1透明),protocol(0 http,1 https http),country(国家),area(省市))


例如访问http://127.0.0.1:8000/?count=8&types=0.返回json数据。如下图所示:

python开源IP代理池--IPProxys

SQLiteHelper.py(主要是对sqlite的操作)



HtmlPraser.py(主要是对html进行解析):


使用lxml的xpath进行解析



IPAddresss.py(通过读取纯真qqwry.dat,对ip地址进行定位),读取的方式可以参考:http://ju.outofmemory.cn/entry/85998;https://linuxtoy.org/archives/python-ip.html


最后看一下validator.py,由于使用的是python2.7,所以要使用协程采用了gevent。


具体代码,请点击最后的阅读原文了解,



最后咱们看一下运行效果: 切换到工程目录下,cmd中执行python IPProxys.py:


python开源IP代理池--IPProxys

这个时候咱们在浏览器中输入请求,就会返回响应的结果:


python开源IP代理池--IPProxys

执行流程是每隔半小时检测一下数据库中ip地址的有效性,删除无效的代理ip。如果ip地址数量少于一个数值,爬虫将会启动,进行新一轮的爬取。当然检测时间和数据量都可以在config.py中配置。



整个项目的代码很简单,大家如果想深入了解的话,就详细的看一下我的这个开源项目IPProxys代码,代码写的有点粗糙,日后再继续优化。


最新资讯

推荐阅读

  1. 18

    2019-06

    云服务器能做http代理吗

    云服务器能做http代理吗?只要懂得相应的代码技术,是可以的。想使用云服务器做http代理,首先要在服务商处购买一台云服务器。通常使用代理服务器有以下作用。安全过滤 为了安全,不允许

  2. 05

    2019-05

    住宅代理IP和住宅VPN有什么区别

    住宅代理IP和住宅VPN实现的功能有一部分是一样的,但其实他们是两种技术。下面我们来详细介绍住宅代理IP和住宅VPN有什么区别,以及我们需要用于应用程序的优缺点。为方便用户访问,使用

  3. 01

    2019-06

    什么代理服务器稳定又好用

    一台高性能的代理服务器,对于电子商务业务来说这是必不可少的一种工具。但是代理服务器也有质量上的差别,因此我们在选择代理服务器时,要注意一些问题,比如:1、可以有效防止宕机

  4. 19

    2019-04

    Python学习之HTTP代理

    大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用。HTTP代理分为正向代理和反向代理两种,后者一般用于将防火墙后面的服务提供给用户访问或者进行负载均衡,典型的有Ngin

  5. 29

    2019-05

    代理IP软件对于电商工作的作用

    代理IP软件对于电商工作的作用有哪些?我们现在的生活中,网络的发展速度是非常迅速的,所以有很多企业是依靠网络发展也更加壮大。现在电商的出现,方便了我们的生活。所以也有越来越

  6. 16

    2019-04

    HTTP代理为爬虫业务提供代理解决方案

    针对海量数据抓取等经常被封IP场景,HTTP代理为爬虫业务提供代理解决方案。只需设置一个固定的网关代理,我们的网关将重定向您的HTTP请求到不同的后端代理IP。•灵活多变的HTTP代理•全部

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961