注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > python开源IP代理池--IPProxys

python开源IP代理池--IPProxys

来源:互联网 作者:admin 时间:2019-03-19 15:56:21

突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理,在爬虫工作中将起到重要的作用,但是从成本的角度来说,一般稳定的ip池都很贵,因此我这个开源项目的意义就诞生了,爬取一些代理网站提供的免费ip(虽然70%都是不好使的,但是扛不住量大,网站多),检测有效性后存储到数据库中,同时搭建一个http服务器,提供一个api接口,供大家的爬虫程序调用。



好了,废话不多说,咱们进入今天的主题,讲解一下我写的这个开源项目IPProxys。


下面是这个项目的工程结构:

python开源IP代理池--IPProxys

api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


db包:主要是封装了一些数据库的操作


spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


test包:测试一些用例,不参与整个项目的运行


util包:提供一些工具类。IPAddress.py查询ip的地理位置


validator包:用来测试ip地址是否可用


config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


接下来讲一下关键代码:


   首先说一下apiServer.py,主要是产生一个http服务器。


class WebRequestHandler(BaseHTTPServer.BaseHTTPRequestHandler):



    def do_GET(self):

        """

        """

        dict={}


        parsed_path = urlparse.urlparse(self.path)

        try:

            query = urllib.unquote(parsed_path.query)

            print query

            if query.find('&')!=-1:

                params = query.split('&')

                for param in params:

                    dict[param.split('=')[0]]=param.split('=')[1]

            else:

                    dict[query.split('=')[0]]=query.split('=')[1]

            str_count=''

            conditions=[]

            for key in dict:

                if key =='count':

                    str_count = 'lIMIT 0,%s'% dict[key]

                if key =='country' or key =='area':

                    conditions .append(key+" LIKE '"+dict[key]+"%'")

                elif key =='types' or key =='protocol' or key =='country' or key =='area':

                    conditions .append(key+"="+dict[key])

                    

 从代码中可以看出是对参数的解析,参数包括 count(数量), types(模式),protocol(协议),country(国家),area(地区),(


types类型(0高匿名,1透明),protocol(0 http,1 https http),country(国家),area(省市))


例如访问http://127.0.0.1:8000/?count=8&types=0.返回json数据。如下图所示:

python开源IP代理池--IPProxys

SQLiteHelper.py(主要是对sqlite的操作)



HtmlPraser.py(主要是对html进行解析):


使用lxml的xpath进行解析



IPAddresss.py(通过读取纯真qqwry.dat,对ip地址进行定位),读取的方式可以参考:http://ju.outofmemory.cn/entry/85998;https://linuxtoy.org/archives/python-ip.html


最后看一下validator.py,由于使用的是python2.7,所以要使用协程采用了gevent。


具体代码,请点击最后的阅读原文了解,



最后咱们看一下运行效果: 切换到工程目录下,cmd中执行python IPProxys.py:


python开源IP代理池--IPProxys

这个时候咱们在浏览器中输入请求,就会返回响应的结果:


python开源IP代理池--IPProxys

执行流程是每隔半小时检测一下数据库中ip地址的有效性,删除无效的代理ip。如果ip地址数量少于一个数值,爬虫将会启动,进行新一轮的爬取。当然检测时间和数据量都可以在config.py中配置。



整个项目的代码很简单,大家如果想深入了解的话,就详细的看一下我的这个开源项目IPProxys代码,代码写的有点粗糙,日后再继续优化。


最新资讯

推荐阅读

  1. 05

    2021-06

    使用高质量代理IP有什么好处

    使用高质量代理IP有什么好处?越来越多的人在使用代理IP,对代理IP的质量要求也越来越高,那么,使用高质量代理IP有什么好处呢?

  2. 15

    2019-08

    代理IP用错可能会泄露真实IP

    代理IP是目前换IP最方便的软件,无论是在IP受到限制的时候,还是想隐藏真实IP的时候,都可以用它来帮忙。很多用户用代理IP就是想隐藏IP,但真实IP还是泄露了,被目标网站发现,这是为什么

  3. 09

    2020-04

    怎样快速的选择合适的代理IP池资源?

    怎样快速的选择合适的代理IP池资源?代理IP服务商有很多,各种产品套餐也是层出不穷,各种参数和介绍让很多新手看的迷迷糊糊,不知道如何选择。站大爷为了方便大家更好更快的了解各种产

  4. 18

    2019-09

    IP代理软件助力网站SEO优化

    IP代理软件助力网站SEO优化。在互联网快速发展下,网站优化竞争也越来越大。每一个经营网站的人员应该都有这样的体会,这几年的白帽SEO越来越难做了,伴随搜索引擎技术的发展,要想通过

  5. 31

    2019-05

    什么是反向代理服务器

    普通代理服务器是帮助内部网络的计算机访问外部网络。通常,代理服务器同时连接内网和外网。首先内网的计算机需要设置代理服务器地址和端口,然后将HTTP请求发送到代理服务器,最后由

  6. 23

    2019-09

    最新国内HTTP代理IP哪里找

    最新国内HTTP代理IP哪里找?近年来,随着互联网不断发展,人们对代理IP的需求也日益增多。但是在哪里能找到最新国内HTTP代理资源,成了众人忧虑的事情。大数据时代背景下,应用到代理IP的行