注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > python开源IP代理池--IPProxys

python开源IP代理池--IPProxys

来源:互联网 作者:admin 时间:2019-03-19 15:56:21

突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理,在爬虫工作中将起到重要的作用,但是从成本的角度来说,一般稳定的ip池都很贵,因此我这个开源项目的意义就诞生了,爬取一些代理网站提供的免费ip(虽然70%都是不好使的,但是扛不住量大,网站多),检测有效性后存储到数据库中,同时搭建一个http服务器,提供一个api接口,供大家的爬虫程序调用。



好了,废话不多说,咱们进入今天的主题,讲解一下我写的这个开源项目IPProxys。


下面是这个项目的工程结构:

python开源IP代理池--IPProxys

api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


db包:主要是封装了一些数据库的操作


spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


test包:测试一些用例,不参与整个项目的运行


util包:提供一些工具类。IPAddress.py查询ip的地理位置


validator包:用来测试ip地址是否可用


config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


接下来讲一下关键代码:


   首先说一下apiServer.py,主要是产生一个http服务器。


class WebRequestHandler(BaseHTTPServer.BaseHTTPRequestHandler):



    def do_GET(self):

        """

        """

        dict={}


        parsed_path = urlparse.urlparse(self.path)

        try:

            query = urllib.unquote(parsed_path.query)

            print query

            if query.find('&')!=-1:

                params = query.split('&')

                for param in params:

                    dict[param.split('=')[0]]=param.split('=')[1]

            else:

                    dict[query.split('=')[0]]=query.split('=')[1]

            str_count=''

            conditions=[]

            for key in dict:

                if key =='count':

                    str_count = 'lIMIT 0,%s'% dict[key]

                if key =='country' or key =='area':

                    conditions .append(key+" LIKE '"+dict[key]+"%'")

                elif key =='types' or key =='protocol' or key =='country' or key =='area':

                    conditions .append(key+"="+dict[key])

                    

 从代码中可以看出是对参数的解析,参数包括 count(数量), types(模式),protocol(协议),country(国家),area(地区),(


types类型(0高匿名,1透明),protocol(0 http,1 https http),country(国家),area(省市))


例如访问http://127.0.0.1:8000/?count=8&types=0.返回json数据。如下图所示:

python开源IP代理池--IPProxys

SQLiteHelper.py(主要是对sqlite的操作)



HtmlPraser.py(主要是对html进行解析):


使用lxml的xpath进行解析



IPAddresss.py(通过读取纯真qqwry.dat,对ip地址进行定位),读取的方式可以参考:http://ju.outofmemory.cn/entry/85998;https://linuxtoy.org/archives/python-ip.html


最后看一下validator.py,由于使用的是python2.7,所以要使用协程采用了gevent。


具体代码,请点击最后的阅读原文了解,



最后咱们看一下运行效果: 切换到工程目录下,cmd中执行python IPProxys.py:


python开源IP代理池--IPProxys

这个时候咱们在浏览器中输入请求,就会返回响应的结果:


python开源IP代理池--IPProxys

执行流程是每隔半小时检测一下数据库中ip地址的有效性,删除无效的代理ip。如果ip地址数量少于一个数值,爬虫将会启动,进行新一轮的爬取。当然检测时间和数据量都可以在config.py中配置。



整个项目的代码很简单,大家如果想深入了解的话,就详细的看一下我的这个开源项目IPProxys代码,代码写的有点粗糙,日后再继续优化。


最新资讯

推荐阅读

  1. 30

    2019-03

    IP不足得问题爬虫是怎么解决得,可以用代理IP吗?

    当你利用爬虫爬取网络信息的时候经常会莫名其妙的被目标网站禁止访问,你可以查找以下几个原因:

  2. 23

    2019-10

    代理ip自动绑定终端IP授权却不能用的原因

    代理ip自动绑定终端IP授权却不能用的原因!代理ip中比较常用的就是短效优质代理ip,说起使用短效优质代理IP,就不得不提绑定终端IP授权,也就是大家平常说的绑定IP白名单,只有绑定了IP白名单

  3. 29

    2019-01

    如何查询IP地址?自己的IP地址怎么隐藏呢?

    IP地址是上网所必须的,若无IP地址,是无法进行上网活动的。我们在使用IP地址上网的过程中,稍不注意,别人就查到你的IP地址了,若是被查到IP地址,可能对我们本身有影响,这是如何查询IP

  4. 16

    2019-05

    爬虫代理进行挖掘的常见问题

    虽然爬虫代理特别昂贵但并不是特别贵,但重要的是要把事情放在眼前,并认识到如果你的目标网站检测到你并且提供了伪造的信息,这可能会导致更大的资金负担;在这一点上,支付具有良好

  5. 24

    2019-09

    HTTP代理和Socks代理的区别!

    HTTP代理和Socks代理的区别!代理服务器英文全称是ProxyServer,其功能就是代理网络用户去取得网络信息,形象的说:它是网络信息的中转站。最常用的代理莫过于HTTP代理,还有一种代理用的也很

  6. 21

    2019-05

    动态代理ip可以获取哪些信息

    随着互联网的飞速发展,各行各业都逐渐应用了大数据,通过数据的变化,可以知道行业发展情况,并做出调整,那么企业利用代理ip让爬虫采集什么数据?毕竟数据并不一定都能产生价值的,