注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 剖析代理IP识别技术方案

剖析代理IP识别技术方案

来源:互联网 作者:admin 时间:2019-09-10 14:01:41

  剖析代理IP识别技术方案。代理IP的使用越来越普遍,用户通常通过代理来突破限制,如局域网对上网用户的端口、目的网站、协议、游戏、即时通讯软件等的限制,网站对于IP的访问频率、访问次数的限制等;另一方面,通过代理也可以隐藏用户的真实身份。黑客的很多活动都是通过代理服务器,对局域网内机器进行渗透;不法分子也越来越多地使用代理隐藏身份,从而进行欺诈交易。随着线上交易的增加,这种方式的欺诈交易也逐日递增。本文将结合业务实际需求,剖析代理IP识别技术方案。

  一、 什么是代理

  11.1 代理简介

  代理,也称网络代理,是一种特殊的网络服务,允许一个网络终端(客户端)通过这个服务与另一个网络终端(服务器)进行非直接的连接。

  代理可以分为HTTP代理、SOCKS代理、VPN代理以及其他类型的代理。本文针对HTTP代理进行讨论。

剖析代理IP识别技术方案

  图1 代理原理图

  图1来自《HTTP权威指南》,直观地表达了HTTP代理的基本原理:客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。

  21.2 代理的级别

  根据代理匿名程度的不同,可以划分为透明代理、普通匿名代理、欺骗匿名代理和高匿代理。

  (1) 透明代理

  在透明代理中,代理服务器将客户端的信息转发至目标访问对象,并没有完全隐藏客户端真实的身份。即服务器知道客户端使用了代理IP,并且知道客户端的真实IP地址。

  (2) 普通匿名代理

  在普通匿名代理中,代理服务器用自己的IP代替了客户端的真实IP,但是告诉了目标访问对象这是代理访问。

  (3) 欺骗匿名代理

  在欺骗匿名代理中,目标访问对象同样可以察觉客户端使用代理访问,但是代理服务器会用一个随机的IP代替客户端真实的IP。

  (4) 高匿代理

  在高匿代理中,代理服务器良好地伪装了客户端,不但用一个随机的IP代替了客户端的IP,也隐藏了代理信息,服务器不会察觉到客户端是通过代理实现访问的,即用户仿佛就是直接使用代理服务器作为自己的客户端。

  通常,服务器通过获取HTTP Request的头部信息的相关字段来判断客户端是否使用了代理。该字段包括REMOTE_ADDR、HTTP_VIA 、HTTP_X_FORWARDED_FOR等。

                           表1 不同代理类型的HTTP头部字段

剖析代理IP识别技术方案

  代理类型REMOTE_ADDRHTTP_VIAHTTP_X_FORWARDED_FOR

  未使用代理客户端的IP空空

  透明代理代理的IP代理的IP客户端的IP

  普通匿名代理代理的IP代理的IP代理的IP

  欺骗匿名代理代理的IP代理的IP随机的IP

  高匿名代理代理的IP空空

  二、代理IP识别方案

  从表1中可以看出,对于透明代理、普通匿名代理、欺骗匿名代理,可以通过检测HTTP请求报文的头部字段进行检测。而对于高匿代理,由于其报文头部字段的特征同未使用代理的请求报文头特征类似。所以,通过报文头的识别方法无法对这种类型的代理进行识别。

  我们提出一种通过组合模型集的识别方法来完成代理的识别。

  12.1 组合模型集

  组合模型集应用不同的代理IP识别模型,完成对待测试IP的代理可疑综合评分。这里的识别模型包括端口反向扫描模型、请求报文分析模型、模拟代理访问网站和基于可疑代理IP库识别模型等。对于不同的模型识别结果,计算待检测IP的可疑评分,最终计算出待检测IP的综合评分。

  这种识别方式使得判断结果不仅是简单的“是”或者“否”的形式,而是根据可疑级别计算评分。不同识别模块的侧重点有所不同,可以结合实际场景,根据不同的识别目的,调整各模型的评分系数,从而将这种识别方法应用于不同的业务当中。

        基于组合模型集的识别方案如图2所示。

剖析代理IP识别技术方案

   图2 基于组合模型集的识别方案

  2.1.1 请求报文分析识别法

  通过获取请求报文中的字段信息来判断客户端是否使用代理。该字段包括REMOTE_ADDR、HTTP_VIA 、HTTP_X_FORWARDED_FOR。

  2.1.2 端口扫描识别法

  端口扫描识别法是通过对于指定的IP地址,扫描代理常用的端口,查看该端口的开放状况,计算其对应的可疑评分。

  2.1.3 模拟代理访问网站识别法

  通过设置指定的IP为代理,以该IP来访问指定的网站,判断其是否访问成功,来计算其相应的可疑评分。

  2.1.4 反向DNS查询识别法

  对待测IP所述的DNS服务器的IP地址进行反向解析,验证该IP是否注册域名,从而计算其相应的可疑评分。

  2.1.5 代理IP库匹配识别

  通过同已构建的代理IP库进行匹配,判断待测IP是否在代理IP库中,从而判断其相应的可疑评分。

  22.2 测试结果

  对于基于组合模型集的代理识别方案的代理IP检测系统,我们进行了初步的测试。

  其中,原因码(OH:包含可疑报文头;OP:开启可疑端口;OR:模拟代理访问网站成功;OD:反向DNS查询成功,OL:代理IP库匹配成功)推荐阅读:爬虫程序为什么需要代理ip动态拨号vps?

  代理评分:A、A-、B、B-、C, 其中A代表代理可疑度最高。

  表2 代理IP检测系统测试结果

剖析代理IP识别技术方案

  经过生产数据测试验证,对于未使用代理的情况,识别率为100%;对于有代理的情况,普通代理(即透明代理)的检测准确率达100%,高匿代理的检测准确率达90%。

  以上技术对代理IP技术方案的剖析,客户端通过代理来隐藏自身真实身份,从而从事一些违反犯罪活动;一些业务通常也会限制特定IP的访问次数及频率,客户端通常也会采用代理来绕过这些限制。随着线上交易的增加,通过代理进行欺诈交易,将使得欺诈交易难以追踪。代理IP的识别也是风险防控中的关注点之一。以上内容仅供参考,如有疑问可以咨询在线客服。


最新资讯

推荐阅读

  1. 07

    2019-05

    换IP软件真的有用吗

    有能力的程序员能够自己搭建IP代理池,不过对于刚入门的小白或者工作时间很紧凑的人来说,花费力气去搭建一个IP代理池,有些得不偿失了。于是,市面上就出现了很多换ip软件,大家可以随

  2. 09

    2019-03

    浏览器能不能设置socks代理使用?

    我们可以使用代理来做很多事情,比如透过防火墙,进行爬虫的抓取任务等待。socks代理是一种通用的代理服务器,它与我们平常使用的http代理是不同的,那么二者有什么区别呢?浏览器能不能

  3. 09

    2020-03

    代理服务器帮助大家解决限制

    互联网虽然是互联,但是其实这当中有着很多的限制,不同的网之间难以轻易互相访问,这已经很普遍了。而且网站还有着对ip地址的限制。那么,想要解决这种种限制,就需要代理服务器。

  4. 03

    2020-09

    独享代理IP的有效率的诀窍

    独享代理IP的有效率的诀窍!用过IP精灵代理的独享IP池的用户都知道,独享代理IP虽然价格比共享代理IP更贵,但它的有效率是真的高,绝对的物有所值。独享IP池的有效连通率很高,业务成功率

  5. 18

    2019-04

    重启路由器可以换IP吗

    想换IP有哪些方法可以实现?有时候IP被限制了,怎么换IP访问,重启路由器可以换IP吗?一般家庭的基于PPPOE拨号方式上网的,使用的是动态IP,可以更换IP,下面一起去看看如何重启路由器:

  6. 14

    2019-05

    如何使用代理网络来管理和抓取社交媒体

    管理多个社交媒体帐户或抓取数据时,您可能会获得验证码,或者您的请求可能会被屏蔽。社交网站正在实施严格而复杂的限制,以控制它们的使用方式。无论您是管理帐户还是使用抓取工具,