注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > 爬虫代理IP池实战之谈

爬虫代理IP池实战之谈

来源:IP代理精灵 作者:admin 时间:2019-10-22 16:14:47

爬虫代理IP池实战之谈!大家写爬虫程序的时候,当抓取频率较快或者抓取一些robots.txt禁爬路径,肯定会碰到被网站屏蔽的情况,这时候目标服务器要么直接返回404,要么就是返回禁止的提示信息,总之就是爬虫失效了(抓不到你想要的内容)。

如果遇到这种情况,对应小型爬虫来说,最简单经济有效的方式,就是通过代理来反问。

一些基本概念

爬虫代理IP池实战之谈

代理IP池其实就是一堆可以用来做代理访问的Pool,作为Service Provider它对外提供可用的代理ip及端口。

代理IP从隐藏级别上分三类:

透明代理,服务器知道你用了代理,但同时也知道你的真实IP,说白了是不以隐藏自己IP为目的使用的,比如翻墙什么的

普通代理,服务器也知道你用了代理,但不知道你的真实IP

高匿代理,服务器不知道你用了代理,更不知道你的真实IP

其中高匿代理指代理服务器不向目标服务器传递X_FORWARDED_FOR变量

Python的实现方式

设计思路和原理本

思路就是从目前提供代理服务的网站获取可使用的IP、端口、代理类型信息,并检测可用性,然后对外提供服务。

功能模块

ProxyWebsite - 目标抓取的代理服务网站

Crawler - 抓取模块,通过HTTP来抓取定向代理服务网站内容

Extrator - 抽取模块,将HTML页面内容,抽取成结构化数据

Data - 数据模块,为结构化数据存储服务

Validator - 检验模块,检查代理的可用性

Service - 对外提供REST API服务

核心代码实现示例

ProxyWebsite

class ProxyWebsite(object):

def __init__(self, url, pattern, ip_pos, port_pos):

self.url = url

self.pattern = pattern

self.ip_pos = ip_pos

self.port_pos = port_pos

Crawler

class Crawler(object):

@staticmethod

def get_html(proxy_website):

try:

rsp = requests.get(proxy_website.url)

return (0, rsp.text)

except Exception as e:

return (-1, e)

Extrator

class Extractor(object):

@staticmethod

def get_data(proxy_website, html):

try:

pattern = re.compile(proxy_website.pattern, re.M|re.S )

return map(lambda x:(x[proxy_website.ip_pos], x[proxy_website.port_pos]), pattern.findall(html))

except Exception as e:

return (-1, e)

Data

class Data(object):

def __init__(self, ip, port, http_enable, https_enable):

self.ip = ip

self.port = port

self.http_enable = http_enable

self.https_enable = https_enable

Validator

class Validator(object):

@staticmethod

def get_baidu(ip, port):

try:

proxies = {'http': 'http://%s:%s' %(ip, port), 'https': 'http://%s:%s' %(ip, port)}

http_valid_result = False

rsp = requests.get('http://www.baidu.com', proxies = proxies, verify=False, timeout=(10, 60))

if rsp.status_code == 200:

http_valid_result = True

rsp = requests.get('https://www.baidu.com', proxies = proxies, verify=False, timeout=(10, 60))

if rsp.status_code == 200:

https_valid_result = True

return (0, (http_valid_result, https_valid_result))

except Exception as e:

return (-1, e)

最新资讯

推荐阅读

  1. 07

    2019-11

    怎样维护代理IP库保障爬虫程序高效运行?

    怎样维护代理IP库保障爬虫程序高效运行?爬虫采集数据是现在常见的工作,那如何保障爬虫程序高效运行?使用爬虫代理IP的最好实施方案是在本地网维护一个IP池,这样能够更合理的确保网络爬

  2. 21

    2020-09

    IP被禁言用换IP软件

    很多用户在使用论坛、贴吧或者微博等平台时,可能一不小心就触犯了规则,导致IP被封,无法继续发帖。这种情况,可以通过换IP的方式来解决。

  3. 28

    2019-05

    代理ip的稳定性定义

    公网代理服务器受网络带宽、访问量、服务器本身性能等多种因素影响,稳定性普遍较低。ip代理精灵来自于真实家庭用户挂机的ip,不间断地监测每个代理ip的历史数据,根据算法智能判别当前

  4. 04

    2019-03

    如何批量注册邮箱,无需手机号即可注册!

    看到有些朋友在批量注册邮箱账号时因手机号问题无法注册,那么不需要手机号即可情动注册几百上千个邮箱账号,要如何实现呢?

  5. 14

    2020-02

    正确分配与高效管理IP地址的方式

    正确分配与高效管理IP地址的方式!HCIE考试俱乐部 2019-10-15 IP地址是电脑网络互通的基础,在实际工作中,网络管理员、安全员的大量日常工作与IP地址有关。

  6. 17

    2019-09

    IP代理为什么会受欢迎,有什么功能?

     IP代理为什么会受欢迎,有什么功能?如今ip代理使用越来越广。如果网络营销人员因为工作性质的原因,才使用IP转换的工具的话,算是一种正常的现象。但是,笔者最近发现IP代理软件在生活