注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > Python代理IP爬虫的简单使用

Python代理IP爬虫的简单使用

来源:互联网 作者:admin 时间:2019-02-28 16:08:36

Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化,爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段,添加headers和ip代理可以解决很多问题。


Python代理IP爬虫的简单使用

Python代理IP爬虫的简单使用

思路:

从网上查找了一些关于爬虫代理IP的资料,得到下面的思路


爬取一些IP,过滤掉不可用.

在requests的请求的proxies参数加入对应的IP.

继续爬取.

收工

好吧,都是废话,理论大家都懂,上面直接上代码...

思路有了,动手起来.


运行环境

Python 3.7, Pycharm

这些需要大家直接去搭建好环境...


准备工作

爬取IP地址的网站(国内高匿代理)

校验IP地址的网站

你之前被封IP的py爬虫脚本...

上面的网址看个人的情况来选取


爬取IP的完整代码

PS:简单的使用bs4获取IP和端口号,没有啥难度,里面增加了一个过滤不可用IP的逻辑

关键地方都有注释了

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# @Time : 2018/11/22 

# @Author : liangk

# @Site :

# @File : auto_archive_ios.py

# @Software: PyCharm

import requests

from bs4 import BeautifulSoup

import json

class GetIp(object):

 """抓取代理IP"""

 def __init__(self):

 """初始化变量"""

 self.url = 'http://www.xicidaili.com/nn/'

 self.check_url = 'https://www.ip.cn/'

 self.ip_list = []

 @staticmethod

 def get_html(url):

 """请求html页面信息"""

 header = {

 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

 }

 try:

 request = requests.get(url=url, headers=header)

 request.encoding = 'utf-8'

 html = request.text

 return html

 except Exception as e:

 return ''

 def get_available_ip(self, ip_address, ip_port):

 """检测IP地址是否可用"""

 header = {

 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

 }

 ip_url_next = '://' + ip_address + ':' + ip_port

 proxies = {'http': 'http' + ip_url_next, 'https': 'https' + ip_url_next}

 try:

 r = requests.get(self.check_url, headers=header, proxies=proxies, timeout=3)

 html = r.text

 except:

 print('fail-%s' % ip_address)

 else:

 print('success-%s' % ip_address)

 soup = BeautifulSoup(html, 'lxml')

 div = soup.find(class_='well')

 if div:

 print(div.text)

 ip_info = {'address': ip_address, 'port': ip_port}

 self.ip_list.append(ip_info)

 def main(self):

 """主方法"""

 web_html = self.get_html(self.url)

 soup = BeautifulSoup(web_html, 'lxml')

 ip_list = soup.find(id='ip_list').find_all('tr')

 for ip_info in ip_list:

 td_list = ip_info.find_all('td')

 if len(td_list) > 0:

 ip_address = td_list[1].text

 ip_port = td_list[2].text

 # 检测IP地址是否有效

 self.get_available_ip(ip_address, ip_port)

 # 写入有效文件

 with open('ip.txt', 'w') as file:

 json.dump(self.ip_list, file)

 print(self.ip_list)

# 程序主入口

if __name__ == '__main__':

 get_ip = GetIp()

 get_ip.main()

复制代码


使用方法完整代码

PS: 主要是通过使用随机的IP来爬取,根据request_status来判断这个IP是否可以用.


为什么要这样判断?

主要是虽然上面经过了过滤,但是不代表在你爬取的时候是可以用的,所以还是得多做一个判断.

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# @Time : 2018/11/22 

# @Author : liangk

# @Site :

# @File : get_douban_books.py

# @Software: PyCharm

from bs4 import BeautifulSoup

import datetime

import requests

import json

import random

ip_random = -1

article_tag_list = []

article_type_list = []

def get_html(url):

 header = {

 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'

 }

 global ip_random

 ip_rand, proxies = get_proxie(ip_random)

 print(proxies)

 try:

 request = requests.get(url=url, headers=header, proxies=proxies, timeout=3)

 except:

 request_status = 500

 else:

 request_status = request.status_code

 print(request_status)

 while request_status != 200:

 ip_random = -1

 ip_rand, proxies = get_proxie(ip_random)

 print(proxies)

 try:

 request = requests.get(url=url, headers=header, proxies=proxies, timeout=3)

 except:

 request_status = 500

 else:

 request_status = request.status_code

 print(request_status)

 ip_random = ip_rand

 request.encoding = 'gbk'

 html = request.content

 print(html)

 return html

def get_proxie(random_number):

 with open('ip.txt', 'r') as file:

 ip_list = json.load(file)

 if random_number == -1:

 random_number = random.randint(0, len(ip_list) - 1)

 ip_info = ip_list[random_number]

 ip_url_next = '://' + ip_info['address'] + ':' + ip_info['port']

 proxies = {'http': 'http' + ip_url_next, 'https': 'https' + ip_url_next}

 return random_number, proxies

# 程序主入口

if __name__ == '__main__':

 """只是爬取了书籍的第一页,按照评价排序"""

 start_time = datetime.datetime.now()

 url = 'https://book.douban.com/tag/?view=type&icn=index-sorttags-all'

 base_url = 'https://book.douban.com/tag/'

 html = get_html(url)

 soup = BeautifulSoup(html, 'lxml')

 article_tag_list = soup.find_all(class_='tag-content-wrapper')

 tagCol_list = soup.find_all(class_='tagCol')

 for table in tagCol_list:

 """ 整理分析数据 """

 sub_type_list = []

 a = table.find_all('a')

 for book_type in a:

 sub_type_list.append(book_type.text)

 article_type_list.append(sub_type_list)

 for sub in article_type_list:

 for sub1 in sub:

 title = '==============' + sub1 + '=============='

 print(title)

 print(base_url + sub1 + '?start=0' + '&type=S')

 with open('book.text', 'a', encoding='utf-8') as f:

 f.write('

' + title + '

')

 f.write(url + '

')

 for start in range(0, 2):

 # (start * 20) 分页是0 20 40 这样的

 # type=S是按评价排序

 url = base_url + sub1 + '?start=%s' % (start * 20) + '&type=S'

 html = get_html(url)

 soup = BeautifulSoup(html, 'lxml')

 li = soup.find_all(class_='subject-item')

 for div in li:

 info = div.find(class_='info').find('a')

 img = div.find(class_='pic').find('img')

 content = '书名:<%s>' % info['title'] + ' 书本图片:' + img['src'] + '

'

 print(content)

 with open('book.text', 'a', encoding='utf-8') as f:

 f.write(content)

 end_time = datetime.datetime.now()

 print('耗时: ', (end_time - start_time).seconds)

复制代码


为什么选择代理IP?

使用这样简单的代理IP,就不用冒着被IP的风险,还可以保护好自己IP,至于选择什么代理IP软件,IP代理精灵可以帮助你。


最新资讯

推荐阅读

  1. 21

    2018-12

    哪个代理IP比较可靠些?是IP数量重要还是质量重要?

    对于一些职业来说,代理IP是常用的工作工具,包括做营销、补效,还有爬虫的这些工作。工具肯定是有好用,也有不好用的,那么哪个代理IP比较可靠些呢?

  2. 01

    2019-06

    使用国内代理IP谨防上当受骗

    查看这篇文章的很多小伙伴都有这样的体验,当我们在搜索引擎中输入"代理IP"关键字时,能搜出很多很多关于代理IP的服务器或软件。有客户端安装也有在线web,有直接提供API端口对接也有需要

  3. 27

    2019-11

    使用IP代理精灵软件有哪些好处?

    使用IP代理精灵软件有哪些好处?有些朋友在上网的过程中会遇到这样的情况,网站建议你的IP地址已经被记录下来,不能在短时间内访问该网站,这是你的IP地址被网站锁定的时候,网站认为你

  4. 10

    2020-01

    安卓模拟器怎样多开换IP防封?

    安卓模拟器怎样多开换IP防封?模拟器多开如何换IP防封?以前微商盛行,也不必担心账号被封,现在微信无人监管的红利期已经过去了,暴力抢钱时期已经过去了。如果现在还需要使用模拟器多开

  5. 17

    2019-05

    爬虫中解决ip被封锁的几种方法

    使用爬虫采集网站时,ip被封锁怎么办?使用IP代理就可以轻松解决,下面为大家介绍几种不同的方法,一起来看看吧!方法1 使用多IP代理:1.IP必须需要,比如ADSL。如果有条件,其实可以跟机

  6. 14

    2019-01

    怎么使用代理访问网站?四种使用代理访问网站的方法

    平常上网,只要连接好网络即可上网了,但是如果我不想我所访问的网站记录了我的真实IP地址,这就需要使用到代理,通过代理这个中间人帮我把所需要的信息获取回来,这样既可以隐藏我自