注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > Python调用代理IP的几个方法

Python调用代理IP的几个方法

来源:IP代理精灵 作者:admin 时间:2019-06-26 14:48:33

网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:

Python调用代理IP的几个方法

1.Selenium调用代理


from selenium import webdriver


proxy='123.58.10.36:8080'


chrome_options=webdriver.ChromeOptions()


chrome_options.add_argument('--proxy-server=http://'+proxy)


browser=webdriver.Chrome(chrome_options=chrome_options)


browser.get('http://httpbin.org/get')


2.requests调用代理


import requests


proxy='123.58.10.36:8080' #本地代理


#proxy='username:password@123.58.10.36:8080'


proxies={


'http':'http://'+proxy,


'https':'https://'+proxy


}


try:


response=requests.get('http://httpbin.org/get',proxies=proxies)


print(response.text)


except requests.exceptions.ConnectionError as e:


print('错误:',e.args)


3.urllib调用代理


from urllib.error import URLError


from urllib.request import ProxyHandler,build_opener


proxy='123.58.10.36:8080' #使用本地代理


#proxy='username:password@123.58.10.36:8080' #购买代理


proxy_handler=ProxyHandler({


'http':'http://'+proxy,


'https':'https://'+proxy


})


opener=build_opener(proxy_handler)


try:


response=opener.open('http://httpbin.org/get') #测试ip的网址


print(response.read().decode('utf-8'))


except URLError as e:


print(e.reason)


以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用IP代理精灵也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


最新资讯

推荐阅读

  1. 11

    2019-09

    解析c#爬虫程序

    解析c#爬虫程序。c#爬虫程序,现在做爬虫抓取数据用什么程序最好,之前在知乎上有一位用户,只为证明c#是爬虫最好的程序而进行了大量的测试。那么写爬虫抓取数据一定会用到代理ip,IP精

  2. 10

    2019-04

    防爬机制阻止访问,代理IP解决问题

    我们在进行爬虫的时候经常会发现,本来采集进程很顺利,但是进行到一半的时候突然进程就断掉了,或者说程序报错、丢失链接等等,辛辛苦苦运营了很久,结果就因为程序的突然报错,之前

  3. 20

    2019-05

    代理服务器的使用用途有哪些?

    如今,代理服务器广泛应用于我们的工作和生活中,那么,到底代理服务器的使用用途有哪些?代理服务器用于多种用途,包括:· 网络抓取 一些在线操作需要大规模的数据挖掘。提供销售线

  4. 13

    2019-05

    如何区分HTTP代理和Socks代理

    代理服务器英文全称是Proxy Server,其功能就是代理网络用户去取得网络信息,形象的说:它是网络信息的中转站。最常用的代理莫过于HTTP代理,还有一种代理用的也很多,那就是Socks代理,那么

  5. 10

    2020-08

    浅谈网红是如何利用代理ip的

    浅谈网红是如何利用代理ip的!很多人可能只是听说过ip代理,不知道换ip能够有什么作用,毕竟自己一般上网没有需要用到ip资源的时候,所以这也难怪有很多用户在第一次接触http代理的时候会

  6. 20

    2019-08

    爬虫被封IP的常见解决方法

    爬虫是现在抓取数据的重要途径,但却对被爬网站没有任何好处,所以现在基本都有反爬虫程序。因此,爬虫被封IP是很常见的问题。1.反爬虫一般是在规定时间内IP访问次数进行的限制,所以在