注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > python爬虫使用代理ip或请求头的问题

python爬虫使用代理ip或请求头的问题

来源:IP代理精灵 作者:admin 时间:2019-04-26 14:56:53

python爬虫使用代理ip或请求头的问题,接下来我们一起来看看!


在request库中使用代理ip实例如下

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0',
    'Connection':
    'keep-alive',
    'Cookie':
    'session-id=130-1833310-5969908; session-id-time=2082787201l;',
    'referer':
    'https://www.amazon.com/s/ref=nb_sb_noss?field-keywords=%E7%94%B5%E8%84%91&ie=UTF8&language=zh_CN&url=search-alias%3Daps'
}

# 设置代理ip
proxies = {
    'http': 'http://110.52.235.150:9999',
    'https': 'https://58.137.62.133:80'
}
list_html = requests.get(
    'https://www.amazon.com/s/ref=nb_sb_noss?field-keywords=' + keywords +
    '&ie=UTF8&language=zh_CN&url=search-alias%3Daps',
    timeout=timeout,
    headers=headers,
    proxies=proxies,
)

一、 Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝,无法连接。')))


这种情况是爬取目标对本机进行反爬导致, 目前暂时考虑两种:


ip封锁导致:


解决的关键在于cookie携带还有ip更替, (cookie携带下, 对ip的封锁频率会降低)


请求头referer属性:


部分页面向下访问时会携带referer记录从哪个页面跳转, 有些反爬针对referer进行检测, 如果没有携带或者携带错误会大大增加封锁率


请求头用户代理:


二、Cannot connect to proxy.', NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x00000166942B8D30>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。


这种情况是由于使用的代理ip失效而无法再连接的问题, 可以使用cmd安装tcping命令对ip + 端口进行有效性检查


三、'Connection to 121.61.3.9 timed out. (connect timeout=10)'))


这种情况是由于使用的代理ip连接失效或者连接过于久, 使得超过了程序设定的时间, 可以不设置request的timeout属性以达到最大时间看看是否代理ip失效问题。

最新资讯

推荐阅读

  1. 06

    2019-06

    如何选择购买https代理ip

    如何选择购买https代理ip呢?其实在之前,而且https代理ip平台,并没有在大众用户中普及。更多需要购买这种服务的都是一些淘宝商家或者电商人员。因为他们需要借助这种功能来进行刷单或者

  2. 22

    2020-05

    功能齐全的IP代理池哪里有?

    功能齐全的IP代理池哪里有?ip精灵代理这2年发展趋向挺好,自然也在所难免亲自测评一下。预期效果还不错,他家的 代理IP 总数在现阶段目前市面上算多的,最少网上客服答复“务必多少钱就

  3. 17

    2020-04

    线程IP池软件和其他代理IP软件有哪些不同

    线程IP池软件和其他代理IP软件有哪些不同!随着市场的需求如今市面上有很多代理IP软件,有的代理IP软件里面有很多地区的代理IP,可以一键切换改变IP;有的代理IP软件可以导入新的代理IP,批量

  4. 14

    2020-08

    优质代理ip服务器有哪些特点

    优质代理ip服务器有哪些特点?按照现在的互联网趋势,很多网民都开始不只是停留在上网浏览信息,看看视频等休闲娱乐了,我们的工作也与网络进行了连接。这么一来,网络与我们的连接变得

  5. 24

    2019-05

    为什么说电商要使用高匿IP代理

    随着电商的日益火爆和激烈,越来越多的人加入到电商大军当中,电商也由之前躺着挣钱变成了需要争夺客源,那么在争夺流量的方式上,很多店铺会采用IP代理来刷店铺点击、收藏、成交来增

  6. 26

    2018-11

    如何实现大量爬取数据?爬取大量数据的方法

    如何实现大量爬取数据?对于爬虫抓取数据,大家对反爬机制都有一定的了解,比如IP被封,验证码限制等等,少量的抓取数据这些问题都还好解决,但如果想大量抓取数据,遇到的问题成倍...