注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册

首页 > 新闻资讯 > Java如何利用代理IP发送HTTP请求?

Java如何利用代理IP发送HTTP请求?

来源:IP代理精灵 作者:admin 时间:2019-11-08 13:48:08

Java如何利用代理IP发送HTTP请求?大数据时代下,数据采集推动着数据分析,数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例,过程中就会面临,IP被封,爬取受限、违法操作等多种问题,所以在爬取数据之前,一定要了解好预爬网站是否涉及违法操作,找到合适的代理IP访问网站等一系列问题。

Java如何利用代理IP发送HTTP请求

下文中基于apache的httpclient 4.5.2,代理服务器存在用户名密码鉴权。

首先,针对鉴权,我们需要设置身份验证,并根据配置的身份认证信息来创建一个httpclient。

然后还要创建一个代理,并设置到请求信息中;

最后是运行请求。

代码如下:

基于apeache的httpclient代码 推荐阅读:反向代理服务器的工作原理是什么?

在执行测试中小编犯了几个很低级的错误,首先目标URL不可以是localhost/127.0.0.1,归因于这样其实代理服务器请求的是自身,可是由于代理服务器本地并没有部署对应服务,因此会返回失败,小编这里返回的是503错误。还有就是由于小编请求的代理是部署在存储器上的,假如用的是内网IP也是行不通的,因为无法找到那个IP,因此使用前要确认代理是部署在哪的。

最新资讯

推荐阅读

  1. 24

    2019-05

    数据采集爬虫代理的基本原理

    我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么正常,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这时候打开网页一看,可

  2. 27

    2021-01

    什么情况下爬虫使用不了代理ip

    什么情况下爬虫使用不了代理ip?很多人都知道,爬虫由于会反复爬取数据,IP经常会被网址的反爬虫机制给禁止,解决IP限制问题就要用到代理IP。但有很多用户对HTTP代理IP用于爬虫有一定的误区

  3. 08

    2020-07

    浅谈代理IP上网方便的原因

    浅谈代理IP上网方便的原因!网络的飞速发展给人们带来了很多便利。同时网络是把双刃剑,在给人们带来方便的同时,也会给带来不好的影响,首当其冲的就是信息泄露。

  4. 16

    2019-02

    网络爬虫和反爬虫对战,代理IP影响结果

    网络爬虫,也有善恶之分,想搜索引擎这些网络爬虫,可以通过用户的关键词搜索,为用户展示需要的信息,这是好的网络爬虫,网站也都欢迎这些网络爬取去爬取,从而获得好的排名。

  5. 12

    2019-09

    IP代理精灵为什么成为电商平台的首选

    IP代理精灵为什么成为电商平台的首选。大数据时代,企业业务发展对代理IP需求越来越大,市场市面上的HTTP代理IP资源众多,但是实际操作过程中不难发现,这些琳琅满目的IP平台,很多是公用

  6. 04

    2019-07

    QQ营销推广为什么需要用到代理IP

    QQ营销推广为什么需要用到代理IP?腾讯QQ对我们来说不是什么新鲜玩意,对于绝大部分人来说,开电脑的第一件事就是登陆QQ,腾讯QQ的用户群体据说有好几亿,这也使得很多人都用QQ来做营销推