收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
IP代理的原理是什么呢?
来源:互联网 作者:admin 时间:2019-08-28 09:16:18

  IP代理的原理是什么呢?在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封,我们获取代理IP地址方式通常提取国内的知名IP代理商(如智连代理)的代理IP。但是大家有没有想过IP代理背后的原理是什么呢?本文的主要内容是讲解各种代理IP背后的原理。


IP代理的原理是什么呢


  代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量 REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR 是决定性因素。

  1) REMOTE_ADDR

  REMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。

  如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR 设为客户端的 IP 地址。

  如果我们给浏览器设置代理,我们访问目标网站的请求会先经过代理服务器,然后由代理服务器将请求转化到目标网站。那么网站的 web 服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。

  2)X-Forwarded-For(XFF)

  X-Forwarded-For 是一个 HTTP 扩展头部,用来表示 HTTP 请求端真实 IP。当客户端使用了代理时,web 服务器就不知道客户端的真实 IP 地址。为了避免这个情况,代理服务器通常会增加一个 X-Forwarded-For 的头信息,把客户端的 IP 添加到头信息里面。

  client 表示客户端的 IP 地址;proxy1 是离服务端最远的设备 IP; proxy2 是次级代理设备的 IP;从格式中,可以看出从 client 到 server 是可以有多层代理的。

  如果一个 HTTP 请求到达服务器之前,经过了三个代理 Proxy1、Proxy2、Proxy3,IP 分别为 IP1、IP2、IP3,用户真实 IP 为 IP0,那么按照 XFF 标准,服务端最终会收到以下信息:

  X-Forwarded-For: IP0, IP1, IP2

  Proxy3 直连服务器,它会给 XFF 追加 IP2,表示它是在帮 Proxy2 转发请求。列表中并没有 IP3,IP3 可以在服务端通过 Remote Address 字段获得。我们知道 HTTP 连接基于 TCP 连接,HTTP 协议中没有 IP 的概念,Remote Address 来自 TCP 连接,表示与服务端建立 TCP 连接的设备 IP,在这个例子里就是 IP3。

  3)HTTP_VIA

  via 是 HTTP 协议里面的一个header,记录了一次 HTTP 请求所经过的代理和网关,经过1个代理服务器,就添加一个代理服务器的信息,经过2个就添加2个。

  以上就是实现代理IP的三种原理,代理IP在爬虫数据采集工作中有着十分重要的地位,市面上虽然有着许多免费的IP代理但是为了爬虫的稳定和顺利,还是建议大家采取收费的代理IP,毕竟一分钱一分货嘛。【推荐阅读:代理IP按用途可以分几类?


推荐阅读
  • 17 2020-03
    ip代理要经过授权使用

    ip代理在网络上其实已经有非常多的资料了,无论是使用方式还是用途,都有很多相关的介绍,这都是大家可以通过搜索引擎找得到的。

  • 27 2020-05
    代理服务器ip的网络使用

    国内换ip正在流行起来,现在国内网络使用也是经常会用到代理ip,我们来了解看看在哪些地方可以找到ip代理的痕迹。

  • 14 2019-10
    免费代理ip不可用于爬虫!

    免费代理ip不可用于爬虫!进行爬虫都需要使用大量的代理ip这点我相信大家都知道,如果没有足够的代理ip那么我们的爬虫极其容易就被封禁,对于代理ip的选择无论是谁都推荐收费的代理ip,为

  • 11 2019-11
    代理ip​是如何防止网络攻击?

    代理ip​是如何防止网络攻击?代理ip的主要功能用于掩护真实ip地址,这点很多人都知道,但是大家又知不知道代理ip还可以通过这个功能提供网络防御呢?

  • 03 2019-06
    IP代理软件无效可以退款吗

    IP代理软件无效可以退款吗?一件商品,是无法做到人人都满意的,就像钱也是有人不喜欢的。同样,IP代理也会遇上这些问题,目前市场上IP代理软件不少,大家质量不一,有些时候这IP代理软

  • 17 2019-04
    哪家的IP资源丰富?IP资源质量好?

    哪家的IP资源丰富?IP资源质量好?因为现在网站的限制多,想弄点资源,还得找个帮手--代理IP,这帮手也有好用不好用的。