收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
IP代理的原理是什么呢?
来源:互联网 作者:admin 时间:2019-08-28 09:16:18

  IP代理的原理是什么呢?在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封,我们获取代理IP地址方式通常提取国内的知名IP代理商(如智连代理)的代理IP。但是大家有没有想过IP代理背后的原理是什么呢?本文的主要内容是讲解各种代理IP背后的原理。


IP代理的原理是什么呢


  代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量 REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR 是决定性因素。

  1) REMOTE_ADDR

  REMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。

  如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR 设为客户端的 IP 地址。

  如果我们给浏览器设置代理,我们访问目标网站的请求会先经过代理服务器,然后由代理服务器将请求转化到目标网站。那么网站的 web 服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。

  2)X-Forwarded-For(XFF)

  X-Forwarded-For 是一个 HTTP 扩展头部,用来表示 HTTP 请求端真实 IP。当客户端使用了代理时,web 服务器就不知道客户端的真实 IP 地址。为了避免这个情况,代理服务器通常会增加一个 X-Forwarded-For 的头信息,把客户端的 IP 添加到头信息里面。

  client 表示客户端的 IP 地址;proxy1 是离服务端最远的设备 IP; proxy2 是次级代理设备的 IP;从格式中,可以看出从 client 到 server 是可以有多层代理的。

  如果一个 HTTP 请求到达服务器之前,经过了三个代理 Proxy1、Proxy2、Proxy3,IP 分别为 IP1、IP2、IP3,用户真实 IP 为 IP0,那么按照 XFF 标准,服务端最终会收到以下信息:

  X-Forwarded-For: IP0, IP1, IP2

  Proxy3 直连服务器,它会给 XFF 追加 IP2,表示它是在帮 Proxy2 转发请求。列表中并没有 IP3,IP3 可以在服务端通过 Remote Address 字段获得。我们知道 HTTP 连接基于 TCP 连接,HTTP 协议中没有 IP 的概念,Remote Address 来自 TCP 连接,表示与服务端建立 TCP 连接的设备 IP,在这个例子里就是 IP3。

  3)HTTP_VIA

  via 是 HTTP 协议里面的一个header,记录了一次 HTTP 请求所经过的代理和网关,经过1个代理服务器,就添加一个代理服务器的信息,经过2个就添加2个。

  以上就是实现代理IP的三种原理,代理IP在爬虫数据采集工作中有着十分重要的地位,市面上虽然有着许多免费的IP代理但是为了爬虫的稳定和顺利,还是建议大家采取收费的代理IP,毕竟一分钱一分货嘛。【推荐阅读:代理IP按用途可以分几类?


推荐阅读
  • 24 2020-04
    网络ip修改器的应用

    网络ip修改器​可能对于一些用户来说并没有什么作用,因为他们平时也不会怎么遇到要换ip的情况。但是如果你有换ip的使用需求,那么ip修改器就对你来说很关键了。

  • 11 2019-09
    为什么代理ip越来越普遍?

    为什么代理ip越来越普遍?现在由于互联网的发展,越来越多的人开始意识到代理ip​的重要性,代理ip服务开始在人们的生活中普遍起来。

  • 22 2020-05
    动态ip网络加速器的选择

    有的时候,我们的网络延迟需要进行加速,除了自身网速的提高,我们也可以通过网络加速器来帮助实现效果。

  • 02 2019-12
    国内哪个代理ip软件​好用?

    国内哪个代理ip软件​好用?谈谈个人看法吧,其实ip地址万变不离其中还是虚拟专用网络技术吧。网络营销人员应该都知道刷积分墙,做投票,刷账号。好多网站都是限注册数量的,还有一些游

  • 16 2020-02
    初次选择代理ip要怎么选?

    现在很多人在工作和生活上都会用到不少工具来协助自己,如果大家没有听说过动态ip代理,那么就是时候好好补补课了,看看到底该怎么选择换ip软件来使用吧。

  • 16 2020-04
    动态ip代理使用在爬虫的情况

    动态代理修改器帮助网络爬虫,相信很多网络工作者在爬虫的时候也用到不少代理ip了。那么,大家知道爬虫对代理ip的使用要关注什么呢?