IP代理的原理是什么呢?在爬取某些网站时,我们经常会设置代理IP来避免爬虫程序被封,我们获取代理IP地址方式通常提取国内的知名IP代理商(如智连代理)的代理IP。但是大家有没有想过IP代理背后的原理是什么呢?本文的主要内容是讲解各种代理IP背后的原理。
代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量 REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR 是决定性因素。
1) REMOTE_ADDR
REMOTE_ADDR 表示客户端的 IP,但是它的值不是由客户端提供的,而是服务器根据客户端的 IP 指定的。
如果使用浏览器直接访问某个网站,那么网站的 web 服务器(Nginx、Apache等)就会把 REMOTE_ADDR 设为客户端的 IP 地址。
如果我们给浏览器设置代理,我们访问目标网站的请求会先经过代理服务器,然后由代理服务器将请求转化到目标网站。那么网站的 web 服务器就会把 REMOTE_ADDR 设为代理服务器的 IP。
2)X-Forwarded-For(XFF)
X-Forwarded-For 是一个 HTTP 扩展头部,用来表示 HTTP 请求端真实 IP。当客户端使用了代理时,web 服务器就不知道客户端的真实 IP 地址。为了避免这个情况,代理服务器通常会增加一个 X-Forwarded-For 的头信息,把客户端的 IP 添加到头信息里面。
client 表示客户端的 IP 地址;proxy1 是离服务端最远的设备 IP; proxy2 是次级代理设备的 IP;从格式中,可以看出从 client 到 server 是可以有多层代理的。
如果一个 HTTP 请求到达服务器之前,经过了三个代理 Proxy1、Proxy2、Proxy3,IP 分别为 IP1、IP2、IP3,用户真实 IP 为 IP0,那么按照 XFF 标准,服务端最终会收到以下信息:
X-Forwarded-For: IP0, IP1, IP2
Proxy3 直连服务器,它会给 XFF 追加 IP2,表示它是在帮 Proxy2 转发请求。列表中并没有 IP3,IP3 可以在服务端通过 Remote Address 字段获得。我们知道 HTTP 连接基于 TCP 连接,HTTP 协议中没有 IP 的概念,Remote Address 来自 TCP 连接,表示与服务端建立 TCP 连接的设备 IP,在这个例子里就是 IP3。
3)HTTP_VIA
via 是 HTTP 协议里面的一个header,记录了一次 HTTP 请求所经过的代理和网关,经过1个代理服务器,就添加一个代理服务器的信息,经过2个就添加2个。
以上就是实现代理IP的三种原理,代理IP在爬虫数据采集工作中有着十分重要的地位,市面上虽然有着许多免费的IP代理但是为了爬虫的稳定和顺利,还是建议大家采取收费的代理IP,毕竟一分钱一分货嘛。【推荐阅读:代理IP按用途可以分几类?】
ip代理在网络上其实已经有非常多的资料了,无论是使用方式还是用途,都有很多相关的介绍,这都是大家可以通过搜索引擎找得到的。
国内换ip正在流行起来,现在国内网络使用也是经常会用到代理ip,我们来了解看看在哪些地方可以找到ip代理的痕迹。
免费代理ip不可用于爬虫!进行爬虫都需要使用大量的代理ip这点我相信大家都知道,如果没有足够的代理ip那么我们的爬虫极其容易就被封禁,对于代理ip的选择无论是谁都推荐收费的代理ip,为
代理ip是如何防止网络攻击?代理ip的主要功能用于掩护真实ip地址,这点很多人都知道,但是大家又知不知道代理ip还可以通过这个功能提供网络防御呢?
IP代理软件无效可以退款吗?一件商品,是无法做到人人都满意的,就像钱也是有人不喜欢的。同样,IP代理也会遇上这些问题,目前市场上IP代理软件不少,大家质量不一,有些时候这IP代理软
哪家的IP资源丰富?IP资源质量好?因为现在网站的限制多,想弄点资源,还得找个帮手--代理IP,这帮手也有好用不好用的。