收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
盘点一些常见的网站反爬虫措施
来源:极客猴 作者:admin 时间:2018-12-18 15:00:35

现在不管是哪个行业,做项目之前都会想着收集有些数据来参考一下,特别是来自同行的数据,但目标网站并不想给你采集,因为这不仅会影响服务器,还带来了竞争,因此大部分的网站都有设置反爬虫机制,今天智连代理为大家盘点一些常见的网站反爬虫措施


一、乱码符号


汽车之家论坛的反爬虫机制就比较高级。它利用前端页面自定义字体的方式来实现反爬的技术手段。具体使用到是CSS3中的自定义字体(@font-face)模块,自定义字体主要是实现将自定义的Web字体嵌入到指定网页中去。这就导致我们去爬取论坛帖子的口碑时,获取到的返回文本中每隔几个字就出现一个乱码符号。


每次访问论坛页面,其中字体是不变的,但字符编码是变化的。因此,我们需要根据每次访问动态解析字体文件。


具体可以先访问需要爬取的页面,获取字体文件的动态访问地址并下载字体,读取js渲染后的文本内容,替换其中的自定义字体编码为实际文本编码,就可复原网页为页面所见内容了。


盘点一些常见的网站反爬虫措施


二、登陆验证+IP限制


拉勾网站刚出来的时候,反爬虫机制还没有现在这么严格。估计爬取网站的人多了起来,网站管理员为了保护服务器增加一些手段。该网站的反爬虫机制大概是这样子。


1、在没有登录的情况下,程序只能连续访问3个Url。如果再继续访问,网站会将链接重定向,然后提示我们登录。


2、如果在登录情况下,连续请求部分url之后,我们的IP会被封。


针对这样的爬虫机制,我们只能使用IP代理池来突破。


三、cookie+IP限制


几乎所有的爬虫新手都会爬取豆瓣练练手。但是豆瓣还是保持开放的态度,反爬虫机制做得还是很人性化。它的反爬虫机制大概如下:


1、在没有携带cookie的情况下,如果某个IP短时间高并发请求网站,该IP会立马被封。当IP被封,登录豆瓣网站会解封。


2、在携带cookie的情况下,某个IP请求网站过于频繁。豆瓣的反爬虫机制变为只封cookie不封IP。也就说退出登录或者换个账号还能继续访问网站。


面对这么体谅新手的网站,我们要下手不能那么猛。我们只要在代码中登录账号,同时降低并发数,再随机延迟等待一段时间。我们的爬虫程序就不会被封杀了。


四、Referer字段


妹子图这个网站的反爬虫机制比较简单。当我们使用网络请求库下载图片时,该网站会对检查每个HTTP请求的headers头部中Referer字段。它判断该字段是否为空,如果字段为空,那么不会返回正常显示的图片,而是返回一张带有“图片来自妹子网,请勿盗链”字样的图片。


遇到这种机制,突破也是比较简单。对每个HTTP请求,将页面的url地址填充到Referer字段中。


上文盘点了四个网站的反爬虫措施,不同的网站采集的措施不一样,如果需要采集数据,需要分析目标网站的反爬虫机制,然后再制定采集方法,并可以使用各种工具突破反爬虫机制,比如使用智连代理,或者精灵代理,可以实现换IP的作用,以突破IP限制,加快采集的速度。


当然,也不能无限制的进行采集工作,即使使用代理,也一样需要控制采集的速度,避免高速采集导致目标网站出现问题。


推荐阅读
  • 06 2020-02
    网络数据爬取防御怎么来破解?

    网络数据时代,大数据的抓取已经是见怪不怪了。网站自然有自己的防御机制,避免自己的数据被大量恶意爬取,增加服务器的负担,但是有防御,就会有破解的方式。

  • 20 2019-11
    代理IP​动静态线路的分别!

    代理IP​动静态线路的分别!IP地址是指互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),是IP Address的缩写。IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个

  • 27 2018-11
    目前爬虫经常遇到的限制有哪些

    以前网站都多爬虫非常的友好,但随着时间的发展,爬虫被应用于许多场景,比如有些人利用爬虫采集对方大量数据,通过分析,挖掘有价值的信息,并与对方进行商业竞争;也有是...

  • 14 2018-11
    新手做网络营销用哪个代理IP好

    之前,使用代理IP最多的是做网络营销人员,还有爬虫,电商等等。主要是通过换IP的功能,突破IP限制,让工作效果更好。

  • 19 2019-06
    模拟器安卓苹果手机ip代理软件

    模拟器安卓苹果手机ip代理软件,有没有支持多个设备使用的ip代理软件呢?这样的话无论我们使用的是哪个设备,都支持的。

  • 09 2020-01
    影响代理ip速度的因素

    平时大家在上网的时候,如果需要玩游戏同时多开好几个账号,或者是网络电商要进行刷单,那么这些操作都是需要用到不同的ip地址的,就需要我们用到ip代理来换ip。