收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
盘点一些常见的网站反爬虫措施
来源:极客猴 作者:admin 时间:2018-12-18 15:00:35

现在不管是哪个行业,做项目之前都会想着收集有些数据来参考一下,特别是来自同行的数据,但目标网站并不想给你采集,因为这不仅会影响服务器,还带来了竞争,因此大部分的网站都有设置反爬虫机制,今天智连代理为大家盘点一些常见的网站反爬虫措施


一、乱码符号


汽车之家论坛的反爬虫机制就比较高级。它利用前端页面自定义字体的方式来实现反爬的技术手段。具体使用到是CSS3中的自定义字体(@font-face)模块,自定义字体主要是实现将自定义的Web字体嵌入到指定网页中去。这就导致我们去爬取论坛帖子的口碑时,获取到的返回文本中每隔几个字就出现一个乱码符号。


每次访问论坛页面,其中字体是不变的,但字符编码是变化的。因此,我们需要根据每次访问动态解析字体文件。


具体可以先访问需要爬取的页面,获取字体文件的动态访问地址并下载字体,读取js渲染后的文本内容,替换其中的自定义字体编码为实际文本编码,就可复原网页为页面所见内容了。


盘点一些常见的网站反爬虫措施


二、登陆验证+IP限制


拉勾网站刚出来的时候,反爬虫机制还没有现在这么严格。估计爬取网站的人多了起来,网站管理员为了保护服务器增加一些手段。该网站的反爬虫机制大概是这样子。


1、在没有登录的情况下,程序只能连续访问3个Url。如果再继续访问,网站会将链接重定向,然后提示我们登录。


2、如果在登录情况下,连续请求部分url之后,我们的IP会被封。


针对这样的爬虫机制,我们只能使用IP代理池来突破。


三、cookie+IP限制


几乎所有的爬虫新手都会爬取豆瓣练练手。但是豆瓣还是保持开放的态度,反爬虫机制做得还是很人性化。它的反爬虫机制大概如下:


1、在没有携带cookie的情况下,如果某个IP短时间高并发请求网站,该IP会立马被封。当IP被封,登录豆瓣网站会解封。


2、在携带cookie的情况下,某个IP请求网站过于频繁。豆瓣的反爬虫机制变为只封cookie不封IP。也就说退出登录或者换个账号还能继续访问网站。


面对这么体谅新手的网站,我们要下手不能那么猛。我们只要在代码中登录账号,同时降低并发数,再随机延迟等待一段时间。我们的爬虫程序就不会被封杀了。


四、Referer字段


妹子图这个网站的反爬虫机制比较简单。当我们使用网络请求库下载图片时,该网站会对检查每个HTTP请求的headers头部中Referer字段。它判断该字段是否为空,如果字段为空,那么不会返回正常显示的图片,而是返回一张带有“图片来自妹子网,请勿盗链”字样的图片。


遇到这种机制,突破也是比较简单。对每个HTTP请求,将页面的url地址填充到Referer字段中。


上文盘点了四个网站的反爬虫措施,不同的网站采集的措施不一样,如果需要采集数据,需要分析目标网站的反爬虫机制,然后再制定采集方法,并可以使用各种工具突破反爬虫机制,比如使用智连代理,或者精灵代理,可以实现换IP的作用,以突破IP限制,加快采集的速度。


当然,也不能无限制的进行采集工作,即使使用代理,也一样需要控制采集的速度,避免高速采集导致目标网站出现问题。


推荐阅读
  • 27 2019-09
    代理ip​能解决账号被封吗?

    代理ip​能解决账号被封吗?现在很多人都喜欢在论坛上进行推广,无论是做电商的还是搞外链的,在不同的论坛上进行引流几乎是标配一般的操作,然而为了杜绝大量的推广链接,很多论坛都会

  • 04 2019-11
    购买代理ip软件​要多少钱?

    购买代理ip软件​要多少钱?换IP的需求许多人都有,比如爬虫注册,刷票采集等,目前比较简单的方法就是通过代理ip软件来进行换ip操作,目前市场上有许多商家都提供代理ip服务,太便宜了怕

  • 09 2019-12
    使用代理ip​突破注册限制!

    使用代理ip​突破注册限制!在进行网络推广的过程当中我们通常需要注册不同论坛的大量账号,但是许多论坛如今都有注册限制,一个ip地址通常在24小时之内只能注册一个或者两个账号,想要

  • 08 2019-11
    代理ip软件​的作用有哪些?

    代理ip软件​的作用有哪些?代理ip就是通过代理网络用户去取得网络信息,它是网络信息的中转站,代理服务器就好象一个大的Cache,这样就能显著提高浏览速度和效率。那么,除此之外代理ip软

  • 06 2018-11
    哪家IP代理性价比高

    哪家IP代理性价比高?互联网+的到来,网络用户越多,到现在即使是非常传统的行业都开始使用互联网,通过互联网吸引用户。

  • 14 2019-08
    收费的ip代理软件为什么比免费还受欢迎

    收费的ip代理软件为什么比免费还受欢迎?对于很大一部分人来说,人们都是希望能够免费包括衣食住行,也包括工作中所使用的某些工具,不过现在付费模式比较流行,成为会员享受更好的质