收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
盘点一些常见的网站反爬虫措施
来源:极客猴 作者:admin 时间:2018-12-18 15:00:35

现在不管是哪个行业,做项目之前都会想着收集有些数据来参考一下,特别是来自同行的数据,但目标网站并不想给你采集,因为这不仅会影响服务器,还带来了竞争,因此大部分的网站都有设置反爬虫机制,今天智连代理为大家盘点一些常见的网站反爬虫措施


一、乱码符号


汽车之家论坛的反爬虫机制就比较高级。它利用前端页面自定义字体的方式来实现反爬的技术手段。具体使用到是CSS3中的自定义字体(@font-face)模块,自定义字体主要是实现将自定义的Web字体嵌入到指定网页中去。这就导致我们去爬取论坛帖子的口碑时,获取到的返回文本中每隔几个字就出现一个乱码符号。


每次访问论坛页面,其中字体是不变的,但字符编码是变化的。因此,我们需要根据每次访问动态解析字体文件。


具体可以先访问需要爬取的页面,获取字体文件的动态访问地址并下载字体,读取js渲染后的文本内容,替换其中的自定义字体编码为实际文本编码,就可复原网页为页面所见内容了。


盘点一些常见的网站反爬虫措施


二、登陆验证+IP限制


拉勾网站刚出来的时候,反爬虫机制还没有现在这么严格。估计爬取网站的人多了起来,网站管理员为了保护服务器增加一些手段。该网站的反爬虫机制大概是这样子。


1、在没有登录的情况下,程序只能连续访问3个Url。如果再继续访问,网站会将链接重定向,然后提示我们登录。


2、如果在登录情况下,连续请求部分url之后,我们的IP会被封。


针对这样的爬虫机制,我们只能使用IP代理池来突破。


三、cookie+IP限制


几乎所有的爬虫新手都会爬取豆瓣练练手。但是豆瓣还是保持开放的态度,反爬虫机制做得还是很人性化。它的反爬虫机制大概如下:


1、在没有携带cookie的情况下,如果某个IP短时间高并发请求网站,该IP会立马被封。当IP被封,登录豆瓣网站会解封。


2、在携带cookie的情况下,某个IP请求网站过于频繁。豆瓣的反爬虫机制变为只封cookie不封IP。也就说退出登录或者换个账号还能继续访问网站。


面对这么体谅新手的网站,我们要下手不能那么猛。我们只要在代码中登录账号,同时降低并发数,再随机延迟等待一段时间。我们的爬虫程序就不会被封杀了。


四、Referer字段


妹子图这个网站的反爬虫机制比较简单。当我们使用网络请求库下载图片时,该网站会对检查每个HTTP请求的headers头部中Referer字段。它判断该字段是否为空,如果字段为空,那么不会返回正常显示的图片,而是返回一张带有“图片来自妹子网,请勿盗链”字样的图片。


遇到这种机制,突破也是比较简单。对每个HTTP请求,将页面的url地址填充到Referer字段中。


上文盘点了四个网站的反爬虫措施,不同的网站采集的措施不一样,如果需要采集数据,需要分析目标网站的反爬虫机制,然后再制定采集方法,并可以使用各种工具突破反爬虫机制,比如使用智连代理,或者精灵代理,可以实现换IP的作用,以突破IP限制,加快采集的速度。


当然,也不能无限制的进行采集工作,即使使用代理,也一样需要控制采集的速度,避免高速采集导致目标网站出现问题。


推荐阅读
  • 28 2019-03
    动态IP资源大量使用--网络爬虫采集数据的小帮手

    即使限制IP资源缺乏,但是还有私有IP地址,我们使用动态IP也能满足上网的需求,有一些项目也是需要使用到动态IP,这些动态IP都使用在哪些地方呢?

  • 18 2019-01
    动态IP一般有什么用?如何获取动态IP?

    也许大家不知道,其实IP地址分为静态IP与动态IP,二者是相对应的。所谓动态是指每次上网时,运营商会随机分配一个IP地址,静态指固定不变分配一个IP地址给你。通俗来说,静态IP是分配给设

  • 01 2019-07
    动态换ip软件好用吗?

    动态换ip软件好用吗?需要换IP的网络用户比较多,有些是因为工作需要,有些是娱乐需求,但是不管是什么样的需求,凡是需要经常性的更换IP地址,这是比较麻烦的,尤其是我们得修改自己的

  • 23 2019-04
    挂机经常掉线,是因为ip代理的原因吗?

    挂机经常掉线,是因为ip代理的原因吗?到底是ip代理不好用,还是说是挂机软件的原因呢?带着疑问跟小编一起去探讨下。

  • 14 2019-05
    IP加速器能解决游戏丢包问题

    IP加速器能解决游戏丢包问题吗?玩游戏,大家最关注的是卡,掉线,丢包这些问题,总之游戏不流畅,非常的影响我们的游戏体验,游戏都不刺激,不好玩了。

  • 09 2019-07
    防止封IP可以用国内代理ip

    防止封IP可以用国内代理ip,因为使用国内代理ip之后,我们可以切换国内很多城市的IP地址,这样不会出现同ip访问过于频繁的情况,比如: