收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
盘点一些常见的网站反爬虫措施
来源:极客猴 作者:admin 时间:2018-12-18 15:00:35

现在不管是哪个行业,做项目之前都会想着收集有些数据来参考一下,特别是来自同行的数据,但目标网站并不想给你采集,因为这不仅会影响服务器,还带来了竞争,因此大部分的网站都有设置反爬虫机制,今天智连代理为大家盘点一些常见的网站反爬虫措施


一、乱码符号


汽车之家论坛的反爬虫机制就比较高级。它利用前端页面自定义字体的方式来实现反爬的技术手段。具体使用到是CSS3中的自定义字体(@font-face)模块,自定义字体主要是实现将自定义的Web字体嵌入到指定网页中去。这就导致我们去爬取论坛帖子的口碑时,获取到的返回文本中每隔几个字就出现一个乱码符号。


每次访问论坛页面,其中字体是不变的,但字符编码是变化的。因此,我们需要根据每次访问动态解析字体文件。


具体可以先访问需要爬取的页面,获取字体文件的动态访问地址并下载字体,读取js渲染后的文本内容,替换其中的自定义字体编码为实际文本编码,就可复原网页为页面所见内容了。


盘点一些常见的网站反爬虫措施


二、登陆验证+IP限制


拉勾网站刚出来的时候,反爬虫机制还没有现在这么严格。估计爬取网站的人多了起来,网站管理员为了保护服务器增加一些手段。该网站的反爬虫机制大概是这样子。


1、在没有登录的情况下,程序只能连续访问3个Url。如果再继续访问,网站会将链接重定向,然后提示我们登录。


2、如果在登录情况下,连续请求部分url之后,我们的IP会被封。


针对这样的爬虫机制,我们只能使用IP代理池来突破。


三、cookie+IP限制


几乎所有的爬虫新手都会爬取豆瓣练练手。但是豆瓣还是保持开放的态度,反爬虫机制做得还是很人性化。它的反爬虫机制大概如下:


1、在没有携带cookie的情况下,如果某个IP短时间高并发请求网站,该IP会立马被封。当IP被封,登录豆瓣网站会解封。


2、在携带cookie的情况下,某个IP请求网站过于频繁。豆瓣的反爬虫机制变为只封cookie不封IP。也就说退出登录或者换个账号还能继续访问网站。


面对这么体谅新手的网站,我们要下手不能那么猛。我们只要在代码中登录账号,同时降低并发数,再随机延迟等待一段时间。我们的爬虫程序就不会被封杀了。


四、Referer字段


妹子图这个网站的反爬虫机制比较简单。当我们使用网络请求库下载图片时,该网站会对检查每个HTTP请求的headers头部中Referer字段。它判断该字段是否为空,如果字段为空,那么不会返回正常显示的图片,而是返回一张带有“图片来自妹子网,请勿盗链”字样的图片。


遇到这种机制,突破也是比较简单。对每个HTTP请求,将页面的url地址填充到Referer字段中。


上文盘点了四个网站的反爬虫措施,不同的网站采集的措施不一样,如果需要采集数据,需要分析目标网站的反爬虫机制,然后再制定采集方法,并可以使用各种工具突破反爬虫机制,比如使用智连代理,或者精灵代理,可以实现换IP的作用,以突破IP限制,加快采集的速度。


当然,也不能无限制的进行采集工作,即使使用代理,也一样需要控制采集的速度,避免高速采集导致目标网站出现问题。


推荐阅读
  • 19 2019-08
    ip代理有什么样的功能可以干什么

    ip代理有什么样的功能可以干什么?网络现在已经是我们生活和工作中不能缺少的一部分,除了日常的娱乐灌水,很多的工作也是需要网络才可以完成,像问答推广、网络营销、数据采集等等,但

  • 26 2019-07
    高匿代理IP也不靠谱怎么办?

    高匿代理IP也不靠谱怎么办?大家有没有发现,有时候即使使用了高匿名代理IP,这效果也不怎么样?这是为什么呢?

  • 23 2019-08
    IP代理如何隐藏我的IP地址?

    IP代理如何隐藏我的IP地址?为什么要隐藏你的IP地址,答案很简单,因为IP地址可能会泄露使用者的信息,为了保护自己的私隐,使用IP代理是最好的方法了。而且IP代理还有可以阻止Web跟踪,避

  • 23 2019-12
    代理IP真的好用吗?

    现在,网络上面有很多不同代理服务商提供的代理ip。虽然都是代理IP,但是不同种类的代理ip的使用跟功能其实也是存在着区别的。用户需要来根据自己的使用需求来进行ip代理服务类型的选择

  • 29 2019-09
    如何获取爬虫代理ip​?

    如何获取爬虫代理ip​?足够的代理ip对于爬虫工作者的地位相当于鱼儿和水,没有代理ip就相当于鱼儿离开了水,寸步难行。想要顺利进行各类爬行,拥有足够数量和质量的代理ip十分重要,那么

  • 28 2019-04
    代理IP极速解决刷流量、数据采集、养号的IP限制问题

    代理IP极速解决刷流量、数据采集、养号的IP限制问题,如果没有代理IP,很多事情都不能完善的处理,因此代理IP适用于很多的行业,关于IP限制的问题,都可以使用代理IP的,比如:

您好,当前有客服在线,请问有什么需要咨询的吗?