收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
盘点一些常见的网站反爬虫措施
来源:极客猴 作者:admin 时间:2018-12-18 15:00:35

现在不管是哪个行业,做项目之前都会想着收集有些数据来参考一下,特别是来自同行的数据,但目标网站并不想给你采集,因为这不仅会影响服务器,还带来了竞争,因此大部分的网站都有设置反爬虫机制,今天智连代理为大家盘点一些常见的网站反爬虫措施


一、乱码符号


汽车之家论坛的反爬虫机制就比较高级。它利用前端页面自定义字体的方式来实现反爬的技术手段。具体使用到是CSS3中的自定义字体(@font-face)模块,自定义字体主要是实现将自定义的Web字体嵌入到指定网页中去。这就导致我们去爬取论坛帖子的口碑时,获取到的返回文本中每隔几个字就出现一个乱码符号。


每次访问论坛页面,其中字体是不变的,但字符编码是变化的。因此,我们需要根据每次访问动态解析字体文件。


具体可以先访问需要爬取的页面,获取字体文件的动态访问地址并下载字体,读取js渲染后的文本内容,替换其中的自定义字体编码为实际文本编码,就可复原网页为页面所见内容了。


盘点一些常见的网站反爬虫措施


二、登陆验证+IP限制


拉勾网站刚出来的时候,反爬虫机制还没有现在这么严格。估计爬取网站的人多了起来,网站管理员为了保护服务器增加一些手段。该网站的反爬虫机制大概是这样子。


1、在没有登录的情况下,程序只能连续访问3个Url。如果再继续访问,网站会将链接重定向,然后提示我们登录。


2、如果在登录情况下,连续请求部分url之后,我们的IP会被封。


针对这样的爬虫机制,我们只能使用IP代理池来突破。


三、cookie+IP限制


几乎所有的爬虫新手都会爬取豆瓣练练手。但是豆瓣还是保持开放的态度,反爬虫机制做得还是很人性化。它的反爬虫机制大概如下:


1、在没有携带cookie的情况下,如果某个IP短时间高并发请求网站,该IP会立马被封。当IP被封,登录豆瓣网站会解封。


2、在携带cookie的情况下,某个IP请求网站过于频繁。豆瓣的反爬虫机制变为只封cookie不封IP。也就说退出登录或者换个账号还能继续访问网站。


面对这么体谅新手的网站,我们要下手不能那么猛。我们只要在代码中登录账号,同时降低并发数,再随机延迟等待一段时间。我们的爬虫程序就不会被封杀了。


四、Referer字段


妹子图这个网站的反爬虫机制比较简单。当我们使用网络请求库下载图片时,该网站会对检查每个HTTP请求的headers头部中Referer字段。它判断该字段是否为空,如果字段为空,那么不会返回正常显示的图片,而是返回一张带有“图片来自妹子网,请勿盗链”字样的图片。


遇到这种机制,突破也是比较简单。对每个HTTP请求,将页面的url地址填充到Referer字段中。


上文盘点了四个网站的反爬虫措施,不同的网站采集的措施不一样,如果需要采集数据,需要分析目标网站的反爬虫机制,然后再制定采集方法,并可以使用各种工具突破反爬虫机制,比如使用智连代理,或者精灵代理,可以实现换IP的作用,以突破IP限制,加快采集的速度。


当然,也不能无限制的进行采集工作,即使使用代理,也一样需要控制采集的速度,避免高速采集导致目标网站出现问题。


推荐阅读
  • 18 2019-09
    如何挑选一个好用的代理ip​?

    如何挑选一个好用的代理ip​?一个好用的代理ip可以让我们在工作的时候提供很多帮助,考虑一个代理IP好不好用其实有许多方面,例如ip的数量质量和价格等等,下面就跟大家分享一下挑选好的

  • 28 2019-08
    IP代理的原理是什么呢?

    IP代理的原理是什么呢?在爬取某些网站时,我们经常会设置代理IP​来避免爬虫程序被封,我们获取代理IP地址方式通常提取国内的知名IP代理商(如智连代理)的代理IP。但是大家有没有想过IP代理

  • 16 2019-02
    选择哪种方式上网好?路由器设置上网方法

    大家在设置路由器的时候,都会看到宽带拨号上网、自动获得IP地址上网、固定IP地址上网这3种上网方式,有一些新手就要问了,这几种方式有什么区别?应该如何选择?今天小编就来给大家说

  • 21 2020-03
    ip修改器在企业活动的作用

    智连代理​一直专注于代理ip领域,这是因为ip代理是在互联网中有着非常关键的作用的。提供给用户稳定的ip资源,可以让大家更好的利用网络。

  • 26 2020-02
    数据抓取可以不用ip代理?

    现在网络数据的获得,主要是通过网络爬虫技术进行抓取的,这种技术的好处就在于能够简单快速的将数据进行爬取,不用耗费太多的人力。

  • 28 2019-08
    高匿代理IP有哪些优势?

    高匿代理IP有哪些优势?如今互联网发展十分迅速,使用代理ip的人群也是越来越多了,因为代理IP给不少行业带来了许多的优势,我们知道代理IP​分为透明、普通和高匿三类,这三类里的高匿代