收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站经常使用三种反爬虫,突破方法分享
来源:互联网 作者:admin 时间:2019-02-04 09:55:00

    通常网站都设置非常多的反爬虫,这是为了防止恶意爬虫的采集,因为这会影响网站的运营。当然,爬虫是不会怕的,只要技术到位,舍得花钱,没有爬不了的网站,为什么这么说呢?


    爬虫进行突破限制,是需要利用各种的工具来辅助的,比如代理IP,这需要花钱去租用或者是花钱自己搭建代理IP池的。还有验证码的识别,这也是需要的...


    今天小编收集网站经常使用三种反爬虫,突破方法分享给大家,希望可以帮助到大家。


    从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。


    一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度。


网站经常使用三种反爬虫,突破方法分享


    一、根据Headers设置反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    二、根据用户行设置反爬虫


    还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。这样的代理ip爬虫经常会用到,最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    三、根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样,除了加密ajax参数,它还把一些基本的功能都封装了,全部都是在调用自己的接口,而接口参数都是加密的。遇到这样的网站,我们就不能用上面的方法了,我用的是selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


    上文介绍了网站经常使用三种反爬虫,突破方法分享给大家了,仅供参考。若需要使用代理,可以选择使用智连代理,全国200多城市IP线路,海量IP任意连接,帮助爬虫快速突破限制。


推荐阅读
  • 30 2019-12
    https代理保护网络隐私安全

    互联网以网络互联为优势,但是在带来便捷的同时,也在滋生隐患,比如网络上面的信息盗窃、盗用现象屡禁不止,这是非常让用户担心的。

  • 06 2019-04
    购买动态ip,满足哪些条件使用效果好?

    想购买动态ip使用,也是要做一些数据上的对比,如果质量太差也就没有购买使用的必要了。照这么说,我们选用什么样的动态ip会比较好呢?我们首先来看看一下几个问题。

  • 29 2019-01
    代理服务器在工作中有什么作用

    相对于几十亿的网民而言,使用代理服务器的占比是非常小的,即使占比小,但使用的人数也不少。而且现在随着技术的进步,很多平台的限制越多了,需要使用到代理的地方也多了起来,那么

  • 24 2019-09
    如何选择爬虫代理IP​呢?

    如何选择爬虫代理IP​呢?作爬虫采集的工程师们对高匿动态爬虫代理ip肯定不陌生,也接触过不少爬虫代理ip的提供商家,那么对于爬虫工作,要如何去选择爬虫代理IP呢?

  • 09 2019-07
    找个纯净一点的ip代理

    找个纯净一点的ip代理,这不容易,大家有没有什么好的介绍呢?网上那些公布出来的ip代理,都是共享的,质量实在太差了,数量多也没有几个能用的,大家都是用哪家的ip代理呢?

  • 29 2019-06
    网站的IP限制可用ip代理解决

    网站的IP限制可用ip代理解决,这是比较有效的方法,也是大部分人选择的方法,尤其是爬虫,毕竟需要高频率的访问网站。