收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站经常使用三种反爬虫,突破方法分享
来源:互联网 作者:admin 时间:2019-02-04 09:55:00

    通常网站都设置非常多的反爬虫,这是为了防止恶意爬虫的采集,因为这会影响网站的运营。当然,爬虫是不会怕的,只要技术到位,舍得花钱,没有爬不了的网站,为什么这么说呢?


    爬虫进行突破限制,是需要利用各种的工具来辅助的,比如代理IP,这需要花钱去租用或者是花钱自己搭建代理IP池的。还有验证码的识别,这也是需要的...


    今天小编收集网站经常使用三种反爬虫,突破方法分享给大家,希望可以帮助到大家。


    从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。


    一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度。


网站经常使用三种反爬虫,突破方法分享


    一、根据Headers设置反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    二、根据用户行设置反爬虫


    还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。这样的代理ip爬虫经常会用到,最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    三、根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样,除了加密ajax参数,它还把一些基本的功能都封装了,全部都是在调用自己的接口,而接口参数都是加密的。遇到这样的网站,我们就不能用上面的方法了,我用的是selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


    上文介绍了网站经常使用三种反爬虫,突破方法分享给大家了,仅供参考。若需要使用代理,可以选择使用智连代理,全国200多城市IP线路,海量IP任意连接,帮助爬虫快速突破限制。


推荐阅读
  • 19 2019-08
    选择ip代理有哪些要注意的

    选择ip代理有哪些要注意的?随着互联网行业的兴起,越来越多的公司和个人选择在网络上开展业务,IP代理也走进了不少人的视野里,各类的网络营销方法都要使用IP代理,这么多的IP代理软件怎

  • 02 2019-08
    怎么用修改ip工具进行切换ip

    修改ip工具是用于在不同网络环境下快速切换ip地址等网络配置的软件工具。不过很多小伙伴因为玩游戏、浏览网页或者一些工作原因需要经常换ip地址,但是又不知该如何快速操作,现在教大家

  • 28 2019-06
    ip地址修改器找智连代理

    ip地址修改器找智连代理,为什么要使用ip地址修改器?想要换设备的IP地址,都可以找智连代理的,支持自动更换IP地址,全国的IP地址,你想换哪个都行的。而且还有静态IP和动态IP,如果想要

  • 14 2019-06
    怎么知道有没有用代理ip?

    怎么知道有没有用代理ip?有时候用代理ip之后,被对方发现了,对方是怎么发现用户使用了代理ip呢?

  • 20 2019-06
    动态代理和独享代理选谁?

    动态代理和独享代理选谁?网络上不泛各种代理IP,不过要找个高质量的有些难度的,大部分都是使用动态代理,也就是共享代理的,今天小编就给大家介绍个独享代理。

  • 09 2019-01
    刷单不被抓的技巧:使用换IP工具

    虽说现在刷单越来越严格,但是大部分都选择不等死,怎么也要刷单,就看如何做好刷单的措施。很多人都是这么认为的,只要做好一些细节,很多刷单都没有被发现的,那么刷单不被抓的技巧