收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站经常使用三种反爬虫,突破方法分享
来源:互联网 作者:admin 时间:2019-02-04 09:55:00

    通常网站都设置非常多的反爬虫,这是为了防止恶意爬虫的采集,因为这会影响网站的运营。当然,爬虫是不会怕的,只要技术到位,舍得花钱,没有爬不了的网站,为什么这么说呢?


    爬虫进行突破限制,是需要利用各种的工具来辅助的,比如代理IP,这需要花钱去租用或者是花钱自己搭建代理IP池的。还有验证码的识别,这也是需要的...


    今天小编收集网站经常使用三种反爬虫,突破方法分享给大家,希望可以帮助到大家。


    从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。


    一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度。


网站经常使用三种反爬虫,突破方法分享


    一、根据Headers设置反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    二、根据用户行设置反爬虫


    还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。这样的代理ip爬虫经常会用到,最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    三、根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样,除了加密ajax参数,它还把一些基本的功能都封装了,全部都是在调用自己的接口,而接口参数都是加密的。遇到这样的网站,我们就不能用上面的方法了,我用的是selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


    上文介绍了网站经常使用三种反爬虫,突破方法分享给大家了,仅供参考。若需要使用代理,可以选择使用智连代理,全国200多城市IP线路,海量IP任意连接,帮助爬虫快速突破限制。


推荐阅读
  • 25 2018-12
    新手怎么提高爬虫的效率,如何获得充足稳定的代理IP

    网站都有反爬虫机制,如果想通过爬虫快速采集,会给网站造成不好的影响,因此网站会加以限制,但过慢的采集就毫无意义了,那么新手怎么提高爬虫的效率?

  • 19 2019-06
    ip更换后被封问题出在哪里?

    ip更换后被封问题出在哪里?ip更换,这是个很熟悉的操作,但是很多时候,ip更换并没有用,还是被封了,这是为什么呢?

  • 17 2020-01
    代理ip对游戏玩家的好处

    代理ip不是用在需要换ip的场景中吗?怎么对于玩游戏的用户也有帮助呢?今天,我们跟着智连代理一起来看看到底ip代理能给游戏玩家带来什么好处?

  • 24 2019-10
    为什么爬虫需要代理IP​?

    为什么爬虫需要代理IP​?现在,爬虫程序怎么样安全躲避防爬程序,可以说是一个很普遍的需求了。做网络爬虫时,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了

  • 23 2018-11
    设置代理服务器不能上网,是哪里出问题了?

    设置代理服务器不能上网,是哪里出问题了?是IP地址有问题呢?还是?如果不知道是什么原因导致的,建议重新安装,首先把之前的设置的都取消掉,跟智连代理去看看怎么设置代理服务器。

  • 16 2019-08
    国内代理ip有什么用处?

    国内代理ip有什么用处?使用代理ip可以随意切换我们的IP地址,更换到不同的城市或者运营商,提升我们的上网体验。