收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站经常使用三种反爬虫,突破方法分享
来源:互联网 作者:admin 时间:2019-02-04 09:55:00

    通常网站都设置非常多的反爬虫,这是为了防止恶意爬虫的采集,因为这会影响网站的运营。当然,爬虫是不会怕的,只要技术到位,舍得花钱,没有爬不了的网站,为什么这么说呢?


    爬虫进行突破限制,是需要利用各种的工具来辅助的,比如代理IP,这需要花钱去租用或者是花钱自己搭建代理IP池的。还有验证码的识别,这也是需要的...


    今天小编收集网站经常使用三种反爬虫,突破方法分享给大家,希望可以帮助到大家。


    从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。


    一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度。


网站经常使用三种反爬虫,突破方法分享


    一、根据Headers设置反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    二、根据用户行设置反爬虫


    还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。这样的代理ip爬虫经常会用到,最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    三、根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样,除了加密ajax参数,它还把一些基本的功能都封装了,全部都是在调用自己的接口,而接口参数都是加密的。遇到这样的网站,我们就不能用上面的方法了,我用的是selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


    上文介绍了网站经常使用三种反爬虫,突破方法分享给大家了,仅供参考。若需要使用代理,可以选择使用智连代理,全国200多城市IP线路,海量IP任意连接,帮助爬虫快速突破限制。


推荐阅读
  • 29 2019-09
    如何获取爬虫代理ip​?

    如何获取爬虫代理ip​?足够的代理ip对于爬虫工作者的地位相当于鱼儿和水,没有代理ip就相当于鱼儿离开了水,寸步难行。想要顺利进行各类爬行,拥有足够数量和质量的代理ip十分重要,那么

  • 14 2019-10
    爬虫代理ip​是怎么获得的?

    爬虫代理ip​是怎么获得的?在爬虫技术采用http代理抓取数据的的过程中,人们常常会遇到许多网站采用了防抓取技术,或者说由于自己采集网站信息内容的强度和采集速率过大,给对方网络服

  • 27 2018-11
    目前爬虫经常遇到的限制有哪些

    以前网站都多爬虫非常的友好,但随着时间的发展,爬虫被应用于许多场景,比如有些人利用爬虫采集对方大量数据,通过分析,挖掘有价值的信息,并与对方进行商业竞争;也有是...

  • 27 2020-03
    http代理与https代理之间的区别

    如果我们需要网络换ip,很多人第一时间想到的可能会是重启路由器。确实这个操作能够帮助到我们换ip,但是如果是想要自动快速换ip,那么还是得动态ip代理。

  • 27 2020-04
    ip代理的类型选择使用

    网络使用ip代理,除了要掌握使用的操作之外,首先明白ip代理是什么以及选对合适的ip代理是比较关键的。不然如果对着静态ip、动态ip、http代理、https代理搞不明白,那么也不知道怎么使用。

  • 06 2019-03
    选择共享IP和独享IP的效果区别

    当我们需要使用多个IP的时候,大家也都会去找一下怎能拿到多个IP使用,需要考虑很多的问题,比如使用哪家的代理IP好?使用软件自动更换IP还是直接提取IP使用,选择共享IP还是独享IP?