收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站经常使用三种反爬虫,突破方法分享
来源:互联网 作者:admin 时间:2019-02-04 09:55:00

    通常网站都设置非常多的反爬虫,这是为了防止恶意爬虫的采集,因为这会影响网站的运营。当然,爬虫是不会怕的,只要技术到位,舍得花钱,没有爬不了的网站,为什么这么说呢?


    爬虫进行突破限制,是需要利用各种的工具来辅助的,比如代理IP,这需要花钱去租用或者是花钱自己搭建代理IP池的。还有验证码的识别,这也是需要的...


    今天小编收集网站经常使用三种反爬虫,突破方法分享给大家,希望可以帮助到大家。


    从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。


    一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度。


网站经常使用三种反爬虫,突破方法分享


    一、根据Headers设置反爬虫


    从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。


    二、根据用户行设置反爬虫


    还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。


    大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。这样的代理ip爬虫经常会用到,最好自己准备一个。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib2中很容易做到,这样就能很容易的绕过第一种反爬虫。


    对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。


    三、根据动态页面设置反爬虫


    上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求,也能分析出具体的参数和响应的具体含义,我们就能采用上面的方法,直接利用requests或者urllib2模拟ajax请求,对响应的json进行分析得到需要的数据。


    能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样,除了加密ajax参数,它还把一些基本的功能都封装了,全部都是在调用自己的接口,而接口参数都是加密的。遇到这样的网站,我们就不能用上面的方法了,我用的是selenium+phantomJS框架,调用浏览器内核,并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。


    用这套框架几乎能绕过大多数的反爬虫,因为它不是在伪装成浏览器来获取数据(上述的通过添加Headers一定程度上就是为了伪装成浏览器),它本身就是浏览器,phantomJS就是一个没有界面的浏览器,只是操控这个浏览器的不是人。利用selenium+phantomJS能干很多事情,例如识别点触式(12306)或者滑动式的验证码,对页面表单进行暴力破解等等。


    上文介绍了网站经常使用三种反爬虫,突破方法分享给大家了,仅供参考。若需要使用代理,可以选择使用智连代理,全国200多城市IP线路,海量IP任意连接,帮助爬虫快速突破限制。


推荐阅读
  • 20 2018-11
    怎么做外链推广效果好?做外链推广注意事项

    现在网络发展快,但是对于SEO来讲,也有不好的地方,因为越来越多的平台不给发外链,给发外链的平台效果又不好,怎么办呢?怎么做外链推广效果好?

  • 14 2019-11
    选择爬虫代理ip​要注意什么?

    选择爬虫代理ip​要注意什么?现在的大数据行业有着十分广阔的发展前景,对于从事大数据的工作者来说,选择一个好用的爬虫代理ip至关重要,因为它决定了爬虫程序能否顺利进行数据爬取。

  • 11 2019-11
    代理ip​介绍主流网络攻击手段!

    代理ip​介绍主流网络攻击手段!如今互联网时代虽然给我们带来了许多的方便,但是也导致了许多的灰色行当,例如网络攻击。黑客的威胁无处不在,不知不觉中你就可能中招了,知己知彼方能

  • 10 2019-05
    代理ip平台哪个价格低些?

    一个网站可能前期搭建起来比较快,什么规则以及防御这些都没有完善,大家使用起来也非常方便。但是随着科技的进步,网络也发展得特别得快,逐渐的网站一层一层增加防御,还想多发广告

  • 27 2018-11
    目前爬虫经常遇到的限制有哪些

    以前网站都多爬虫非常的友好,但随着时间的发展,爬虫被应用于许多场景,比如有些人利用爬虫采集对方大量数据,通过分析,挖掘有价值的信息,并与对方进行商业竞争;也有是...

  • 17 2019-05
    代理ip软件支持短租吗?

    代理ip软件支持短租吗?有时候,有些项目并不需要每天都使用代理IP来切换IP地址的,这样如果我们选择长租代理IP,这样太浪费了,能不能选择短租呢?比如租一天,租半个月这样?