收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
常见的反网络爬虫以及突破方法
来源:互联网 作者:admin 时间:2019-01-19 16:41:14

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。今天小编为大家介绍一些常见的反网络爬虫以及突破方法


    1.动态页面限制


    有的时候将目标页面抓取下来,发现关键的信息内容空白一片,只有框架代码,这是因为该网站的信息是通过用户Post的XHR动态返回内容信息,解决这种问题的方法就是通过开发者工具(FireBug等)对网站流进行分析,找到单独的内容信息request(如Json),对内容信息进行抓取,获取所需内容。


    更复杂一点的还有对动态请求加密的,参数无法解析,也就无法进行抓取。这种情况下,可以通过Mechanize,selenium RC,调用浏览器内核,就像真实使用浏览器上网那样抓取,可以最大限度的抓取成功,只不过效率上会打些折扣。


    经测试,用urllib抓取拉勾网招聘信息30页所需时间为三十多秒,而用模拟浏览器内核抓取需要2--3分钟。


常见的反网络爬虫以及突破方法


    2.用户行为检测


    还有一部分网站是通过检测用户行为,比如针对cookies,通过检查cookies来判断用户是否是有效用户,需要登录的网站常采用这种技术。更深入一点的还有,某些网站的登录会动态更新验证,如登录时,会随机分配用于登录验证的authenticity_token,authenticity_token会和用户提交的登录名和密码一起发送回服务器。


    3.限制IP访问频率


    有时候存在着一些恶意访问的情况,平台为了阻止这种情况的发生,当某个IP的访问在单位时间内超过一定的次数时,将禁止这个IP继续访问。


    对于这个限制IP访问频率,可以使用代理IP的方法来突破限制。网上有许多代理IP资源,因为免费代理IP基本上没有用,是需要花钱从代理IP商处购买IP使用的,像智连代理这样的代理IP商,IP数量多,价格低,能够顺利的突破平台的IP限制,提高工作效率。


    上文介绍了三种常见的反网络爬虫以及突破方法,通常来说,越是低级的爬虫,越容易被封锁,但是性能好,成本低;越是高级的爬虫,越难被封锁,但是性能低,成本也越高。当成本高到一定程度,我们就可以无需再对爬虫进行封锁。经济学上有个词叫边际效应。付出成本高到一定程度,收益就不是很多了。那么如果对双方资源进行对比,我们就会发现,无条件跟对方死磕,是不划算的。应该有个黄金点,超过这个点,那就让它爬好了。毕竟我们反爬虫不是为了面子,而是为了商业因素。


推荐阅读
  • 26 2018-11
    怎么用python写爬虫?用python写爬虫难吗?

    大数据时代,可以通过收集大量用户的数据,然后分析转化为有价值的数据,比如企业用户利用电商平台数据进行商业分析,但是这些数据通常不会被公布出来,那么我们应该在哪里...

  • 24 2019-09
    使用代理ip​合法吗?

    使用代理ip​合法吗?虽然使用代理ip的人越来越多了,可以应用的场景也慢慢变多,但是对于一些不太了解的人来说,代理ip合不合法这个问题一直萦绕在心。

  • 02 2019-01
    大数据爬虫用什么代理IP好?三类代理IP提供选择

    在大数据时代,经常通过获取大量的数据来分析有价值的资料,而想要获取大量数据,是绕不开代理IP这个问题,因为需要使用代理IP来突破IP的限制,一个代理IP是否好用也影响爬取数据的效率

  • 30 2019-07
    换ip软件能杜绝被封ip么?

    换ip软件能杜绝被封ip么?做梦!这是不可能的,why?些人会有这种想法,换ip软件能隐藏我的IP,怎么换IP都行,这样随便用都不会被发现。这到底是不是真的?

  • 07 2019-09
    IP修改器换IP有什么作用?

    IP修改器换IP有什么作用?大家在上网的时候可能曾经遇上过这些情况:网站论坛发布过多信息被封IP、网络卡顿导致连接不上目标网页等等,这些其实都是我们的IP地址出现了一些问题,这时候我

  • 04 2019-07
    做站外seo优化可以借用换IP软件

    做站外seo优化可以借用换IP软件,做站外优化的时候因为不是自己的网站,当然是不能随心所欲的,不管是发信息还是回帖之类的统统都是由限制的,为了突破限制,可以尝试使用换IP软件的。