收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
常见的反网络爬虫以及突破方法
来源:互联网 作者:admin 时间:2019-01-19 16:41:14

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。今天小编为大家介绍一些常见的反网络爬虫以及突破方法


    1.动态页面限制


    有的时候将目标页面抓取下来,发现关键的信息内容空白一片,只有框架代码,这是因为该网站的信息是通过用户Post的XHR动态返回内容信息,解决这种问题的方法就是通过开发者工具(FireBug等)对网站流进行分析,找到单独的内容信息request(如Json),对内容信息进行抓取,获取所需内容。


    更复杂一点的还有对动态请求加密的,参数无法解析,也就无法进行抓取。这种情况下,可以通过Mechanize,selenium RC,调用浏览器内核,就像真实使用浏览器上网那样抓取,可以最大限度的抓取成功,只不过效率上会打些折扣。


    经测试,用urllib抓取拉勾网招聘信息30页所需时间为三十多秒,而用模拟浏览器内核抓取需要2--3分钟。


常见的反网络爬虫以及突破方法


    2.用户行为检测


    还有一部分网站是通过检测用户行为,比如针对cookies,通过检查cookies来判断用户是否是有效用户,需要登录的网站常采用这种技术。更深入一点的还有,某些网站的登录会动态更新验证,如登录时,会随机分配用于登录验证的authenticity_token,authenticity_token会和用户提交的登录名和密码一起发送回服务器。


    3.限制IP访问频率


    有时候存在着一些恶意访问的情况,平台为了阻止这种情况的发生,当某个IP的访问在单位时间内超过一定的次数时,将禁止这个IP继续访问。


    对于这个限制IP访问频率,可以使用代理IP的方法来突破限制。网上有许多代理IP资源,因为免费代理IP基本上没有用,是需要花钱从代理IP商处购买IP使用的,像智连代理这样的代理IP商,IP数量多,价格低,能够顺利的突破平台的IP限制,提高工作效率。


    上文介绍了三种常见的反网络爬虫以及突破方法,通常来说,越是低级的爬虫,越容易被封锁,但是性能好,成本低;越是高级的爬虫,越难被封锁,但是性能低,成本也越高。当成本高到一定程度,我们就可以无需再对爬虫进行封锁。经济学上有个词叫边际效应。付出成本高到一定程度,收益就不是很多了。那么如果对双方资源进行对比,我们就会发现,无条件跟对方死磕,是不划算的。应该有个黄金点,超过这个点,那就让它爬好了。毕竟我们反爬虫不是为了面子,而是为了商业因素。


推荐阅读
  • 10 2019-07
    动态IP和静态IP线路的区别

    动态IP和静态IP线路的区别,估计许多人都不太清楚的。其实静态IP一般应用于服务器专线,动态IP一般应用于家庭宽带,那么我们使用什么样的ip线路好呢?这可以看我们的项目需要的,比如挂

  • 05 2019-01
    市场上都有哪些换IP工具?vps、vpn、代理IP、pptp哪种好?

    针对某些需要换IP工作的人员而言,有几款适用自己的换IP软件是很有必要的。就譬如说,有的时候发帖子或者回答、回贴太频繁,网络平台就可以会对账户有些限制。

  • 15 2019-01
    对于局域网限制,使用代理可以全部突破吗

    很多从事互联网工作者而言,使用的基本上都是局域网,有些还被限制了网络的使用,不能访问某某网站,不能登陆某某软件等等。对于局域网限制,大家常用的方法就是使用代理,是可以突破

  • 19 2019-01
    想做好网络推广要掌握一些操作技巧

    网络推广效果不错,用户非常多,因为现在大部分人日常都离不开网络,于是人到哪儿推广就到哪儿,网络也不例外。那么有什么好方法推广吗?

  • 26 2019-07
    手机电脑的动态ip代理下载

    手机电脑的动态ip代理下载,有没有免费的呢?免费的质量如何?如果要求质量的,是不是就要使用付费的了?

  • 10 2019-09
    独立IP和共享IP哪个好?

    独立IP和共享IP哪个好?无论你是做网站、发帖、注册、投票,还是爬虫、补量、数据采集,代理IP​都是必不可少的,而大多数代理IP提供商都是共享IP池,少有的几家提供独享IP池,那么选择独