收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
常见的反网络爬虫以及突破方法
来源:互联网 作者:admin 时间:2019-01-19 16:41:14

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。今天小编为大家介绍一些常见的反网络爬虫以及突破方法


    1.动态页面限制


    有的时候将目标页面抓取下来,发现关键的信息内容空白一片,只有框架代码,这是因为该网站的信息是通过用户Post的XHR动态返回内容信息,解决这种问题的方法就是通过开发者工具(FireBug等)对网站流进行分析,找到单独的内容信息request(如Json),对内容信息进行抓取,获取所需内容。


    更复杂一点的还有对动态请求加密的,参数无法解析,也就无法进行抓取。这种情况下,可以通过Mechanize,selenium RC,调用浏览器内核,就像真实使用浏览器上网那样抓取,可以最大限度的抓取成功,只不过效率上会打些折扣。


    经测试,用urllib抓取拉勾网招聘信息30页所需时间为三十多秒,而用模拟浏览器内核抓取需要2--3分钟。


常见的反网络爬虫以及突破方法


    2.用户行为检测


    还有一部分网站是通过检测用户行为,比如针对cookies,通过检查cookies来判断用户是否是有效用户,需要登录的网站常采用这种技术。更深入一点的还有,某些网站的登录会动态更新验证,如登录时,会随机分配用于登录验证的authenticity_token,authenticity_token会和用户提交的登录名和密码一起发送回服务器。


    3.限制IP访问频率


    有时候存在着一些恶意访问的情况,平台为了阻止这种情况的发生,当某个IP的访问在单位时间内超过一定的次数时,将禁止这个IP继续访问。


    对于这个限制IP访问频率,可以使用代理IP的方法来突破限制。网上有许多代理IP资源,因为免费代理IP基本上没有用,是需要花钱从代理IP商处购买IP使用的,像智连代理这样的代理IP商,IP数量多,价格低,能够顺利的突破平台的IP限制,提高工作效率。


    上文介绍了三种常见的反网络爬虫以及突破方法,通常来说,越是低级的爬虫,越容易被封锁,但是性能好,成本低;越是高级的爬虫,越难被封锁,但是性能低,成本也越高。当成本高到一定程度,我们就可以无需再对爬虫进行封锁。经济学上有个词叫边际效应。付出成本高到一定程度,收益就不是很多了。那么如果对双方资源进行对比,我们就会发现,无条件跟对方死磕,是不划算的。应该有个黄金点,超过这个点,那就让它爬好了。毕竟我们反爬虫不是为了面子,而是为了商业因素。


推荐阅读
  • 08 2019-07
    变换ip是否有防封效果?

    变换ip是否有防封效果?手里有几个号,换着使用,但是有时候用着用着就被封了,解封麻烦不说,有时候还解封不了。在封号原因当中,最常见的是ip异常导致被封的,那么是否可以变换ip防封

  • 03 2020-03
    3种常见的修改ip操作

    换ip在网络上是非常常见的,其实有些时候,在我们不知不觉当中可能也会将自己的ip进行的切换。怎么发生的?下面智连代理​来介绍当前最常见的换ip操作。

  • 10 2019-07
    换IP软件支持修改其他城市IP

    换IP软件支持修改其他城市IP,这样你想怎么换IP都行了,推荐使用智连代理这个换IP软件的,为什么呢?使用智连代理换IP软件能有什么优势呢?

  • 30 2019-04
    获取代理IP简单吗?

    获取代理IP简单吗?要找代理其实就是要找出该服务器的IP地址、服务类型及所用端口,我们可以在网上直接搜索相关的关键词进行搜索的,也可以通过广告,或者是各种网络渠道找到可用的代

  • 03 2019-06
    IP代理软件无效可以退款吗

    IP代理软件无效可以退款吗?一件商品,是无法做到人人都满意的,就像钱也是有人不喜欢的。同样,IP代理也会遇上这些问题,目前市场上IP代理软件不少,大家质量不一,有些时候这IP代理软

  • 22 2019-10
    什么人适合用代理ip​?

    什么人适合用代理ip​?代理ip就是利用代理服务器伪装或者隐藏真实ip地址进行访问,看起来功能很单一,但是在不同的人员手上总会发生不一样的作用,那么什么样的人适合使用代理ip呢?

您好,当前有客服在线,请问有什么需要咨询的吗?