收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
常见的反网络爬虫以及突破方法
来源:互联网 作者:admin 时间:2019-01-19 16:41:14

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。今天小编为大家介绍一些常见的反网络爬虫以及突破方法


    1.动态页面限制


    有的时候将目标页面抓取下来,发现关键的信息内容空白一片,只有框架代码,这是因为该网站的信息是通过用户Post的XHR动态返回内容信息,解决这种问题的方法就是通过开发者工具(FireBug等)对网站流进行分析,找到单独的内容信息request(如Json),对内容信息进行抓取,获取所需内容。


    更复杂一点的还有对动态请求加密的,参数无法解析,也就无法进行抓取。这种情况下,可以通过Mechanize,selenium RC,调用浏览器内核,就像真实使用浏览器上网那样抓取,可以最大限度的抓取成功,只不过效率上会打些折扣。


    经测试,用urllib抓取拉勾网招聘信息30页所需时间为三十多秒,而用模拟浏览器内核抓取需要2--3分钟。


常见的反网络爬虫以及突破方法


    2.用户行为检测


    还有一部分网站是通过检测用户行为,比如针对cookies,通过检查cookies来判断用户是否是有效用户,需要登录的网站常采用这种技术。更深入一点的还有,某些网站的登录会动态更新验证,如登录时,会随机分配用于登录验证的authenticity_token,authenticity_token会和用户提交的登录名和密码一起发送回服务器。


    3.限制IP访问频率


    有时候存在着一些恶意访问的情况,平台为了阻止这种情况的发生,当某个IP的访问在单位时间内超过一定的次数时,将禁止这个IP继续访问。


    对于这个限制IP访问频率,可以使用代理IP的方法来突破限制。网上有许多代理IP资源,因为免费代理IP基本上没有用,是需要花钱从代理IP商处购买IP使用的,像智连代理这样的代理IP商,IP数量多,价格低,能够顺利的突破平台的IP限制,提高工作效率。


    上文介绍了三种常见的反网络爬虫以及突破方法,通常来说,越是低级的爬虫,越容易被封锁,但是性能好,成本低;越是高级的爬虫,越难被封锁,但是性能低,成本也越高。当成本高到一定程度,我们就可以无需再对爬虫进行封锁。经济学上有个词叫边际效应。付出成本高到一定程度,收益就不是很多了。那么如果对双方资源进行对比,我们就会发现,无条件跟对方死磕,是不划算的。应该有个黄金点,超过这个点,那就让它爬好了。毕竟我们反爬虫不是为了面子,而是为了商业因素。


推荐阅读
  • 26 2019-07
    改电脑ip地址用ip代理软件

    改电脑ip地址用ip代理软件,因为有些时候上网,可能会出现页面无法打开、403禁止访问错误等等,这很有可能是IP地址被网站封禁,不再接受你的任何请求。

  • 26 2019-04
    模拟器用了代理IP网络有问题

    模拟器用了代理IP网络有问题咋办呢?很多代理也是支持模拟器使用的,只是模拟器不同于真实的设备,大家有些担心模拟器使用代理会出问题,但也未必是代理的问题,我们一起去看看。

  • 09 2019-07
    找个纯净一点的ip代理

    找个纯净一点的ip代理,这不容易,大家有没有什么好的介绍呢?网上那些公布出来的ip代理,都是共享的,质量实在太差了,数量多也没有几个能用的,大家都是用哪家的ip代理呢?

  • 11 2019-01
    爬虫和浏览器有什么不同?爬虫经常会遇到哪些问题?

    互联网时代下,衣食住行和数据密切相关,很多的行业和个体都需用大数据的帮助。在时代背景下,数据采集成为主流,可是很多的数据采集遭受了各种各样限制,于是爬虫常常伪装成浏览器去

  • 15 2019-04
    有些IP代理延迟比较高,这是什么原因?

    有些IP代理延迟比较高,这是什么原因?大家有没有体验过,网络高延迟时的网络体验呢?高延迟,网络变得非常的卡,尤其是游戏这一类对网络要求高的,可能会导致游戏掉线,这体验效果是

  • 28 2019-02
    微商、游戏防封都可以找智连代理

    IP代理经常用于微商,游戏以及数据采集,主要使用了IP代理的换IP原理,以此来提高工作的效率以及效果,今天小编就跟大家来聊聊智连代理切换IP的软件。