收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
目前爬虫经常遇到的限制有哪些
来源:互联网 作者:admin 时间:2018-11-27 17:33:58

    以前网站都多爬虫非常的友好,但随着时间的发展,爬虫被应用于许多场景,比如有些人利用爬虫采集对方大量数据,通过分析,挖掘有价值的信息,并与对方进行商业竞争;也有是因为出于安全考虑,因此现在大部分的网站都设置了反爬机制,这给爬虫增加了许多难度,下面智连代理带大家去了解下目前爬虫经常遇到的限制有哪些。


    1.IP限制问题


    这是目前对后台爬虫中最致命的。网站的防火墙会对某个固定ip在某段时间内请求的次数做限制,如果没有超过上线则正常返回数据,超过了,则拒绝请求,如qq 邮箱。


    值得说明的是,ip限制有时并非是专门为了针对爬虫的,而大多数时候是出于网站安全原因针对DOS攻击的防御措施。后台爬取时机器和ip有限,很容易达到上线而导致请求被拒绝。目前主要的应对方案是使用代理,这样一来ip的数量就会多一些,但是建议选用安全高效的代理IP,保证数据安全。


    比如使用智连代理,智连代理是一款可以自动切换IP的软件,有全国上百的城市IP节点,每天可以提供几万的IP,上千万的IP资源,满足用户频繁换IP的需求。所有IP均为高匿名,可以隐藏用户真实IP,更加安全。


爬虫经常遇到的限制有哪些


    2.Javascript解析问题


    如前文所述,javascript可以动态生成dom。目前大多数网页属于动态网页(内容由javascript动态填充),尤其是在移动端,SPA/PWA应用越来越流行,网页中大多数有用的数据都是通过ajax/fetch动态获取后然后再由js填充到网页dom树中,单纯的html静态页面中有用的数据很少。


    目前主要应对的方案就是对于js ajax/fetch请求直接请求ajax/fetch的url ,但是还有一些ajax的请求参数会依赖一段javascript动态生成,比如一个请求签名,再比如用户登陆时对密码的加密等等。


    如果一昧的去用后台脚本去干javascript本来做的事,这就要清楚的理解原网页代码逻辑,而这不仅非常麻烦,而且会使你的爬取代码异常庞大臃肿,但是,更致命的是,有些javascript可以做的事爬虫程序是很难甚至是不能模仿的,比如有些网站使用拖动滑块到某个位置的验证码机制,这就很难再爬虫中去模仿。


    其实,总结一些,这些弊端归根结底,是因为爬虫程序并非是浏览器,没有javascript解析引擎所致。针对这个问题,目前主要的应对策略就是在爬虫中引入Javascript 引擎,如PhantomJS,但是又有着明显的弊端,如服务器同时有多个爬取任务时,资源占用太大。


    还有就是,这些 无窗口的javascript引擎很多时候使用起来并不能像在浏览器环境中一样,页面内部发生跳转时,会导致流程很难控制。


    3.交互问题


    有些网页往往需要和用户进行一些交互,进而才能走到下一步,比如输入一个验证码,拖动一个滑块,选几个汉字。网站之所以这么做,很多时候都是为了验证访问者到底是人还是机器。


    而爬虫程序遇到这种情况很难处理,传统的简单图片验证码可以通过图形处理算法读出内容,但是随着各种各样,花样百出,人神共愤的、变态的验证码越来越多(尤其是买火车票时,分分钟都想爆粗口),这个问题就越来越严重。


    以上介绍了三个爬虫经常遇到的限制,每天网站的反爬虫机制都不一样,建议在抓取数据时,要尽可能的伪装好自己是个爬虫的事实,不然分分钟被封。


推荐阅读
  • 16 2020-02
    初次选择代理ip要怎么选?

    现在很多人在工作和生活上都会用到不少工具来协助自己,如果大家没有听说过动态ip代理,那么就是时候好好补补课了,看看到底该怎么选择换ip软件来使用吧。

  • 29 2019-11
    获得高质量代理ip​的途径!

    获得高质量代理ip​的途径!许多业务都需要利用http代理ip来进行辅助,例如爬虫、批量注册等等,特别是一些高质量的高匿代理ip在爬虫采集中拥有巨大的用处,那么我们可以通过哪些途径去获

  • 23 2019-10
    使用代理ip​需要注意什么?

    使用代理ip​需要注意什么?代理ip软件的使用已经逐渐平民化,很多人都喜欢使用代理ip来辅助工作或者用来平日的上网,代理ip软件的好处正在被越来越多人了解,虽然使用代理ip好处多多,但

  • 26 2019-08
    为什么爬虫一定要用代理IP?

    为什么爬虫一定要用代理IP?很多学习爬虫的教程都会在爬虫准备这一项中要求准备好代理IP,网上的爬虫经验总结也强调了代理IP的重要性,使用代理IP​进行爬虫又有哪些好处呢?

  • 09 2019-12
    怎么从服务器划分代理ip?

    怎么从服务器划分代理ip?我们都知道代理ip​有着许许多多不同的类型,这些类型的划分都有着严格的标准,不能随意变动否则会对应用范围造成不可预估的波动,其中最简单的一种划分就是通

  • 26 2019-11
    代理ip​如何判定质量?

    代理ip​如何判定质量?很多用户不知道怎么去判定的ip的质量,智连代理与大家一起分享一下如何判定;根据市场需求,代理ip服务商也随着大量增长,通常购买时都会进行一些对比和试用,所以