收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
分布式爬虫是什么意思?设计分布式爬虫要注意什么?
来源:互联网 作者:admin 时间:2019-02-26 16:43:43

  我们使用爬虫的目的就是为了能够大量快速的抓取数据,满足抓取上百、上千、上万甚至更多网页的需求,这么单个爬虫何时能爬取完呢?怎么能够加快爬取的速度?可以使用多爬虫的框架。比如分布式爬虫,分布式爬虫是什么意思?设计分布式爬虫要注意什么呢?


  一、单机爬虫


  默认情况下,我们使用scrapy框架进行爬虫时使用的是单机爬虫,就是说它只能在一台电脑上运行,因为爬虫调度器当中的队列queue去重和set集合都只能在本机上创建的,其他电脑无法访问另外一台电脑上的内存和内容。


  二、分布式爬虫


  实现了多台电脑使用一个共同的爬虫程序,它可以同时将爬虫任务部署到多台电脑上运行,这样可以提高爬虫速度,实现分布式爬虫。


分布式爬虫是什么意思?设计分布式爬虫要注意什么?


  三、设计分布式爬虫要注意什么


  1.分布式


  多网站抓取,数据量一般也比较大,可分布式扩展,这也是必需的功能了。分布式,需要注意做好消息队列,做好多结点统一去重。


  2.代码复用,功能模块化


  如果针对每个网站都写一个完整的爬虫,那其中必定包含了许多重复的工作,不仅开发效率不高,而且到后期整个爬虫项目会变得臃肿、难以管理。


  3.架构简明


  要方便以后未知功能模块的添加。


  4.易扩展


  多爬虫框架,这最直观的需求就是方便扩展,新增一个待爬的目标网站,我只需要写少量必要的内容(如抓取规则、解析规则、入库规则),这样最快最好。


  5.爬虫优化


  这就是大话题了,但最基本的,框架应该要基于异步,或者使用协程+多进程。


  6.健壮性、可维护性


  这么多网站同时抓取,报错的概率更大,例如断网、中途被防爬、爬到“脏数据”等等。所以必须要做好日志监控,能实时监控爬虫系统的状态,能准确、详细地定位报错信息;另外要做好各种异常处理,如果你放假回来发现爬虫因为一个小问题已经挂掉了,那你会因为浪费了几天时间而可惜的(虽然事实上我个人会不时地远程查看爬虫状态)。


  上文介绍了关于分布式爬虫,其实要写一个支持分布式、多爬虫的框架,具体的实现上还是有一定难度的。另外,在实现主要功能以外,还要注意做到代码严谨规范,爬虫高效健壮的要求。


相关文章内容简介
推荐阅读
  • 19 2019-11
    代理IP​怎么在浏览器使用?

    代理IP怎么在浏览器使用?代理服务器的功能就是代理网络用户去取得网络信息,也可以比喻为是网络信息的中转站。如果你想要突破访问限制,代理服务器可以帮助你,如果你想要隐藏自己的IP

  • 21 2019-02
    爬虫用User-Agent可以绕过反爬虫

    要想使用爬虫来获取数据,免不了要了解反爬虫的,如果不能绕过网站的反爬虫,这样无法爬取到大量的数据。那么爬虫要如何才能够绕过网站的反爬虫呢?

  • 05 2019-06
    国内代理IP排名靠前的商家

    国内代理IP排名靠前的商家都有谁?许多人都需要使用国内代理IP的,如果能找个不错的商家,这样用起来也是不错的。

  • 12 2018-11
    什么是HTTP代理IP?HTTP代理IP有哪些用途?

    当IP被限制时,大家通常是想通过使用换IP的方法来突破限制,何为HTTP代理IP,它有哪些用途呢?今天一起跟智连代理去了解下HTTP代理IP。

  • 17 2020-02
    国内要找换ip软件怎么挑选?

    现在是互联网的时代,有很多东西都是离开了网络之后,就无法独立存在的,这是网络对于我们的工作、生活带来的显著变化,我们应该要更好的来适应它。

  • 02 2019-04
    流量没有达到预期,代理IP刷量算数吗?

    当我们的流量没有达到预期效果时,大家会怎么做?普通人首先想到的是找问题,换新的招数,而有想法的人想得是怎么能快速的增加流量,有什么工具可以利用的,比如代理IP。这两种方法有