收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫采集被封了怎么办?
来源:互联网 作者:admin 时间:2019-11-19 09:12:31

  爬虫采集被封了怎么办?在使用代理ip进行网络爬虫抓取信息的过程中,如果抓取频率过高或者使用了多线程,很容易被禁止访问。通常,网站的反爬虫机制都是依据IP和用户的User-Agent来标识爬虫的。

爬虫采集被封了怎么办

  于是在爬虫的开发者通常需要采取两种手段来解决这个问题:

  1、放慢抓取速度,减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。

  2、第二种方法是通过设置代理IP等手段,突破反爬虫机制继续高频率抓取。但是这样需要大量稳定的代理IP。

  代理IP可以搜索到免费的,但是可能不太稳定,也有收费的,比如智连代理IP。下面介绍两种方式:

  普通的基于ADSL拨号的解决办法

  通常,在抓取过程中遇到禁止访问,可以重新进行ADSL拨号,获取新的IP,从而可以继续抓取。但是这样在多网站多线程抓取的时候,如果某一个网站的抓取被禁止了,

  同时也影响到了其他网站的抓取,整体来说也会降低抓取速度。

  一种可能的解决办法

  同样也是基于ADSL拨号,不同的是,需要两台能够进行ADSL拨号的服务器,抓取过程中使用这两台服务器作为代理。

  假设有A、B两台可以进行ADSL拨号的服务器。爬虫程序在C服务器上运行,使用A作为代理访问外网,如果在抓取过程中遇到禁止访问的情况,立即将代理切换为B,然后将A进行重新拨号。如果再遇到禁止访问就切换为A做代理,B再拨号,如此反复。

  综上,最简单方法就是购买现成的代理IP产品。【推荐阅读:哪儿有高质量代理ip?


推荐阅读
  • 22 2019-01
    用换IP软件刷排名 快速提升网站排名方法

    网站排名越好,就能获得更多的自然流量,带来更多的客户。那么如何提升我们网站的排名呢?其实对于一个新手而言,网站排名并不好做,发文章也难收录,更别说排名了。有时候,还不知道

  • 15 2019-11
    代理ip​授权错误怎么判断?

    代理ip​授权错误怎么判断?工作中运用代理IP的时候,经常会遇到一些问题,比如说软件不工作,或者提示IP代理全部失效,或者是代码运行之后返回结果为空等等,一般这样的提示结果往往让

  • 05 2019-05
    IP地址屡被禁言要如何解决?

    IP地址屡被禁言要如何解决?突然间就被提示禁言了,这是为什么呢?难道是触发了什么规则吗?现在是被禁言了,要怎么恢复呢?想要马上解决这个问题,大家有什么方法吗?

  • 05 2019-11
    哪些地方会用到代理ip软件​?

    哪些地方会用到代理ip软件​?很多公司都不会使用固定静态ip来搭建网站,因为静态ip能承载的网络比较小,如果是要进行数据采集或者信息处理,动态代理ip就会显得十分有用。那么,哪些地方

  • 23 2020-03
    ip代理解决网络爬虫与反爬虫的抗衡

    网络的爬虫与反爬虫,一直都是两股不停在进行斗争的力量。毕竟网站也需要对自己平台的数据以及服务器进行保护措施,不能够放任爬虫。

  • 18 2019-10
    爬虫可以不用代理ip​吗?

    爬虫可以不用代理ip吗?大数据时代下,爬虫的作用和使用频率越来越高,很多人都喜欢使用爬虫为自己的采集数据加以分析,然而,一物降一物,反爬虫应运而生,并且不断进化,爬虫工作举步

您好,当前有客服在线,请问有什么需要咨询的吗?