收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫采集被封了怎么办?
来源:互联网 作者:admin 时间:2019-11-19 09:12:31

  爬虫采集被封了怎么办?在使用代理ip进行网络爬虫抓取信息的过程中,如果抓取频率过高或者使用了多线程,很容易被禁止访问。通常,网站的反爬虫机制都是依据IP和用户的User-Agent来标识爬虫的。

爬虫采集被封了怎么办

  于是在爬虫的开发者通常需要采取两种手段来解决这个问题:

  1、放慢抓取速度,减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。

  2、第二种方法是通过设置代理IP等手段,突破反爬虫机制继续高频率抓取。但是这样需要大量稳定的代理IP。

  代理IP可以搜索到免费的,但是可能不太稳定,也有收费的,比如智连代理IP。下面介绍两种方式:

  普通的基于ADSL拨号的解决办法

  通常,在抓取过程中遇到禁止访问,可以重新进行ADSL拨号,获取新的IP,从而可以继续抓取。但是这样在多网站多线程抓取的时候,如果某一个网站的抓取被禁止了,

  同时也影响到了其他网站的抓取,整体来说也会降低抓取速度。

  一种可能的解决办法

  同样也是基于ADSL拨号,不同的是,需要两台能够进行ADSL拨号的服务器,抓取过程中使用这两台服务器作为代理。

  假设有A、B两台可以进行ADSL拨号的服务器。爬虫程序在C服务器上运行,使用A作为代理访问外网,如果在抓取过程中遇到禁止访问的情况,立即将代理切换为B,然后将A进行重新拨号。如果再遇到禁止访问就切换为A做代理,B再拨号,如此反复。

  综上,最简单方法就是购买现成的代理IP产品。【推荐阅读:哪儿有高质量代理ip?


推荐阅读
  • 21 2018-12
    营销推广对企业有什么好处?借用代理IP做推广效果好吗?

    现在网络无处不在,许多平台流量非常的大,如果在这些平台上做广告,有什么好处?能不能把这些流量转化为自己的客户呢?今天跟智连代理小编去看看营销推广对企业有什么好处。

  • 03 2020-02
    自己搭建代理ip池有什么好处?

    网络时代,有很多东西都发生了改变,网络不仅是改变了工作的方式,也促进了企业的业务更新。在网络信息的获得方面,也有了很不一样的改变。

  • 22 2020-06
    python爬虫抓取数据选择的ip代理

    网络爬虫我们是无法用肉眼看到的,可是每天有大量的爬虫在进行,我们如果有需要做网络爬虫的时候,要怎么操作?

  • 29 2019-07
    代理ip资源没有那么好找

    代理ip资源没有那么好找,网上免费的代理ip确实多,但是好用的并不多。说到代理ip资源出现的原因,我们就要从3个方面来分析了。

  • 28 2019-10
    代理ip软件​的作用有什么?

    代理ip软件​的作用有什么?随着互联网世界发展壮大,营销不再局限于现实生活中,对于做网络营销的工作人员来说,自然是离不开代理IP的。一般的网络营销注册投票或电商平台的效果补量等

  • 12 2019-10
    代理IP​对电商行业有什么帮助?

    代理IP​对电商行业有什么帮助?如果时间可以追溯到几十年前,我们知道的电子商务平台真的很少。然而,由于互联网的发展,越来越多的人看到了电子商务行业的商机,当然,其中许多商机都