收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫采集被封了怎么办?
来源:互联网 作者:admin 时间:2019-11-19 09:12:31

  爬虫采集被封了怎么办?在使用代理ip进行网络爬虫抓取信息的过程中,如果抓取频率过高或者使用了多线程,很容易被禁止访问。通常,网站的反爬虫机制都是依据IP和用户的User-Agent来标识爬虫的。

爬虫采集被封了怎么办

  于是在爬虫的开发者通常需要采取两种手段来解决这个问题:

  1、放慢抓取速度,减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。

  2、第二种方法是通过设置代理IP等手段,突破反爬虫机制继续高频率抓取。但是这样需要大量稳定的代理IP。

  代理IP可以搜索到免费的,但是可能不太稳定,也有收费的,比如智连代理IP。下面介绍两种方式:

  普通的基于ADSL拨号的解决办法

  通常,在抓取过程中遇到禁止访问,可以重新进行ADSL拨号,获取新的IP,从而可以继续抓取。但是这样在多网站多线程抓取的时候,如果某一个网站的抓取被禁止了,

  同时也影响到了其他网站的抓取,整体来说也会降低抓取速度。

  一种可能的解决办法

  同样也是基于ADSL拨号,不同的是,需要两台能够进行ADSL拨号的服务器,抓取过程中使用这两台服务器作为代理。

  假设有A、B两台可以进行ADSL拨号的服务器。爬虫程序在C服务器上运行,使用A作为代理访问外网,如果在抓取过程中遇到禁止访问的情况,立即将代理切换为B,然后将A进行重新拨号。如果再遇到禁止访问就切换为A做代理,B再拨号,如此反复。

  综上,最简单方法就是购买现成的代理IP产品。【推荐阅读:哪儿有高质量代理ip?


推荐阅读
  • 26 2019-04
    Win10设置全局代理IP上网的几种方法

    Win10设置全局代理IP上网的几种方法,你可以根据实际情况选择使用哪一种的,我们来简单的介绍下。

  • 27 2019-03
    伪装ip的技巧,把自己的IP地址换代理IP

    不想被别人知道我们的IP地址,最有效的方法估计是使用代理IP了,为什么这么说呢?这是由原因的,代理IP有隐藏IP地址的作用,这样使用之后岂不是就能达到伪装ip的效果了!

  • 16 2018-11
    爬虫怎么决解IP被封问题?八种决解方案任选!

    大家是如何决解IP被封问题的?关于IP被封,很多爬虫已经应对自如了,这种方法不行就改用另外一种,怎么也要采集到数据,今天大家就跟智连代理一起去了解一下爬虫怎么决解IP被封问题。

  • 28 2020-01
    为什么ip代理会出现高延迟的情况?

    现在网络上面,代理ip是非常的热门,不过也有很多人不太知道这个代理操作,具体能够有些什么用处。一般情况下,只要需要用到换ip的场景,就离不开动态ip代理。

  • 27 2019-03
    手机ip代理加速器哪家强?

    ip代理是能够进行IP加速的,也能降低网络延迟,所以也是可用于游戏测试,或者游戏试玩之类的项目。就现在来说,手机ip代理加速器哪家强?

  • 28 2019-08
    代理IP的适用范围有哪些?

    代理IP的适用范围有哪些?对于很多人来说代理IP并不算陌生,它的名字在网络营销和数据采集行业里经常出现,因为代理IP​的作用可以帮助他们成功完成各种不同的工作。但是对于大多数人来