收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
单IP频繁爬取某网站,多久会被限制住?
来源:互联网 作者:admin 时间:2019-04-22 18:01:00

  单IP频繁爬取某网站,多久会被限制住?IP被不被封,这需要看你使用的频率,越快越容易被封,这基本上是个常规了。


  因为很多网站都设了IP防刷的,也就是在短时间内有大量相同ip的请求,可能是恶意的,网站自然会把这频繁访问的IP地址给封了。一般上被封了,短时间内是不会放出来的。


  对于IP被封了一个问题,也不用太担心,虽然现在很多都没有固定的IP使用,但是换个动态IP还是很简单的,这就是个换IP的问题。怎么换IP呢?比如:


单IP频繁爬取某网站,多久会被限制住?


  如果是局域网,带路由器的,可以控制路由器重新拨号,换IP,这其实是一种折中的办法,曲线救国。


  如果是通过ADSL拨号的,可以重新拨号一次的,每拨一次就会有一个新IP,较好解决IP单一问题。


  又或者,使用代理IP,利用购买的或者网上抓取的免费代理IP,实现多IP爬虫,这种形式是最常见的。


  从这里看到,其实换个IP很简单的,但是要杜绝短时间内大量请求的问题,也难。既然有这个需求,网站也不配合,自然是免不了要大量请求的,但是被限制了,怎么办呢?


  当然是换IP了,既然同IP被封,那么我就多换一些,从这个角度看来路由器换IP和ADSL拨号换IP就不适用了,还得使用代理IP的。


  由上可见,单IP频繁爬取某网站,多久会被限制住?只要超过网站设置的频率,马上就会被封了,因此要进行爬取网站,还是需要大量IP的。


推荐阅读
  • 12 2018-12
    如何设计代理IP池?代理IP池设计和维护方法

    现在网络爬虫,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。如果能够...

  • 19 2019-01
    常见的反网络爬虫以及突破方法

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。

  • 05 2018-11
    分享电脑IP地址更换方法

    使用网络工作,少不了会遇到IP冲突,IP被限制等等情况,遇到这些情况,都需要通过换IP来解决,那么电脑IP地址更换方法有哪些?下面智连代理分享下电脑IP地址更换方法:

  • 17 2019-07
    国内http代理伪装本地IP地址

    国内http代理伪装本地IP地址,这个方法,估计很多人都在用,因为使用http代理可以切换到代理的ip,尤其是使用高匿名代理之后,隐藏自己的ip效果更好。

  • 03 2019-07
    贴吧营销引流可以借用换IP软件

    贴吧营销引流可以借用换IP软件,这是很多人都不知道的办法。大部分人做营销,都是不停的发,然后被封,然后就没有然后了。但有时候你看到别人发,怎么都不被封的呢?这是有技巧的,我

  • 16 2019-07
    想换云南ip找哪个换ip软件?

    想换云南ip找哪个换ip软件?目前市场上,基本上没有换ip软件支持更换全国所有城市的ip的,因此有些城市的ip是换不了的。