收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
单IP频繁爬取某网站,多久会被限制住?
来源:互联网 作者:admin 时间:2019-04-22 18:01:00

  单IP频繁爬取某网站,多久会被限制住?IP被不被封,这需要看你使用的频率,越快越容易被封,这基本上是个常规了。


  因为很多网站都设了IP防刷的,也就是在短时间内有大量相同ip的请求,可能是恶意的,网站自然会把这频繁访问的IP地址给封了。一般上被封了,短时间内是不会放出来的。


  对于IP被封了一个问题,也不用太担心,虽然现在很多都没有固定的IP使用,但是换个动态IP还是很简单的,这就是个换IP的问题。怎么换IP呢?比如:


单IP频繁爬取某网站,多久会被限制住?


  如果是局域网,带路由器的,可以控制路由器重新拨号,换IP,这其实是一种折中的办法,曲线救国。


  如果是通过ADSL拨号的,可以重新拨号一次的,每拨一次就会有一个新IP,较好解决IP单一问题。


  又或者,使用代理IP,利用购买的或者网上抓取的免费代理IP,实现多IP爬虫,这种形式是最常见的。


  从这里看到,其实换个IP很简单的,但是要杜绝短时间内大量请求的问题,也难。既然有这个需求,网站也不配合,自然是免不了要大量请求的,但是被限制了,怎么办呢?


  当然是换IP了,既然同IP被封,那么我就多换一些,从这个角度看来路由器换IP和ADSL拨号换IP就不适用了,还得使用代理IP的。


  由上可见,单IP频繁爬取某网站,多久会被限制住?只要超过网站设置的频率,马上就会被封了,因此要进行爬取网站,还是需要大量IP的。


推荐阅读
  • 10 2020-01
    如何验证换ip是否成功?

    要说最近作为流行的互联网动态,那么大数据肯定是当中最为热门的一个概念,不仅仅是互联网行业深受到影响,而且传统行业也因此而发生了变化。

  • 08 2019-04
    独享IP池,反爬最好的代理IP

    IP池,也分共享和独享的,但很多商家并不告诉你,而是一味的喊价格多低多低,以低廉的价格来吸引大家的购买使用,但是很多时候都是购买之后,刚开始使用就发现不好用。

  • 31 2019-10
    爬虫代理ip​用哪种比较好?

    爬虫代理ip​用哪种比较好?之前为大家介绍过,代理ip有高匿、普通和透明三种类型,对于爬虫工作者来说,这三种类型的代理ip哪种比较好用呢?

  • 16 2019-07
    想换云南ip找哪个换ip软件?

    想换云南ip找哪个换ip软件?目前市场上,基本上没有换ip软件支持更换全国所有城市的ip的,因此有些城市的ip是换不了的。

  • 14 2019-03
    免费代理ip好不好用,测测就知道了

    能免费使用代理IP自然最好不过了,这样使用方便,还不花钱,直接在网络就能找到很多的IP地址更换使用,不过也是有一个致命的缺点,就是这些免费的代理IP中十个估计没有一两个是有用的。

  • 12 2019-09
    代理IP​爬虫的工作原理

     代理IP​爬虫的工作原理。爬虫工作者在爬虫的时候,经常能遇到IP访问频率高的情况。这种情况就是说明访问的网站有反爬虫机制,设定了IP的阈值,超过这个阈值,就会被拒绝访问了。解决