收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
单IP频繁爬取某网站,多久会被限制住?
来源:互联网 作者:admin 时间:2019-04-22 18:01:00

  单IP频繁爬取某网站,多久会被限制住?IP被不被封,这需要看你使用的频率,越快越容易被封,这基本上是个常规了。


  因为很多网站都设了IP防刷的,也就是在短时间内有大量相同ip的请求,可能是恶意的,网站自然会把这频繁访问的IP地址给封了。一般上被封了,短时间内是不会放出来的。


  对于IP被封了一个问题,也不用太担心,虽然现在很多都没有固定的IP使用,但是换个动态IP还是很简单的,这就是个换IP的问题。怎么换IP呢?比如:


单IP频繁爬取某网站,多久会被限制住?


  如果是局域网,带路由器的,可以控制路由器重新拨号,换IP,这其实是一种折中的办法,曲线救国。


  如果是通过ADSL拨号的,可以重新拨号一次的,每拨一次就会有一个新IP,较好解决IP单一问题。


  又或者,使用代理IP,利用购买的或者网上抓取的免费代理IP,实现多IP爬虫,这种形式是最常见的。


  从这里看到,其实换个IP很简单的,但是要杜绝短时间内大量请求的问题,也难。既然有这个需求,网站也不配合,自然是免不了要大量请求的,但是被限制了,怎么办呢?


  当然是换IP了,既然同IP被封,那么我就多换一些,从这个角度看来路由器换IP和ADSL拨号换IP就不适用了,还得使用代理IP的。


  由上可见,单IP频繁爬取某网站,多久会被限制住?只要超过网站设置的频率,马上就会被封了,因此要进行爬取网站,还是需要大量IP的。


推荐阅读
  • 27 2019-06
    换IP地址可以用虚拟ip吗?

    换IP地址可以用虚拟ip吗?找个可用的IP换,好麻烦,要验证很多个IP才能找到个能用的,实在是麻烦多了,能不能简单些呢?有没有虚拟的IP使用,不需要使用很久的。

  • 03 2019-04
    不用代理IP,设置延时访问怎么破不了限制?

    很少看到网站没有限制的,为了采集数据,网络爬虫有什么招数?网站虽然有限制访问频率,但是我们是否可以通过设置延时访问来解决问题呢?这样降低了访问频率,不高于阈值,这总不用被

  • 27 2018-12
    刷单老被抓,怎么刷单不被抓

    所有买家对于产品的销量都是有要求的,没有销量的产品,几乎是没有人买的,所以一些产品的前期销量都是刷起来的,否则平台的推荐量起不来。相信大部分人都有这么一个习惯,搜索关键词

  • 09 2019-06
    ip代理选择有什么不同之处

    ip代理选择有什么不同之处?ip代理除了找商家购买之外,还可以在网上找哪些免费的使用。也就是说,ip代理有免费使用的,也有付费使用的。首先免费ip代理就如字面意思是免费使用的,虽然

  • 28 2019-06
    游戏代理IP哪家好?

    游戏代理IP哪家好?游戏也会被封号,如果想避免遇到封号这个问题,那么代理IP就很重要了。

  • 05 2019-07
    免费代理ip的各种缺点

    免费代理ip的各种缺点,很多人都深有体会,自然是能不能则不用了。但是直播没有人气咋办呢?最闹心得方法就是亲戚朋友关注关注,捧捧场,再一个就是发点小礼品来吸引点人。找亲戚朋友