收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
不用代理IP,设置延时访问怎么破不了限制?
来源:互联网 作者:admin 时间:2019-04-03 18:00:00

  很少看到网站没有限制的,为了采集数据,网络爬虫有什么招数?网站虽然有限制访问频率,但是我们是否可以通过设置延时访问来解决问题呢?这样降低了访问频率,不高于阈值,这总不用被封了吧。


  对于一般的网站,它的反爬技术很可能就是利用公式计算某一IP地址在一段时间内发送请求的次数,因为一个正常人,在一定时间的请求都是有限的。


  所以,对于这种情况,我们可以简单的尝试在爬虫的过程中,对我们的程序进行适当的延时,调用()函数。这样既不会过快的访问网页,对对方的服务器产生严重的垃圾和负担,也可以防止程序被迫中止。


不用代理IP,设置延时访问怎么破不了限制?


  比如说,当初我们尝试封锁IP破解的时候(接下来我说到),我找到了一个免费代理IP的地址,于是我就要想办法批量的把IP地址爬下来,然后在进行测试,因为免费的代理IP大都性能不好或者已经不能用了。这个时候当我第一次爬的时候,没有爬完一页程序就被迫中止了,(因为返回的页面内容变了),我就知道遇到了反爬,那么我首先尝试的就是利用时间延时,方法就是调用()函数,并把延迟时间定为3s,没想到程序就顺利运行了,成功的爬了10页的代理IP地址。


  因此,如果我们遇到反爬,访问的页面是一般网站,不是那种存着比较重要信息的网站,可以首先尝试利用时间延时。


  但是如果遇到反爬比较严的网站,这一套就不怎么管用了,还需要更换IP地址才行。因为同一IP地址,固定频率来访问,人也无法那么的精准,这等于告诉服务器,这是有问题的。


  另外呢,如果设置了延时访问,不使用代理IP,这速度提不上来,结果自然不美丽了。这也就失去了采集数据的作用,毕竟数据都是有时效性的,采集慢,这数据自然没有什么价值了。


  因此,即使设置延时访问能不被限制,但也没有什么意义了。大规模的采集还是少不了代理IP的。


相关文章内容简介
推荐阅读
  • 15 2019-10
    获取代理ip​的方法有哪些?

    获取代理ip​的方法有哪些?很多工作都需要大量的代理ip,特别是对于爬虫等消耗量大的工作来说,怎样获得大量的代理ip是他们十分关心的问题,也是很多人都想知道的问题,如此庞大的ip都是

  • 10 2020-02
    ip代理经过升级后变得更亲民

    以前的http代理服务价格是比较贵的,因为它的选择没有那么灵活,所以只是部分有需要的企业才会进行大量购买。但是随着ip代理技术的升级,这种情况发生了改变。

  • 19 2019-06
    模拟器安卓苹果手机ip代理软件

    模拟器安卓苹果手机ip代理软件,有没有支持多个设备使用的ip代理软件呢?这样的话无论我们使用的是哪个设备,都支持的。

  • 18 2019-07
    重启路由器换ip怎么解决不了ip限制

    重启路由器换ip怎么解决不了ip限制,通常不是一个ip被封了,换另外一个ip就能解决了吗?怎么我重启了路由器换了其他的ip地址,怎么还是不行呢?

  • 29 2019-10
    代理ip有哪些种类?

    代理ip有哪些种类?代理ip​有不同的类型,这些不一样的类型在实际的使用当中有着不一样的作用,那么代理ip有哪些种类?使用哪种代理ip类型会更好呢?

  • 12 2019-10
    怎样挑选靠谱的ip代理​?

    怎样挑选靠谱的ip代理​?虽然现在市面上有许多的IP代理提供给我们选择,但是太多的选择也会导致选择困难症,毕竟代理ip的质量高低决定了业务效率的高低,所以在挑选的时候我们都希望能