收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫遇到IP限制和访问时间间隔限制,如何处理?
来源:互联网 作者:admin 时间:2019-02-25 17:41:05

  网站的反爬虫是限制爬虫采集的最大对手,如果不能绕过对方的防线,这是肯定采集不到什么数据的。因此,我们在编写爬虫之时,就要主要壮大我们的爬虫,否则闯不过去。


  一般上来说,没有过去的道,就看你能付出到少的代价,面对这些反爬虫,爬虫可以借助各方面的力量来伪装自己:


爬虫遇到IP限制和访问时间间隔限制,如何处理?


  1.使用代理IP破解IP限制


  对于一些保存重要信息的网站,它的反爬技术会比较严密,它会严苛检查每一个IP的请求操作,然后对于可能是异常的请求,返回某一页面给对应请求或是提示需要登录信息等等甚至可能把相应的IP拉入黑名单。


  这个时候我们可能就需要代理IP来隐藏我们的身份,以及通过更换IP来达到不断爬取数据的目的。


  那么这些代理IP要从哪儿获取呢?如果你百度,其实会有蛮多免费代理IP的网站,里面会有很多的代理IP,但是不要太开心,因为这里的代理IP大都不稳定甚至失效(不然为什么那么多都要钱呢),所以当你批量爬下来代理IP后,还需要再单独写一个程序,去利用每一个IP请求一个一定有的网站,例如百度,如果这个IP的requests.get(‘http://www.baidu.com‘, proxies = proxy)(这里的proxy就是你的IP地址)访问成功了,才能说明这个IP是可用的。


  当然,如果有成本,可以尝试使用付费代理IP,因为这样获得的IP会稳定很多,比如使用智连代理,可用的IP数量多,质量也好,当然会节省很多时间,还能提高爬虫的效率。不然就只能苦哈哈的先去采集检测IP再使用,还会经常报错,心情都不美丽了。


  2.调用time.sleep()函数破解间隔时间限制


  通常对于某些网站,在我们发送请求后,因为访问速度过快,网页会很快发现我们的IP地址在一段时间内,多次像页面发送请求。对于一般的网站,它的反爬技术很可能就是利用公式计算某一IP地址在一段时间内发送请求的次数,因为一个正常人,在一定时间的请求都是有限的。


  所以,对于这种情况,我们可以简单的尝试在爬虫的过程中,对我们的程序进行适当的延时,调用time.sleep()函数。这样既不会过快的访问网页,对对方的服务器产生严重的垃圾和负担,也可以防止程序被迫中止。


  举一个例子就是,当初我们尝试封锁IP破解的时候(接下来我说到),我找到了一个免费代理IP的地址,于是我就要想办法批量的把IP地址爬下来,然后在进行测试,因为免费的代理IP大都性能不好或者已经不能用了。这个时候当我第一次爬的时候,没有爬完一页程序就被迫中止了,(因为返回的页面内容变了),我就知道遇到了反爬,那么我首先尝试的就是利用时间延时,方法就是调用time.sleep()函数,并把延迟时间定为3s,没想到程序就顺利运行了,成功的爬了10页的代理IP地址。


  所以在遇到反爬时,如果你觉得你访问的页面是一般网站,不是那种存着比较重要信息的网站,可以首先尝试利用时间延时。


  以上主要介绍了爬虫遇到IP限制,以及访问时间间隔限制问题时如何处理的方法。合理的利用各种工具来伪装自己,可以帮助爬虫顺利的躲过检测,并能完成采集任务。


推荐阅读
  • 11 2019-01
    HTTP和HTTPS初次访问速度为何这么慢

    互联网推广时代,公司线上推广依靠数据的采集和深入分析,网络爬虫早已成为现在搜集海量数据最基础的一种方式。网络爬虫的运营从来都是相对正反两面的事情,有网络爬虫就会有反网络爬

  • 14 2019-03
    想要获得有效的免费代理IP,有哪些技巧?

    代理IP的作用比较多,主要是网络爬虫来使用,对于这个爬虫是如何解决代理IP的问题呢?如果使用的是免费代理IP,我们是怎么抓取的,又是如何检测的呢?要获得有效的免费代理IP,并不是那

  • 18 2019-03
    几百亿的播放量怎么来的?代理IP刷流量技巧

    在这个流量时代,很多时候流量代表了利益,流量越高,获得的利益越高。有时候你可能会很纳闷,我们才十几亿的人,为何哪些电视却又几百亿的播放量?

  • 05 2019-03
    游戏加速器:玩游戏用什么加速器好?

    玩游戏用什么加速器好?对于这一点,大家是怎么想的呢?可能一发布问题,许多小伙伴都推荐自己的加速器,这么多加速器可以选择,都不知道使用哪个好了。今天小编就来跟大家来聊聊关于

  • 23 2019-01
    刷票使用代理IP,可以突破IP限制无限次投票吗?

    我们平常投票,都是由限制的,比如限制一个IP一天只能投一票,还有其他的限制,比如:手机号限制、COOKIE限制,身份证号限制等等。如果想多投票,那势必是要突破这些限制的,我们先去了

  • 06 2018-11
    哪家IP代理性价比高

    哪家IP代理性价比高?互联网+的到来,网络用户越多,到现在即使是非常传统的行业都开始使用互联网,通过互联网吸引用户。