收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
用了高匿代理IP​爬虫还被封?
来源:互联网 作者:admin 时间:2019-11-08 09:58:50

  用了高匿代理IP爬虫还被封?我们都知道代理ip在匿名度上有许多分类,知道透明代理、普通匿名代理在隐藏IP上作用不大,使用后被封还是原因的,但是使用高匿代理IP后,还是被封IP,这是怎么回事呢?


timg (2).jpg


  首先我们要了解下,为什么会需要代理IP?代理IP有什么作用?之所以需要代理IP,是因为单IP频繁的爬取某个服务器,会对服务器造成巨大负载,服务器自然要作出一定的限制,比如封IP。而代理IP的作用就是代替被封的IP继续爬取,当到达了那个阈值时,一样会被封的,然后封了一个代理IP,还有千千万万个代理IP,前仆后继,只为完成爬取任务。


  由此可见,代理IP被封是很正常的,很多朋友认为,我用了代理IP,为什么要封我,我是不是用了个假IP?很是莫名其妙,然后就来找客服投诉,用到了假IP。


  其实封IP有很多种原因,上面那种被封情况是不可避免的,并不是使用了代理IP就不会被封了。但也有不正常使用被封的,比如没有很好的模拟人工访问服务器的行为,也就是说爬取策略不当;比如没有清除cookie等原因;也有可能是目标服务器的反爬策略升级了。【推荐阅读:用哪种代理IP爬虫好?


推荐阅读
  • 09 2019-10
    ip代理软件主要有哪些功能?

    ip代理软件主要有哪些功能?ip代理软件​是我们使用代理ip最常用的工具,很多人都喜欢直接通过ip代理软件来进行更换ip地址的操作,比起手动输入更加的方便快捷,那么你又知不知道ip代理软

  • 25 2019-02
    如何合理的控制爬虫采集速度

    对于爬虫的速度,并不是越快越好的,采集的速度越快,越是容易被发现,也就是说越容易被封。那么如何避免这个问题呢?如何合理的控制爬虫采集速度?

  • 27 2019-11
    分布式爬虫如何获取代理ip​?

    分布式爬虫如何获取代理ip​?分布式爬虫提取代理的方式有很多,有的使用白名单授权绑定api链接提取,有的使用账号+密码授权,根据个人的习惯和需求,编写程序代码领用提取方式自动提取

  • 19 2019-10
    代理ip​如何解决爬虫被封?

    代理ip​如何解决爬虫被封?在网络爬虫抓取信息的过程中,如果抓取频率高过了网站的设置阀值,将会被禁止访问。通常网站的反爬虫机制都是依据IP访问的单位时间来标识爬虫的,python爬虫解

  • 20 2020-03
    代理ip作为ip加速器的效果

    现在我们有很多事情都是在线上完成的,而且这次受到新型冠状病毒的影响,我们的线上工作迎来了大爆发。那么,很多的线上工作都是需要代理ip的。

  • 12 2020-02
    为什么感觉用了ip代理上网变快了?

    我们平时正常使用自己的ip上网的时候,用到的是服务器,那么用代理ip上网的时候,也是需要服务器的,不过我们用代理服务器的名称来进行了区分。

您好,当前有客服在线,请问有什么需要咨询的吗?