收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
使用IP代理​后还会被封吗?
来源:互联网 作者:admin 时间:2019-10-01 10:03:00

  使用IP代理后还会被封吗?最近有小伙伴告诉我,他写了个爬虫对网页进行抓取,被屏蔽IP地址后使用了IP代理,可还是被屏蔽了。难道是用ip代理后还是会被封吗?如果不是,那么爬虫被封的原因都有哪些呢?


使用IP代理后还会被封吗


  在刚开始接触python爬虫的过程中,总会遇到数据采集时,遇到爬虫被封的问题。我想大家也遇到过类似的问题,我们今天探讨下从http代理ip的角度解决这个问题。


  一般爬虫被封的排查方法有以下几种:


  一、首先,检查 JavaScript 。如果你从网络服务器收到的页面是空白的,缺少信息,或其遇到他不符合你预期的情况(或者不是你在浏览器上看到的内容),有可能是因为网站创建页面的 JavaScript 执行有问题。


  二、检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求,记得检查一下页面的内容,看看你想提交的每个字段是不是都已经填好,而且格式也正确。用 Chrome 浏览器的网络面板(快捷键 F12 打开开发者控制台,然后点击“Network”即可看到)查看发送到网站的 POST 命令,确认你的每个参数都是正确的。


  三、是否有合法的 Cookie?如果你已经登录网站却不能保持登录状态,或者网站上出现了其他的“登录状态”异常,请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用,而且你的 cookie 在每次发起请求时都发送到了网站上。


  四、IP 被封禁?如果你在客户端遇到了 HTTP 错误,尤其是 403 禁止访问错误,这可能说明网站已经把你的 IP 当作机器人了,不再接受你的任何请求。你要么等待你的 IP 地址从网站黑名单里移除,要么就换个 IP 地址(可以去星巴克上网)。如果你确定自己并没有被封杀,那么再检查下面的内容。


  五、确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习,会对网管的服务器造成沉重的负担,还会让你陷入违法境地,也是 IP 被网站列入黑名单的首要原因。给你的爬虫增加延迟,让它们在夜深人静的时候运行。切记:匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划,避免临阵慌乱。


  六、还有一件必须做的事情:修改你的请求头!有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适,就用你自己浏览器的请求头吧。


推荐阅读
  • 17 2018-12
    爬虫怎么突破反爬虫?更换IP、控制下载频率哪个管用?

    由于现在许多企业都需要大量的数据,所以很多人学习爬虫,其实怎么学爬虫并不难,难的是怎么应对反爬虫,毕竟别人也不想你去爬,不仅会影响服务器,另外也造成一定的竞争,那么...

  • 19 2019-10
    代理ip​能提高直播人气吗?

    代理ip​能提高直播人气吗?直播没有人气咋办呢?最闹心得方法就是亲戚朋友关注关注,捧捧场,再一个就是发点小礼品来吸引点人。找亲戚朋友看,说白了,那能有多少人。买礼品,谁有多少

  • 15 2019-01
    对于局域网限制,使用代理可以全部突破吗

    很多从事互联网工作者而言,使用的基本上都是局域网,有些还被限制了网络的使用,不能访问某某网站,不能登陆某某软件等等。对于局域网限制,大家常用的方法就是使用代理,是可以突破

  • 19 2019-08
    修改电脑ip地址会怎样?

    修改电脑ip地址会怎样?随着网络技术的不断发展,上网已经成为了我们日常生活不可或缺的一部分,网络开展了我们的

  • 26 2019-09
    代理IP​能避免网络攻击吗?

    代理IP​能避免网络攻击吗?在互联网这飞速的发展之下,网络安全也成为的一项重要的议题,以前只能够在科幻电影中看到的网络入侵或许就会发生在你身上,例如代理ip这类工具能否避免网络

  • 31 2019-12
    爬虫代理ip提高抓取效率

    数据是我们在信息智能时代最为关键的财富,不仅仅是互联网企业需要,传统企业也不能够离开数据的帮助。有价值的数据是能够帮助到我们在竞争中取得好成绩。