以前各个网站都比较喜欢网络爬虫的光顾，但是随着大数据时代的到来，带着各种各样任务到网站爬取信息的网络爬虫变得不受欢迎了，还被各种限制，有些网站的反爬虫机制还特别的严，网络爬虫要想获取信息并非那么容易，可能还要使用各种的招数。

　　很多时候，我们在网站的采集过程中，爬着爬着就发现，才爬一会就被针对了，然后只好升级反反爬策略，然而还是非常容易被识破。

　　那么问题出在哪里呢？哪怕针对各种反爬策略都作出了相对应的反反爬策略，哪怕各方面已经做的够好了，但问题依旧。那么问题可能出现在代理IP的身上。也许你用的不是高匿代理IP，也许你用的不是独享IP池。

　　我们知道，当使用普匿代理或者透明代理访问网站时，会暴露给目标网站知道你在使用代理IP访问，那么相对应的就会手到限制；我们知道，当一个IP用来访问同一个网站达到一个阈值时，就会受到限制。

　　如果你还在使用普通代理和开放代理，趁早放弃吧，重新购买高质量代理IP才是王道；如果你是使用购买共享IP池，总是被反爬策略针对，那么是时候考虑购买独享IP池了。比如智连代理，千万IP池。

　　为什么说独享IP池可以解决非常严格的反爬策略问题呢？因为独享IP池，只有自己一个人使用，自然不会受到其他人的连累，共享IP池则不同了，你不能排除其他人正在使用相同的IP访问相同的网站，这样无疑会受到牵连，从而被反爬策略识别。

　　网站除了设置IP限制之外，还有其他的限制，我们也一起去了解一些反爬虫，不然如何进步呢？

　　1.降低访问的频率

　　例如：每抓取一个页面就休息随机秒（个人感觉比固定时间的要好）；限制每天抓取的页面数量。添加cookie。对于需要登录的网页来说，这是必要的一步。

　　2.伪装user agent

　　User-Agent是检查用户所用客户端的种类和版本。通过设置UA可以伪装成浏览器进行访问目标网站。

　　3.图片识别验证码

　　对于一些简单的验证手段，可以通过pytesseract和PIL库进行图像识别，获取验证码，从而突破验证码限制。当然也可以自己训练机器识别，这部分涉及到AI的知识，就不深入了。

　　科技在进步，网站的各种设置越加完善，要想顺利的突破网站的反爬虫机制，那么势必要了解反爬虫的，只有知己知彼，才能百战百胜。