网络的爬虫与反爬虫，一直都是两股不停在进行斗争的力量。毕竟网站也需要对自己平台的数据以及服务器进行保护措施，不能够放任爬虫。

　　虽然爬虫的确可以采集到信息，但是在采集信息的时候我们经常会遇到一些问题：一些数据明明在网站上能够显示但是自己的程序抓取不出来;有些网站设置了蜜罐数据，避无可避;自己已经做好了前期的准备工作，但是自己的请求却被拒绝了等等情况。

　　众所周知爬虫技术能有自已的发展空间，是因为用爬虫程序爬取网站页面数据信息更为方便快捷、高效率，但另外也需要当心IP地址受限。

　　至于为什么会无法采集信息，可能有以下原因：由于ip地址的限制，没有办法访问该网页又或者是自己的程序需要针对网站做一些相应的修改，不能完全百分百适配所有网站，当然，还有一个最重要的原因就是，这个网站设置了防爬虫程序，就是不想让你采集信息，自然你就找不到自己被拒绝的原因了。

　　使用ip代理能够解决部分反爬虫的限制问题，特别是ip的限制情况就会少很多，大家再加以对网站的反爬虫机制进行研究，那么就可以对网站的爬虫程序有一个新的解决方案。