不断增加的网络使用者，不断增加的网络数据，要想把某一个网站的数据进行提取整理，那么首先我们要知道怎么能够快速把它们保存到本地的方式。

　　网络爬虫(web crawler)也叫网页蜘蛛，网络机器人，是一种用来自动浏览万维网的程序或者脚本。爬虫可以验证超链接和HTML代码，用于网络抓取。网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。

　　面对网站的反爬虫，代理ip怎么应对?

　　在数据采集的过程中，可能上一秒还正常在爬取，下一秒就被禁了，无法再工作。首先，爬虫要用高度匿名代理IP，才能不被发现，像真正用户一样。普通匿名代理会被对方网站知道用了代理，就会被限制。还可以尝试用独享IP池，因为整个IP池之后自己一个人用，自然不会有限制，但价格会略高。

　　除了代理IP问题，还要对爬虫的访问频率做出调整，不能设置的太快，可以没抓取一个页面休息几秒钟，否则也会被发现的。

　　以上就是在爬虫过程中使用代理ip的技巧，希望能够对大家进行爬虫工作能够有所指引，可以顺利地让程序运行。