8个爬虫开发小技巧!现在，有越来越多所谓的“教程”来帮助我们提高爬虫的易用性。智连代理ip收集了一些在爬虫开发中容易出错和被难住的小问题，提供了参考的意见和想法，以便于帮助爬虫开发者。

　　1、爬虫乱码(网址乱码、返回页面乱码、提交数据乱码)

　　关于爬虫乱码有很多群友的各式各样的问题，不仅是中文乱码，还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因此确定源网页的编码。

　　2、含有验证码表单登陆

　　属于post请求，即先向服务器发送表单数据，需要验证码的情况可以使用带验证码登陆的cookie解决。

　　3、 使用代理

　　适用情况：限制IP地址情况，最好的办法就是维护一个代理IP池。

　　4、限制频率情况

　　限制爬虫访问网站的频率来避免被网站禁掉。

　　5、 “反盗链”

　　加上Referer，伪装成浏览器。

　　6、自动化测试工具Selenium

　　Selenium是一款自动化测试工具。它能实现操纵浏览器，包括字符填充、鼠标点击、获取元素、页面切换等一系列操作。

　　7、验证码识别

　　利用开源的Tesseract-OCR。

　　8、多线程抓取

　　高并发提交采集效率

　　以上就是进行爬虫开发的一些小技巧，当然还有一些其他的爬虫技术，比如验证码等，这就需要爬虫工程师去根据实际情况来制定爬虫策略了。【推荐阅读：代理IP怎么指定host?】