有些新手在学习Python爬虫过程中，会遇到一些麻烦，比如，为什么使用爬虫请求失败，难度这爬虫这么没有用，还没有开始就失败了，到底是哪里出问题了？可能是请求头设置有问题。

    使用Python爬虫采集数据，需要先向目标网站发起请求，网站会进行自动检测，如果请求头设置有问题，即请求失败，返回失败码，那么Python爬虫怎么设置请求头？

    Python爬虫请求流程：

    无论是浏览器还是爬虫程序，在向服务器发起网络请求的时候，都会发过去一个头文件：headers，比如知乎的requestsheaders:

    这里面的大多数的字段都是浏览器向服务器“表明身份”用的，对于爬虫程序来说，最需要注意的字段就是：User-Agent

    很多网站都会建立user-agent白名单，只有属于正常范围的user-agent才能够正常访问。

    可以看到，这里的请求被拒绝了，并且返回了一个500的错误码：

    这里就是因为requests库本身的headers是这样的：

    这里面并没有user-agent字段，自然不被知乎的服务器所接受了。

    解决方法：

    可以自己设置一下user-agent，或者更好的是，可以从一系列的user-agent里随机挑出一个符合标准的使用，代码如下：

    通过上文，我们可以知道Python爬虫怎么设置请求头有效，避免错误的设置，另外可以多备不同的user-agent，轮换使用，更好的伪装自己。如果遇到IP限制，可以使用智连代理进行IP切换，突破IP限制，可以持续的采集数据，提高工作效率。