收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
网站限制爬取薪资信息,代理IP来助阵
来源:互联网 作者:admin 时间:2019-03-26 18:00:00

  换工作需要知道该岗位目前市场薪资信息,企业招聘也需要知道各岗位当前薪资福利情况,这些情况是怎么分析出来的呢?这就要用到大数据了,抓取大量的信息,无疑是使用爬取的方法最快的。


  但是呢,网站限制爬取薪资信息,面对这种情况可以使用代理IP来助阵的,就像智连代理的使用,方便快捷。


  实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。


  1.分析网页


  我们在查看拉勾网上的招聘信息的时候,搜索Python,或者是PHP等等的岗位信息,其实是向服务器发出相应请求,由服务器动态的响应请求,将我们所需要的内容通过浏览器解析,呈现在我们的面前。


  可以看到我们发出的请求当中,FormData中的kd参数,就代表着向服务器请求关键词为Python的招聘信息。


  分析比较复杂的页面请求与响应信息,推荐使用Fiddler,对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以,比如像火狐的FireBug等等,只要轻轻一按F12,所有的请求的信息都会事无巨细的展现在你面前。


  经由分析网站的请求与响应过程可知,拉勾网的招聘信息都是由XHR动态传递的。

  我们发现,以POST方式发出的请求有两个,分别是companyAjax.json和positionAjax.json,它们分别控制当前显示的页面和页面中包含的招聘信息。


  可以看到,我们所需要的信息包含在positionAjax.json的Content->result当中,其中还包含了一些其他参数信息,包括总页面数(totalPageCount),总招聘登记数(totalCount)等相关信息。


  2.发送请求


  知道我们所要抓取的信息在哪里是最为首要的,知道信息位置之后,接下来我们就要考虑如何通过Python来模拟浏览器,获取这些我们所需要的信息。


网站限制爬取薪资信息,代理IP来助阵


  其中比较关键的步骤在于如何仿照浏览器的Post方式,来包装我们自己的请求。


  request包含的参数包括所要抓取的网页url,以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)


  包装完毕之后,就可以像浏览器一样访问拉勾网,并获得页面数据了。


  3.抓取数据


  获得页面信息之后,我们就可以开始爬虫数据中最主要的步骤:抓取数据。


  抓取数据的方式有很多,像正则表达式re,lxml的etree,json,以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况,使用其中一个,又或多个结合使用。


网站限制爬取薪资信息,代理IP来助阵


  4.信息存储


  获得原始数据之后,为了进一步的整理与分析,我们有结构有组织的将抓取到的数据存储到excel中,方便进行数据的可视化处理。


网站限制爬取薪资信息,代理IP来助阵


  这是使用xlsxwriter存储的数据,没有问题,可以正常使用。到从为止,一个抓取拉勾网招聘信息的小爬虫就诞生了。


网站限制爬取薪资信息,代理IP来助阵


  通过实战,并借用代理IP,很容易就能获取到薪资信息,可以进行数据的分析之后,拿到当前的岗位薪资信息的,这样可以帮助我们快速了解岗位的市场行情噢。


推荐阅读
  • 26 2019-11
    怎么判断代理IP​质量?

    怎么判断代理IP​质量?在选择代理ip的时候我们需要考虑代理ip的质量高低,高质量的代理ip可以让我们的工作开展事半功倍,反之低质量的代理ip则会让我们的工作寸步难行,那么我们在使用购

  • 05 2020-02
    对代理ip市场的观察分享

    如果有对ip代理感兴趣的,那么就不能够错过智连代理今天要进行介绍的文章了。下面我们来一起看看到底现在的动态http代理市场是怎么样子的。

  • 07 2018-12
    爬虫如何实现数据的爬取

    做数据分析,首先要有大量的数据,通常会使用爬虫去采集同行的信息进行分析,挖掘有用的资料。但这些资料非常多,仅靠人工去收集,耗时非常久,有个偷懒的方法,即使用爬虫进行...

  • 29 2020-01
    ip代理经常会被用在网络营销哪些方面?

    随着网络时代的发展,有很多新型的东西出现,比如像是代理ip,一开始有很多人都不觉得它有多重要,但是当越来越多的换ip需求出现了之后,我们就可以理解为什么http代理那么火热。

  • 04 2019-10
    http代理怎么使用?

    http代理怎么使用?HTTP代理​相信大家都不陌生,有很多网站我们都是需要使用代理才能连接上去,HTTP代理就是不错的选择。但是很多人都不知道HTTP代理的设置方法,下面来为大家进行详细的介

  • 19 2019-01
    常见的反网络爬虫以及突破方法

    大家可能不知道,互联网中超过一半的流量是网络爬虫贡献的,若是网站不设置反爬虫机制,可能根本没法运营,于是都设置了各种各样的反爬虫机制,即使如此,网络爬虫还是有办法去突破。