收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫怎么伪装成浏览器
来源:pdstar 作者:admin 时间:2018-12-12 17:32:32

    爬虫在获取数据的过程中,都会遇到网站的反爬虫机制,那么如何伪装好自己,别让对方知道你是一个爬虫呢?这就需要伪装,一个爬虫也可以伪装用户。因为爬虫的许多信息都可以伪装的,比如伪装成浏览器获取数据,本文为大家介绍一下爬虫怎么伪装成浏览器


    1.爬取目标方法


    对于网站url为http协议的,我们可以直接通过urlopen()直接爬取


    例如:


爬虫怎么伪装成浏览器


    爬取结果为


爬虫怎么伪装成浏览器


    2.被识别为爬虫


    但当我们要爬url为https协议的网站,就会返回403错误或报其它错误。这是因为对方服务器识别出是爬虫,把我们屏蔽了。


    例如把url换成"https://www.qiushibaike.com/"? 则python会报错如下图:


爬虫怎么伪装成浏览器


    3.伪装方法


    通过模拟浏览器登陆来实现伪装。即通过设置User-Agent的方式来达到隐藏爬虫身份的目的。


    原理:User-Agent存放于Headers中,服务器就是通过查看Headers中的User-Agent来判断是谁在访问的。


    我们可以通过chrome的审查元素功能来查看User-Agent,然后添加进去:


    from urllib import request


    #爬嗅事百科


    url='https://www.qiushibaike.com/'


    #写入User-Agent,采用字典形式


    head={}


    head['User-Agent']='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'


    #创建Request对象并添加heads


    req=request.Request(url,headers=head)


    #传入创建好的Request对象


    response=request.urlopen(req)


    #读取响应信息并解码


    html=response.read().decode('utf-8')


    #打印爬到的信息


    print(html)



推荐阅读
  • 24 2020-02
    改ip在刷量方面的操作

    很多人在一开始接触代理ip的时候,可能觉得这并没有什么特别之处,但是随着ip代理技术在网络中发挥出更加多的作用,越来越多的用户开始使用http代理。

  • 10 2019-09
    遭遇反爬策略代理IP​帮到你!

    遭遇反爬策略代理IP​帮到你!网络爬虫在大数据时代起着非常巨大的作用,但爬虫行为会对网站造成很大的压力,于是很多网站设置了比较严格的反爬虫机制,例如IP限制,数据伪装,动态加载

  • 28 2020-02
    代理ip的用途不仅是换ip

    听说现在有很多新用户需要代理ip,但是对于换ip技术,大家认识得并不多,很容易会对ip代理产生误解,以为它只是能够在ip切换上帮到我们。

  • 22 2019-11
    浏览器设置代理ip​方法!

    浏览器设置代理ip​方法!网络上有许多关于代理ip工作原理的文章,这里先不再多讲述,我们今天来讲讲怎么在浏览器当中应用代理ip!一般来说,我们可以通过两种方法在浏览器中设置代理ip并

  • 31 2019-10
    http代理​的匿名性是什么?

    http代理​的匿名性是什么?在选用http代理的时候,都会有匿名度标准提供给我们进行选择,不同的匿名度可以用于不同的场景,那么在http代理中匿名度是什么意思呢?

  • 10 2019-08
    代理IP换IP访问速度快吗

    代理IP换IP访问速度快吗?这并不一定的!一般选择使用代理IP的,无非是出于这么几个原因: