收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫是如何突破网站的反爬虫机制的
来源:互联网 作者:admin 时间:2019-01-28 17:50:07

    不管是哪个网站,都是设置了反爬虫机制的,否则无法正常的运营,毕竟限制爬虫非常多,整个网络大半的流量都是由它贡献的。这对爬虫来说,可不是什么好事,因为这样大大限制了爬虫的活动,但也不是全部限制住了。今天跟小编去了解下爬虫是如何突破网站的反爬虫机制的。


    其实,爬虫可以伪装成为浏览器,伪装为一个正常的用户使用浏览器去访问目标网站,并顺利的获取到数据,伪装方法:


爬虫是如何突破网站的反爬虫机制的


    1.使用add_header()添加报头


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"req = urllib.request.Request(url)


    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')


    data = urllib.request.urlopen(req).read()


    print(data)


    导入包,定义url地址我们就不说了,我们使用urllib.request.Request(url)创建一个Request对象,并赋值给变量req,创建Request对象的格式:urllib.request.Request(url地址)


    随后我们使用add_header()方法添加对应的报头信息,格式:Request(对象名).add_header(‘对象名’,’对象值’)


    现在我们已经设置好了报头,然后我们使用urlopen()打开该Request对象即可打开对应的网址,多以我们使用


    data = urllib.request.urlopen(req).read()打开了对应的网址,并读取了网页内容,并赋值给data变量。


    2.使用build_opener()修改报头


    由于urlopen()不支持一些HTTP的高级功能,所以我们需要修改报头。可以使用urllib.request.build_opener()进行,我们修改一下上面的代码:


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")


    opener = urllib.request.build_opener()


    opener.addheaders = [headers]


    data = opener.open(url).read()


    print(data)


    上面代码中我们先定义一个变量headers来储存User-Agent信息,定义的格式是(“User-Agent”,具体信息)


    具体信息我们上面已经获取到了,这个信息获取一次即可,以后爬取其他网站也可以用,所以我们可以保存下来,不用每次都F12去找了。


    然后我们用urllib.request.build_opener()创建自定义的opener对象并赋值给opener,然后设置opener的addheaders,就是设置对应的头信息,格式为:“opener(对象名).addheaders = [头信息(即我们储存的具体信息)]”,设置好后我们就可以使用opener对象的open()方法打开对应的网址了。格式:“opener(对象名).open(url地址)”打开后我们可以使用read()方法来读取对应数据,并赋值给data变量。


    综上所述,两种方法都可以实现了爬虫模拟浏览器打开网址,并获取网址的内容信息,避免了403错误,但是在使用的过程中要注意两者方法的区别。


推荐阅读
  • 31 2019-01
    浏览器如何设置代理IP?使用智连代理方法

    有时需要用IP地址替换Internet,但不需要替换本地IP,它只是改变浏览器的IP以隐藏其IP并突破网络限制。那么浏览器如何设置代理IP? 有没有办法直接使用代理软件,而且不需要每次都设置?

  • 13 2020-01
    爬虫获取数据如何顺利完成?

    在网络中做业务或者是工作,我们都不能够离开工具对我们的帮助,就像是现在非常热门的ip代理一样,也是我们在网络中不能够缺少的好伙伴。

  • 24 2019-01
    为什么会被封号呢?使用换IP软件防封

    现在使用网络的人多,许多平台对于IP限制更加的严格了,还有很多平台会定期封一些账号,这辛苦养成的号就没有了,于是大家都想怎么保住自己这些账号。那么如何能预防账号被封呢?

  • 09 2019-04
    好用的http代理怎么那么难找?

    好用的http代理怎么那么难找?因为现在很多商家使用的都是网络的IP资源,直接全网扫描获取的IP,这IP质量自然是差了。

  • 24 2019-04
    代理IP让秒杀抢购更快人一步

    代理IP让秒杀抢购更快人一步,你没有抢到不是你网不好,也不是你手速不行,而且你还处于人的速度中,别人都使用机器抢了,不用一秒就抢光了,哪里还有你的事呢?

  • 28 2019-08
    代理IP的适用范围有哪些?

    代理IP的适用范围有哪些?对于很多人来说代理IP并不算陌生,它的名字在网络营销和数据采集行业里经常出现,因为代理IP​的作用可以帮助他们成功完成各种不同的工作。但是对于大多数人来