收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫是如何突破网站的反爬虫机制的
来源:互联网 作者:admin 时间:2019-01-28 17:50:07

    不管是哪个网站,都是设置了反爬虫机制的,否则无法正常的运营,毕竟限制爬虫非常多,整个网络大半的流量都是由它贡献的。这对爬虫来说,可不是什么好事,因为这样大大限制了爬虫的活动,但也不是全部限制住了。今天跟小编去了解下爬虫是如何突破网站的反爬虫机制的。


    其实,爬虫可以伪装成为浏览器,伪装为一个正常的用户使用浏览器去访问目标网站,并顺利的获取到数据,伪装方法:


爬虫是如何突破网站的反爬虫机制的


    1.使用add_header()添加报头


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"req = urllib.request.Request(url)


    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')


    data = urllib.request.urlopen(req).read()


    print(data)


    导入包,定义url地址我们就不说了,我们使用urllib.request.Request(url)创建一个Request对象,并赋值给变量req,创建Request对象的格式:urllib.request.Request(url地址)


    随后我们使用add_header()方法添加对应的报头信息,格式:Request(对象名).add_header(‘对象名’,’对象值’)


    现在我们已经设置好了报头,然后我们使用urlopen()打开该Request对象即可打开对应的网址,多以我们使用


    data = urllib.request.urlopen(req).read()打开了对应的网址,并读取了网页内容,并赋值给data变量。


    2.使用build_opener()修改报头


    由于urlopen()不支持一些HTTP的高级功能,所以我们需要修改报头。可以使用urllib.request.build_opener()进行,我们修改一下上面的代码:


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")


    opener = urllib.request.build_opener()


    opener.addheaders = [headers]


    data = opener.open(url).read()


    print(data)


    上面代码中我们先定义一个变量headers来储存User-Agent信息,定义的格式是(“User-Agent”,具体信息)


    具体信息我们上面已经获取到了,这个信息获取一次即可,以后爬取其他网站也可以用,所以我们可以保存下来,不用每次都F12去找了。


    然后我们用urllib.request.build_opener()创建自定义的opener对象并赋值给opener,然后设置opener的addheaders,就是设置对应的头信息,格式为:“opener(对象名).addheaders = [头信息(即我们储存的具体信息)]”,设置好后我们就可以使用opener对象的open()方法打开对应的网址了。格式:“opener(对象名).open(url地址)”打开后我们可以使用read()方法来读取对应数据,并赋值给data变量。


    综上所述,两种方法都可以实现了爬虫模拟浏览器打开网址,并获取网址的内容信息,避免了403错误,但是在使用的过程中要注意两者方法的区别。


推荐阅读
  • 02 2018-11
    怎么使用手机动态IP刷单

    怎么使用手机动态IP刷单?新店没有流量,没有客户是生存不下去的,有朋友可能会教你一招,刷单!刷单效果确实非常不错,但重点是你刷单不被发现,不然扣除数据不说,还降权...

  • 12 2019-11
    怎样使用代理服务器​?

    怎样使用代理服务器​?目前随着网络技术的飞速发展,越来越多人使用代理服务器进行代理ip服务,所谓的代理服务器其实就是提供转接功能的服务器,通过代理转换用户的ip地址链接目标站点

  • 05 2019-03
    游戏太卡,怎么让游戏流畅些?

    越是好玩的游戏,越是多人去玩,如此火热,如果服务器负载过高,容易造成游戏卡,或者是其他的问题导致游戏卡顿,掉线,这肯定是不好的游戏体验。如果想玩游戏不卡,那么大家可以注意

  • 06 2020-02
    网络数据爬取防御怎么来破解?

    网络数据时代,大数据的抓取已经是见怪不怪了。网站自然有自己的防御机制,避免自己的数据被大量恶意爬取,增加服务器的负担,但是有防御,就会有破解的方式。

  • 27 2019-09
    用代理IP​刷广告可行吗?

    用代理IP​刷广告可行吗?现在有很多网站或者软件都可以通过点击广告来获得收入,例如广告联盟等等,原理和电商刷量差不多都是利用代理ip来变换ip地址后重复点击,所以说使用代理ip刷广告

  • 27 2019-09
    代理ip​能解决账号被封吗?

    代理ip​能解决账号被封吗?现在很多人都喜欢在论坛上进行推广,无论是做电商的还是搞外链的,在不同的论坛上进行引流几乎是标配一般的操作,然而为了杜绝大量的推广链接,很多论坛都会