收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫是如何突破网站的反爬虫机制的
来源:互联网 作者:admin 时间:2019-01-28 17:50:07

    不管是哪个网站,都是设置了反爬虫机制的,否则无法正常的运营,毕竟限制爬虫非常多,整个网络大半的流量都是由它贡献的。这对爬虫来说,可不是什么好事,因为这样大大限制了爬虫的活动,但也不是全部限制住了。今天跟小编去了解下爬虫是如何突破网站的反爬虫机制的。


    其实,爬虫可以伪装成为浏览器,伪装为一个正常的用户使用浏览器去访问目标网站,并顺利的获取到数据,伪装方法:


爬虫是如何突破网站的反爬虫机制的


    1.使用add_header()添加报头


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"req = urllib.request.Request(url)


    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')


    data = urllib.request.urlopen(req).read()


    print(data)


    导入包,定义url地址我们就不说了,我们使用urllib.request.Request(url)创建一个Request对象,并赋值给变量req,创建Request对象的格式:urllib.request.Request(url地址)


    随后我们使用add_header()方法添加对应的报头信息,格式:Request(对象名).add_header(‘对象名’,’对象值’)


    现在我们已经设置好了报头,然后我们使用urlopen()打开该Request对象即可打开对应的网址,多以我们使用


    data = urllib.request.urlopen(req).read()打开了对应的网址,并读取了网页内容,并赋值给data变量。


    2.使用build_opener()修改报头


    由于urlopen()不支持一些HTTP的高级功能,所以我们需要修改报头。可以使用urllib.request.build_opener()进行,我们修改一下上面的代码:


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")


    opener = urllib.request.build_opener()


    opener.addheaders = [headers]


    data = opener.open(url).read()


    print(data)


    上面代码中我们先定义一个变量headers来储存User-Agent信息,定义的格式是(“User-Agent”,具体信息)


    具体信息我们上面已经获取到了,这个信息获取一次即可,以后爬取其他网站也可以用,所以我们可以保存下来,不用每次都F12去找了。


    然后我们用urllib.request.build_opener()创建自定义的opener对象并赋值给opener,然后设置opener的addheaders,就是设置对应的头信息,格式为:“opener(对象名).addheaders = [头信息(即我们储存的具体信息)]”,设置好后我们就可以使用opener对象的open()方法打开对应的网址了。格式:“opener(对象名).open(url地址)”打开后我们可以使用read()方法来读取对应数据,并赋值给data变量。


    综上所述,两种方法都可以实现了爬虫模拟浏览器打开网址,并获取网址的内容信息,避免了403错误,但是在使用的过程中要注意两者方法的区别。


推荐阅读
  • 27 2019-03
    手机ip代理加速器哪家强?

    ip代理是能够进行IP加速的,也能降低网络延迟,所以也是可用于游戏测试,或者游戏试玩之类的项目。就现在来说,手机ip代理加速器哪家强?

  • 08 2019-05
    免费代理IP的可用率太低了

    免费代理IP的可用率太低了,不过即使低,但冲着“免费”二字,也是有不少的用户,不过市面的免费代理IP类型多种多样,许多知名品牌被自吹自擂得天花乱坠,让客户在选择时想不起该怎样

  • 29 2019-04
    游戏用的动态IP代理找哪家好?

    游戏用的动态IP代理找哪家好?很多游戏多开都是要换IP的,不然根本多开不了,如果是经常需要多开的,那么准备一个动态IP代理是很有必要的,大家平常都使用哪家的呢?哪家的动态IP代理效

  • 09 2019-06
    ip代理选择有什么不同之处

    ip代理选择有什么不同之处?ip代理除了找商家购买之外,还可以在网上找哪些免费的使用。也就是说,ip代理有免费使用的,也有付费使用的。首先免费ip代理就如字面意思是免费使用的,虽然

  • 01 2019-03
    使用HTTPS有什么优势?为什么HTTPS的普及率不高?

    对于HTTP和HTTPS,只要上网的人基本都是认识的,看起来HTTPS只是比HTTP多了一个“S”,但实际上并不是那么简单的。HTTPS可以说是HTTP的安全版,从这一点上来看,大家应该都会选择使用HTTPS的,但

  • 24 2018-11
    代理IP能降低游戏延迟吗?与网络加速器有什么不同

    玩游戏的人都知道,延迟高,这游戏没法玩,很多游戏爱好者通常都花钱升级网络,升级配置,期望游戏延迟能降低下来。于是网络加速器出现了,利用加速器降低游戏延迟...