收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫是如何突破网站的反爬虫机制的
来源:互联网 作者:admin 时间:2019-01-28 17:50:07

    不管是哪个网站,都是设置了反爬虫机制的,否则无法正常的运营,毕竟限制爬虫非常多,整个网络大半的流量都是由它贡献的。这对爬虫来说,可不是什么好事,因为这样大大限制了爬虫的活动,但也不是全部限制住了。今天跟小编去了解下爬虫是如何突破网站的反爬虫机制的。


    其实,爬虫可以伪装成为浏览器,伪装为一个正常的用户使用浏览器去访问目标网站,并顺利的获取到数据,伪装方法:


爬虫是如何突破网站的反爬虫机制的


    1.使用add_header()添加报头


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"req = urllib.request.Request(url)


    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')


    data = urllib.request.urlopen(req).read()


    print(data)


    导入包,定义url地址我们就不说了,我们使用urllib.request.Request(url)创建一个Request对象,并赋值给变量req,创建Request对象的格式:urllib.request.Request(url地址)


    随后我们使用add_header()方法添加对应的报头信息,格式:Request(对象名).add_header(‘对象名’,’对象值’)


    现在我们已经设置好了报头,然后我们使用urlopen()打开该Request对象即可打开对应的网址,多以我们使用


    data = urllib.request.urlopen(req).read()打开了对应的网址,并读取了网页内容,并赋值给data变量。


    2.使用build_opener()修改报头


    由于urlopen()不支持一些HTTP的高级功能,所以我们需要修改报头。可以使用urllib.request.build_opener()进行,我们修改一下上面的代码:


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")


    opener = urllib.request.build_opener()


    opener.addheaders = [headers]


    data = opener.open(url).read()


    print(data)


    上面代码中我们先定义一个变量headers来储存User-Agent信息,定义的格式是(“User-Agent”,具体信息)


    具体信息我们上面已经获取到了,这个信息获取一次即可,以后爬取其他网站也可以用,所以我们可以保存下来,不用每次都F12去找了。


    然后我们用urllib.request.build_opener()创建自定义的opener对象并赋值给opener,然后设置opener的addheaders,就是设置对应的头信息,格式为:“opener(对象名).addheaders = [头信息(即我们储存的具体信息)]”,设置好后我们就可以使用opener对象的open()方法打开对应的网址了。格式:“opener(对象名).open(url地址)”打开后我们可以使用read()方法来读取对应数据,并赋值给data变量。


    综上所述,两种方法都可以实现了爬虫模拟浏览器打开网址,并获取网址的内容信息,避免了403错误,但是在使用的过程中要注意两者方法的区别。


推荐阅读
  • 24 2019-08
    IP代理的原理是什么?

    IP代理的原理是什么?代理IP我们都知道它有什么样的用处,但是对于它的工作原理以及它是怎么实现,大家可能都有那么些迷茫,其实IP代理的工作原理不算复杂,下面就给大家略微简单介绍一

  • 12 2019-09
    IP被限制访问怎么办?

    IP被限制访问怎么办?首先,如果你想解决这个问题那么晚就要清楚这个问题发生的原因,你要清楚网站为什么被限制了IP的访问。在这里为大家简单的讲解一下,有一部分的网站是因为要遏制数

  • 15 2019-07
    刷单需要换ip地址吗?

    刷单需要换ip地址吗?现在刷单越来越成熟了,很多商家新品前期都会选择刷单,或者平常也会刷单刷好评以保持目前的吸引客户优势。那么这刷单需要换ip地址吗?

  • 10 2019-08
    IP代理能隐藏真实的IP信息

    IP代理能隐藏真实的IP信息,如果担心自己的IP地址信息泄露,可以尝试使用IP代理的。如今我们的社会发展速度越来越快,也逐渐与信息时代接轨,互联网的发展也越来越多样化,而且现在每个

  • 11 2019-09
    哪个高匿代理ip软件比较好?

    哪个高匿代理ip软件比较好?众所周知,高匿代理ip在使用过程中各项性能都高于普通匿名代理ip。然而物以稀为贵,在高匿代理ip较少而用户较多的情况下,很多用户只能望洋兴叹,百般挑选即使

  • 29 2019-04
    平常都用什么动态ip好?

    平常都用什么动态ip好?这个代理市场也是挺混乱的,很多商家都是说提供免费的,免费的才那么几个,最后都是推花钱的代理IP,大家平常都是使用哪家的?选择商家的理由都有哪些?