收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫是如何突破网站的反爬虫机制的
来源:互联网 作者:admin 时间:2019-01-28 17:50:07

    不管是哪个网站,都是设置了反爬虫机制的,否则无法正常的运营,毕竟限制爬虫非常多,整个网络大半的流量都是由它贡献的。这对爬虫来说,可不是什么好事,因为这样大大限制了爬虫的活动,但也不是全部限制住了。今天跟小编去了解下爬虫是如何突破网站的反爬虫机制的。


    其实,爬虫可以伪装成为浏览器,伪装为一个正常的用户使用浏览器去访问目标网站,并顺利的获取到数据,伪装方法:


爬虫是如何突破网站的反爬虫机制的


    1.使用add_header()添加报头


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"req = urllib.request.Request(url)


    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')


    data = urllib.request.urlopen(req).read()


    print(data)


    导入包,定义url地址我们就不说了,我们使用urllib.request.Request(url)创建一个Request对象,并赋值给变量req,创建Request对象的格式:urllib.request.Request(url地址)


    随后我们使用add_header()方法添加对应的报头信息,格式:Request(对象名).add_header(‘对象名’,’对象值’)


    现在我们已经设置好了报头,然后我们使用urlopen()打开该Request对象即可打开对应的网址,多以我们使用


    data = urllib.request.urlopen(req).read()打开了对应的网址,并读取了网页内容,并赋值给data变量。


    2.使用build_opener()修改报头


    由于urlopen()不支持一些HTTP的高级功能,所以我们需要修改报头。可以使用urllib.request.build_opener()进行,我们修改一下上面的代码:


    import urllib.request


    url = "http://blog.csdn.net/hurmishine/article/details/71708030"headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36")


    opener = urllib.request.build_opener()


    opener.addheaders = [headers]


    data = opener.open(url).read()


    print(data)


    上面代码中我们先定义一个变量headers来储存User-Agent信息,定义的格式是(“User-Agent”,具体信息)


    具体信息我们上面已经获取到了,这个信息获取一次即可,以后爬取其他网站也可以用,所以我们可以保存下来,不用每次都F12去找了。


    然后我们用urllib.request.build_opener()创建自定义的opener对象并赋值给opener,然后设置opener的addheaders,就是设置对应的头信息,格式为:“opener(对象名).addheaders = [头信息(即我们储存的具体信息)]”,设置好后我们就可以使用opener对象的open()方法打开对应的网址了。格式:“opener(对象名).open(url地址)”打开后我们可以使用read()方法来读取对应数据,并赋值给data变量。


    综上所述,两种方法都可以实现了爬虫模拟浏览器打开网址,并获取网址的内容信息,避免了403错误,但是在使用的过程中要注意两者方法的区别。


推荐阅读
  • 04 2019-11
    无法连接代理ip​服务器怎么办?

    无法连接代理ip​服务器怎么办?在使用代理ip的动态VPS时候,我们可能遇见无法连接远程桌面的情况,这是因为无法连接访问代理服务器的ip地址,想要解决这个问题最简单的方法就是重启动态VP

  • 16 2019-07
    找个长时间有效的代理ip

    找个长时间有效的代理ip,如果有效时间太短了,这ip都还没有换好就不能用了,这不是白费功夫了吗?事情没有做好,还浪费了时间。但是怎么找个长时间有效的代理ip呢?

  • 08 2019-11
    HTTP代理和Socks代理的差别!

    HTTP代理和Socks代理的差别!最常用的代理莫过于HTTP代理,还有一种代理用的也很多,那就是Socks代理,那么问题来了,HTTP代理和Socks代理有什么区别呢?

  • 26 2019-10
    购买代理ip​要避免的错误!

    购买代理ip​要避免的错误!假如您正在考虑购买代理服务。无论您计划使用代理进行web抓取、价格监视、广告验证或其他类型的在线操作,都要仔细选择。

  • 27 2019-09
    如何利用代理ip​增加点击量?

    如何利用代理ip​增加点击量?一个网站想要加入广告联盟获得广告收益,一开始最主要的考察点就是网站的点击量有多少,足够的点击量才可以加入广告联盟分享收益,如果你的网站还差那么一

  • 19 2019-12
    网络反爬虫的4种突破方式

    因为数据抓取是越来越普遍了,导致越来越多的网站对爬虫进行了反爬限制。而且随着技术的发展,反爬虫技术也在不断的更新,如果我们想要顺利完成爬虫工作,那么就需要掌握突破反爬机制