收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
Python调用代理IP的几个方法
来源:互联网 作者:admin 时间:2019-03-21 16:01:08

  网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:


  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


Python调用代理IP的几个方法


  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用智连代理也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


推荐阅读
  • 19 2019-03
    我们的爬虫使用免费ip代理能隐藏好吗

    一些项目由于对匿名的程度要求比较高,不然不能隐藏好身份,也就无法完成任务了,这需要只能高匿名代理能够满足。这高匿名代理是怎么找来的,要花多少钱?成本贵吗?

  • 28 2019-08
    代理IP的适用范围有哪些?

    代理IP的适用范围有哪些?对于很多人来说代理IP并不算陌生,它的名字在网络营销和数据采集行业里经常出现,因为代理IP​的作用可以帮助他们成功完成各种不同的工作。但是对于大多数人来

  • 03 2019-02
    爬虫是如何使用代理IP来抓取数据

    在大数据时代,营销推广的主要依据是大数据。比如根据大数据抓取产品的相关资料,可以分析用户习惯,抢夺竞争对手的信息。虽然我们可以进行数据收集,并推动数据分析发展,但是在这个

  • 10 2019-01
    爬虫分布式抓取有什么优点

    大数据时代,需要收集对比的数据非常多,因此爬虫在收集数据时需要提高效率,不可能仅使用一个抓取程序,通常都是使用多个程序进行抓取,最常用的就是分布式爬取,那么爬虫分布式抓取

  • 21 2019-05
    为何自媒体和SEO都使用IP代理?

    为何自媒体和SEO都使用IP代理?自媒体与SEO是有些区别的,不过它们同样都可以使用IP代理来增加效果的,如果增加阅读量,人气就越多,排名越好,或者是被推荐的几率越高。

  • 30 2019-04
    一个可靠的代理IP隐藏效果更好

    一个可靠的代理IP隐藏效果更好,如果大家需要匿名,或者是隐藏自己的信息,保护自己的信息不被泄露,可以找代理IP的。