收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
Python调用代理IP的几个方法
来源:互联网 作者:admin 时间:2019-03-21 16:01:08

  网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:


  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


Python调用代理IP的几个方法


  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用智连代理也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


推荐阅读
  • 09 2018-11
    透明代理安全吗?透明代理怎么实现?

    既然透明代理还是能显示我们的ip,那它有什么作用?透明代理安全吗?代理的根本作用就是替你去访问你需要的信息然后再反馈给你,出于某些情况...

  • 20 2019-03
    企业利用IP代理让爬虫采集什么数据?

    进入大数据以来,各行各业都逐渐应用了大数据,通过数据的变化,可以知道行业发展情况,并做出调整,那么企业利用IP代理让爬虫采集什么数据?毕竟数据并不一定都能产生价值的,何必花

  • 18 2018-12
    爬虫编写用什么语言,效果会比较好

    当我们需要收集大量的数据时,都不会采用人工采集的方法,这速度太慢了,反而是考虑使用爬虫进行数据的爬取,目前许多行业都使用爬虫的,这爬虫编写用什么语言?编写爬虫难吗?

  • 19 2019-10
    使用代理ip​还会被封号吗?

    使用代理ip​还会被封号吗?换IP,这是一个非常熟悉的操作,但是很多时候,使用代理ip还是被封号了,这是为什么?其实这里面有很多原因,其中最主要的原因下面就由智连代理为大家介绍一下

  • 24 2020-02
    互联网+时代,懂得用代理ip刷量的操作

    网络飞速进展的时代,有很多东西都一直在改变并且升级,因为如果大家不去掌握新事物的使用,那么很难跟上新时代的脚步。代理ip的使用也是如此。

  • 20 2019-05
    更换ip地址简单有效的方法

    更换ip地址简单有效的方法,一般都是怎么操作的呢?换IP是比较常见的事情,初初学习换IP的时候问题比较多,我们一起看看。