收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
Python调用代理IP的几个方法
来源:互联网 作者:admin 时间:2019-03-21 16:01:08

  网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:


  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


Python调用代理IP的几个方法


  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用智连代理也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


推荐阅读
  • 15 2019-04
    代理ip分短效和长效,都适合什么人使用?

    代理ip分短效和长效,都适合什么人使用?估计代理IP这个词,大家都不少听说吧,但是你知道代理IP的一些知识么?知道怎么用么?知道都有哪些人使用么?

  • 21 2019-10
    代理IP​和ADSL拨号的优缺点

    代理IP​和ADSL拨号的优缺点,代理IP和ADSL拨号都是换IP的方式,在生活中有很多地方都需要换IP来解决限制。而不同方式有不同的优缺点,那么哪个效果好呢?

  • 31 2019-12
    数据时代,代理IP需求增长

    不知道大家有没有留意到现在互联网上付费的代理ip与免费的ip代理数量变得更加多了,随意在百度平台上进行搜索,就能够找到很多相关的信息。

  • 13 2019-06
    换IP工具中动态线路和静态线路用哪个好

    换IP工具中动态线路和静态线路用哪个好?用换IP工具的人不少,新手对换ip工具中的动态线路和静态线路可能不太明白,也不知道选择哪个好?

  • 23 2019-10
    代理IP​的基本知识

    代理IP​的基本知识,随着科学技术的发展,代理IP在现代生活中的应用越来越多,经常听到人们说代理IP或者HTTP代理,那么到底什么是真正的代理IP呢?你真的了解吗?通俗的讲,代理IP是我们在

  • 10 2019-12
    使用代理IP前,要如何验证IP有效性?

    现在代理IP市场有很多代理服务商,我们可以通过网络就能够找到。在百度搜索代理IP或者是换IP,就可以看到不同的代理服务商网页,但是有一些代理服务商的IP质量其实是非常差的,甚至也会

您好,当前有客服在线,请问有什么需要咨询的吗?