收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
Python调用代理IP的几个方法
来源:互联网 作者:admin 时间:2019-03-21 16:01:08

  网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:


  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


Python调用代理IP的几个方法


  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用智连代理也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


推荐阅读
  • 17 2019-09
    爬虫被封IP该怎么办?

    爬虫被封IP该怎么办?在爬虫工作中,最头痛的问题莫过于爬着爬着就歇菜了,这是因为在网络爬虫抓取信息的过程中,抓取频率高过了目标网站的设置阀值,将会被禁止访问。大数据时代下的爬

  • 08 2020-06
    自动换ip的代理软件

    为了网络换ip的速度提升,现在一般都会用自动换ip的方式来操作。

  • 07 2019-12
    ip代理​的主要功能!

    ip代理​的主要功能!随着网络技术的不断发展,许多行业都开始应用代理ip来辅助业务的开展,例如刷票、爬虫、批量注册等等,那么ip代理都有哪些主要功能呢?

  • 14 2019-10
    怎么判断代理ip​的匿名度?

    怎么判断代理ip​的匿名度?有一些朋友使用浏览器设置了代理后,访问百度查询IP,发现还是本机IP,于是得出结论,这个代理IP就是透明代理,因为它暴露了本机IP。真相真的是这样吗?其实不然

  • 11 2019-01
    HTTP和HTTPS初次访问速度为何这么慢

    互联网推广时代,公司线上推广依靠数据的采集和深入分析,网络爬虫早已成为现在搜集海量数据最基础的一种方式。网络爬虫的运营从来都是相对正反两面的事情,有网络爬虫就会有反网络爬

  • 03 2019-12
    正确使用代理ip​的方法!

    正确使用代理ip​的方法!对于营销行业的用户来说,代理IP的使用是很常见的,但对于一些刚接触代理的用户来说,可能对其不是很了解。那么,下面就为大家讲一下使用代理IP需要注意的问题