收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
Python调用代理IP的几个方法
来源:互联网 作者:admin 时间:2019-03-21 16:01:08

  网络爬虫与代理IP的关系,很多人都是知道的,不过虽然知道我们在使用爬虫进行抓取网页时要使用代理IP,但这如何使用的方法其实很多人都不知道的。不同爬虫设置代理的方法可能是不一样的,不通用,这样大家就需要多学习几个使用代理IP的方法,下面小编介绍Python调用代理IP的几个方法:


  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')


Python调用代理IP的几个方法


  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)


  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080' #使用本地代理

  #proxy='username:password@123.58.10.36:8080' #购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get') #测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)


  以上介绍了三种关于代理IP的调用方法,仅供参考。并没有汇总全部的使用方法,而且每一个人都有自己的使用习惯,如果你有更好的方法,可以分享出来学习的。对于代理IP的使用,小编使用智连代理也是不错的,IP的数量以及匿名性都符合网络爬虫的需求。


推荐阅读
  • 14 2020-01
    adsl换ip还是ip代理换ip好?

    互联网操作中,我们经常会遇到一些难题,其中有很多问题都会与ip有关系,因为ip地址是我们连接互联网的桥梁。今天我们来一起了解一下ip的切换。

  • 22 2019-08
    ip代理是什么意思啊?

     ip代理是什么意思啊?当我们听说IP代理​时,我们感到熟悉又陌生,很多地方都提起过IP代理的名字,可是我们又不知道IP代理到底是什么意思,下面就带大家一起了解一下IP代理的作用和原理。

  • 23 2018-11
    设置代理服务器不能上网,是哪里出问题了?

    设置代理服务器不能上网,是哪里出问题了?是IP地址有问题呢?还是?如果不知道是什么原因导致的,建议重新安装,首先把之前的设置的都取消掉,跟智连代理去看看怎么设置代理服务器。

  • 07 2019-12
    如何寻找适合的代理ip​?

    如何寻找适合的代理ip​?随着网络的发展越来越迅速,很多网友都遭遇过ip限制的问题,当我们访问某个网站过于频繁的时候就会被网站防火墙限制,想要解决这个问题就只能使用代理ip,那我

  • 23 2018-11
    QQ的IP地址怎么修改?QQ的三种代理设置方法

    QQ的IP地址怎么修改?QQ是可以修改IP地址的,支持HTTP代理、Socks代理,还是有浏览器代理,那么这三种代理是怎么设置的呢?下面智连代理为大家介绍一下QQ代理设置的方法。

  • 02 2019-07
    秒换ip的ip代理软件

    秒换ip的ip代理软件,推荐智连代理吗的,可以快速解决ip被封的问题!ip代理经常用于微商,游戏以及数据采集,主要使用了ip代理的换ip原理,以此来提高工作的效率以及效果,今天小编就跟大