收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
如何验证代理IP​是否可用?
来源:互联网 作者:admin 时间:2019-11-01 09:24:40

  如何验证代理IP是否可用?如果购买回来的代理ip不可用,那就真是赔了夫人又折兵,不光耽误了项目进度而且还要加大成本重新购买代理ip,所以对代理ip进行可用性验证,十分有必要。


timg (1).jpg


  首先说说思路:将抓到的 IP 和端口从MySQL数据表中取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断 代理IP 是不是可以正常使用的。由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。

  //代理IP验证方法

  functionGetHttpStatusCode($proxy){$curl=curl_init();curl_setopt($curl,CURLOPT_PROXY,$proxy);

  //使用代理访问   curl_setopt($curl,CURLOPT_URL,"");

  //获取内容

  urlcurl_setopt($curl,CURLOPT_HEADER,1);

  //获取http头信息

  curl_setopt($curl,CURLOPT_NOBODY,1);

  //不返回html的body信息

  curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);

  //返回数据流,不直接输出

  curl_setopt($curl,CURLOPT_TIMEOUT,5);

  //超时时长,单位秒

  curl_exec($curl);$rtn=curl_ getinfo($curl,CURLINFO_HTTP_CODE);

  curl_close($curl);return$rtn;}

  调用GetHttpStatusCode( 代理IP地址 :端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。

  我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。【推荐阅读:爬虫用了代理ip就不会被禁吗?


推荐阅读
  • 13 2019-09
    使用代理ip失败怎么办?

    使用代理ip失败怎么办?有了代理IP​,可以放心的做很多不可描述的事情了,但是使用代理后,发现没什么卵用,那可真是悲伤逆流成河。接下来就盘点下使用代理IP失败的情况以及原因有哪些?

  • 28 2019-10
    免费代理IP​的缺点有哪些?

    免费代理IP​的缺点有哪些?很多人都不推荐使用免费的代理ip,虽然说它是不用钱没有成本的问题,但是免费代理ip有着许多的缺点,这些缺点让免费代理ip的后续成本更高,下面就为大家科普一

  • 26 2019-02
    分布式爬虫是什么意思?设计分布式爬虫要注意什么?

    我们使用爬虫的目的就是为了能够大量快速的抓取数据,满足抓取上百、上千、上万甚至更多网页的需求,这么单个爬虫何时能爬取完呢?怎么能够加快爬取的速度?可以使用多爬虫的框架。比

  • 11 2019-09
    如何解决爬虫被限制ip的问题?

    如何解决爬虫被限制ip的问题?很多爬虫工作者都曾经遇到过这么一个情况,爬虫爬着爬着突然就卡住了,排查一下原来是ip被限制了,不允许继续访问了,遇到这种情况通常有两种解决方案。

  • 14 2019-08
    最方便好用的代理IP软件要数智连代理

    换IP软件哪个好用?最方便好用的代理IP软件要数智连代理,为什么呢?换IP快,质量高,高匿名,IP资源多等等,我们一起去看看:

  • 18 2019-12
    网络爬虫如何突破平台限制?

    互联网信息技术的不断发展,不同平台的网络数据每日都在进行累积。大数据已经成为了,一个专门的研究领域,能够为企业带来好的商业机遇。所以,网络爬虫在当今时代才变得如此受到关注