收藏 400-998-9776 转2 服务时间 周一至周日 9:00-23:00 注意:本站不提供境外服务
您的位置:首页 >文章内容
爬虫怎么构建代理IP池
来源:慕课网fengzhizi715 作者:admin 时间:2018-10-31 14:46:08

做网络爬虫时,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。

代理IP的获取,可以从以下几个途径得到:

  • 从免费的网站上获取,质量很低,能用的IP极少

  • 购买收费的代理服务,质量高很多

  • 自己搭建代理服务器,稳定,但需要大量的服务器资源。

本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之后,再做检查判断IP是否可用,可用的话就存放到MongoDB中,最后展示到前端的页面上。

获取可用Proxy

获取代理的核心代码是ProxyManager,它采用RxJava2来实现,主要做了以下几件事:

  1. 创建ParallelFlowable,针对每一个提供免费代理IP的页面并行地抓取。

Flowable.fromIterable(ProxyPool.proxyMap.keySet())
                .parallel()
  1. 针对每一个页面进行抓取,返回List

    map(new Function() {
                    @Override
                    public List apply(String s) throws Exception {
    
                        try {
                            return new ProxyPageCallable(s).call();
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
    
                        return null;
                    }
                })
  2. 对每一个页面获取的代理IP列表进行校验,判断是否可用

    flatMap(new Function() {
                    @Override
                    public Publisher apply(List proxies) throws Exception {
    
                        if (proxies == null) return null;
    
                        List result = proxies                            .stream()
                                .parallel()
                                .filter(new Predicate() {
                            @Override
                            public boolean test(Proxy proxy) {
    
                                HttpHost httpHost = new HttpHost(proxy.getIp(), proxy.getPort(), proxy.getType());
                                return HttpManager.get().checkProxy(httpHost);
                            }
                        }).collect(Collectors.toList());
    
                        return Flowable.fromIterable(result);
                    }
                })
  3. 依次保存到proxyList

    subscribe(new Consumer() {
                    @Override
                    public void accept(Proxy proxy) throws Exception {
                        log.debug("Result Proxy = "+proxy.getType()+"://"+proxy.getIp()+":"+proxy.getPort());
                        proxy.setLastSuccessfulTime(new Date().getTime());
                        ProxyPool.proxyList.add(proxy);
                    }
                });

附上完整的流程图
ProxyPool流程.png

再附上完整的ProxyManager代码:

import com.cv4j.proxy.domain.Proxy;import com.cv4j.proxy.http.HttpManager;import com.cv4j.proxy.task.ProxyPageCallable;import io.reactivex.Flowable;import io.reactivex.functions.Consumer;import io.reactivex.functions.Function;import lombok.extern.slf4j.Slf4j;import org.apache.http.HttpHost;import org.reactivestreams.Publisher;import org.springframework.stereotype.Component;import java.util.Date;import java.util.List;import java.util.function.Predicate;import java.util.stream.Collectors;/**
 * Created by tony on 2017/10/25.
 */@Slf4j@Componentpublic class ProxyManager {

    /**
     * 抓取代理,成功的代理存放到ProxyPool中
     */
    public void start() {

        Flowable.fromIterable(ProxyPool.proxyMap.keySet())
                .parallel()
                .map(new Function() {
                    @Override
                    public List apply(String s) throws Exception {

                        try {
                            return new ProxyPageCallable(s).call();
                        } catch (Exception e) {
                            e.printStackTrace();
                        }

                        return null;
                    }
                })
                .flatMap(new Function() {
                    @Override
                    public Publisher apply(List proxies) throws Exception {

                        if (proxies == null) return null;

                        List result = proxies                                .stream()
                                .parallel()
                                .filter(new Predicate() {
                            @Override
                            public boolean test(Proxy proxy) {

                                HttpHost httpHost = new HttpHost(proxy.getIp(), proxy.getPort(), proxy.getType());
                                return HttpManager.get().checkProxy(httpHost);
                            }
                        }).collect(Collectors.toList());

                        return Flowable.fromIterable(result);
                    }
                })
                .sequential()
                .subscribe(new Consumer() {
                    @Override
                    public void accept(Proxy proxy) throws Exception {
                        log.debug("Result Proxy = "+proxy.getType()+"://"+proxy.getIp()+":"+proxy.getPort());
                        proxy.setLastSuccessfulTime(new Date().getTime());
                        ProxyPool.proxyList.add(proxy);
                    }
                });
    }}

定时任务

每隔几个小时跑一次定时任务,在抓取完任务之后先删除旧的数据,然后再把新的数据插入到MongoDB中。

import com.cv4j.proxy.ProxyManager;import com.cv4j.proxy.ProxyPool;import com.cv4j.proxy.dao.ProxyDao;import com.cv4j.proxy.domain.Proxy;import com.safframework.tony.common.utils.Preconditions;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.scheduling.annotation.Scheduled;import org.springframework.stereotype.Component;import java.util.concurrent.CopyOnWriteArrayList;/**
 * Created by tony on 2017/11/22.
 */@Componentpublic class ScheduleJobs {

    @Autowired
    ProxyDao proxyDao;

    @Autowired
    ProxyManager proxyManager;

    /**
     * 每六个小时跑一次任务
     */
    @Scheduled(cron = "0 0 */6 * * ?")
    public void cronJob() {
        System.out.println("Job Start...");

        proxyManager.start();

        CopyOnWriteArrayList list = ProxyPool.proxyList;

        // 先删除旧的数据
        proxyDao.deleteAll();

        // 然后再进行插入新的proxy
        if (Preconditions.isNotBlank(list)) {

            for (Proxy p:list) {

                proxyDao.saveProxy(p);
            }
        }

        System.out.println("Job End...");
    }}

展示到前端

整个项目使用Spring Boot搭建,预览效果如下:

代理列表.jpeg

在使用前,还可以再做一次检测,只要双击某个代理IP即可。

在第二次检测时,对于已经失效的IP会被ProxyPool删除。

总结

在做爬虫时,自己维护一个可用的代理IP池是很有必要的事情,当然想要追求更高稳定性的代理IP还是考虑购买比较好,比如智连代理。

智连代理,动态IP行业领导者,高质流量出口,IP代理全国线路任选,拥有千万IP资源,独享带宽,IP代理秒连秒换,连接切换速度小于等于100ms。支持多种设备,可以免费试用!

精彩推荐:哪一类的代理IP比较好用

推荐阅读
  • 07 2018-12
    爬虫如何实现数据的爬取

    做数据分析,首先要有大量的数据,通常会使用爬虫去采集同行的信息进行分析,挖掘有用的资料。但这些资料非常多,仅靠人工去收集,耗时非常久,有个偷懒的方法,即使用爬虫进行...

  • 02 2019-02
    企业品牌怎么做关键词排名?需要借用什么工具?

    网络营销是目前覆盖范围最广的营销方法,企业品牌要想做好,那么是不能放弃网络营销的。如今虽然付费广告流行,但传统的免费推广效果也不差,因此企业品牌还是要做好免费推广的,做好

  • 16 2018-11
    被网站封ip怎么办?智连代理秒换秒连IP

    很多人都遇到过IP被封的问题,特别是做网络推广,或者是刷票等,在论坛发言也会出现IP被封,或者是账号被IP,这该怎么办才能再次访问呢?

  • 12 2019-04
    明星打榜投票,是否可以换ip继续投票?

    明星打榜投票,是否可以换ip继续投票?当下不管是明星还是网红主播,都很多喜欢的,经常有什么榜之类的需要进行投票,但是各位追星小伙伴们平时肯定有这样的苦恼,那就是在为喜欢的明

  • 30 2019-04
    获取代理IP简单吗?

    获取代理IP简单吗?要找代理其实就是要找出该服务器的IP地址、服务类型及所用端口,我们可以在网上直接搜索相关的关键词进行搜索的,也可以通过广告,或者是各种网络渠道找到可用的代

  • 01 2019-04
    用代理IP还封号得原因有:挂机时间、游戏辅助、电脑设备...

    玩游戏通常要注意一件事情,就是封号。很多时候,封号并不能解封成功,或者是解封时间无限久,过了这么久,对这个游戏的热度都下来了。可以说,这账号完全是废了的,那么大家玩游戏这