MapReduce学习笔记1:统计每一个手机号耗费的总上行流量、总下行流量、总流量

qq_38077360

于 2022-04-18 21:33:48 发布

阅读量741

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/qq_38077360/article/details/124260014

这篇博客介绍了如何使用MapReduce统计每个手机号的上行、下行和总流量。通过自定义Bean实现Writable接口，详细讲解了Mapper、Reducer的实现以及Driver的配置。内容涵盖了MapReduce的本地运行和通过Maven打包在服务器上运行的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

考察MapReduce的运用
考察Mapper和Reduce之间的传输，使用序列化
在本地运行和在虚拟机用Jar包运行

代码

自定义Bean对象实现Writable接口

/**
 * 1.定义序列化实现writable接口
 * 2.重写序列化和分序列化
 * 3.重写空参构造
 * 4.重写toString方法
 * @author yijin
 * @create 2022-04-18-5:01 PM
 */
public class FlowBean implements Writable {
   
   
    private long upFlow; // 上行流量
    private long downFlow; // 下行流量
    private long sumFlow;  // 总流量

    // 空参构造
    public FlowBean() {
   
   
    }

    public long getUpFlow() {
   
   
        return upFlow;
    }

    public void setUpFlow(long upFlow) {
   
   
        this.upFlow = upFlow;
    }

    public long getDownFlow() {
   
   
        return downFlow;
    }

    public void setDownFlow(long downFlow) {
   
   
        this.downFlow = downFlow;
    }

    public long getSumFlow() {
   
   
        return sumFlow;
    }

    public void setSumFlow() {
   
   
        this.sumFlow = this.upFlow + this.downFlow;
    }

    @Override
    public void write(DataOutput dataOutput) throws