15_尚硅谷大数据之MapReduce入门1

MapReduce 是一种分布式计算模型，由Google提出，主要用于大规模数据集的并行处理。它简化了程序员编写处理海量数据的程序的方式，使得开发者无需关注底层的分布式存储和计算细节，只需专注于业务逻辑。 1. MapReduce 优缺点 **优点** 1. **易于编程**：MapReduce 的编程模型简单，只需要实现 Map 和 Reduce 两个接口，即可实现分布式计算。对于程序员来说，编写 MapReduce 程序就像编写普通的串行程序一样。 2. **良好的扩展性**：MapReduce 可以通过添加更多计算节点（工作节点）来扩展处理能力，适应数据量的增长。 3. **高容错性**：系统能自动处理节点故障，将任务重新分配到其他节点执行，无需人工干预。 4. **适合离线处理**：MapReduce 适用于处理PB级别的大型数据，尤其适合批量处理和分析任务，例如日志分析、数据挖掘等。 **缺点** 1. **不擅长实时计算**：MapReduce 不支持快速响应查询，无法提供毫秒级别的结果返回，因此不适合需要实时交互的应用场景。 2. **不适应流式计算**：输入数据是静态的，不适合处理动态变化的数据流。 3. **DAG计算效率低**：在多任务依赖的情况下，MapReduce 的性能会因为频繁的磁盘I/O操作而降低。 2. MapReduce 核心思想 MapReduce 的核心思想分为两个主要阶段：Map和Reduce。 1. **Map阶段**：数据被分割成多个小块，然后在不同的工作节点上并行处理。每个Map任务负责处理一块数据，将原始数据转换成键值对的形式。 2. **Reduce阶段**：Map任务的输出会被收集并按照键进行排序，然后传递给Reduce任务。Reduce任务负责聚合相同键的值，产生最终结果。 中间过程还包括分区（Partitioning）和排序（Sorting），这确保了相同键的数据会被传递到同一个Reduce任务，以便进行聚合操作。 3. MapReduce 进程与编程模型 - **MrAppMaster**：作为整个程序的调度中心，协调各个任务的执行。 - **MapTask**：执行Map阶段的数据处理，包括读取数据、处理数据、生成中间键值对，并将结果分发到相应的Reduce任务。 - **ReduceTask**：负责Reduce阶段，接收MapTask的输出，对数据进行聚合处理，生成最终结果。 用户需编写Mapper、Reducer和Driver三个部分的代码： - **Mapper**：实现Map函数，处理输入数据，生成中间键值对。 - **Reducer**：实现Reduce函数，对相同键的值进行聚合，产生最终结果。 - **Driver**：配置和提交MapReduce作业，包括设置输入输出路径、创建Job实例、指定Mapper和Reducer类等。 总结来说，MapReduce 是一种强大的大数据处理工具，它简化了分布式编程，但同时也存在局限性，如不适用于实时计算和流式处理。理解其核心思想和运作机制对于开发大规模数据处理应用至关重要。然而，面对复杂的业务逻辑，可能需要结合其他框架，如Spark或Flink，来弥补MapReduce的不足。