Hadoop系列之-4、MapReduce分布式计算

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

大数据系列文章目录

之前详细讲解了，Zookeeper和HDFS，从下面开始来继续Hadoop系列的另外一个组件，MapReduce。

MapReduce计算模型介绍

理解MapReduce思想

MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“ 分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。

Map负责“分” ，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。

Reduce负责“合” ，即对map阶段的结果进行全局汇总。

这两个阶段合起来正是MapReduce思想的体现。