Map Reduce

Map Reduce 编程模型和算法实现 MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合，输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。 MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用 MapReduce 架构可以使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源。 MapReduce 编程模型的原理是：利用一个输入 key/value pair 集合来产生一个输出的 key/value pair 集合。MapReduce 库的用户用两个函数表达这个计算：Map 和 Reduce。用户自定义的 Map 函数接受一个输入的 key/value pair 值，然后产生一个中间 key/value pair 值的集合。MapReduce 库把所有具有相同中间 key 值 I 的中间 value 值集合在一起后传递给 Reduce 函数。 用户自定义的 Reduce 函数接受一个中间 key 的值 I 和相关的一个 value 值的集合。Reduce 函数合并这些 value 值，形成一个较小的 value 值的集合。一般的，每次 Reduce 函数调用只产生 0 或 1 个输出值。 MapReduce 模型的主要贡献是通过简单的接口来实现自动的并行化和大规模的分布式计算，通过使用 MapReduce 模型接口实现在大量普通的 PC 机上高性能计算。 MapReduce 的主要应用场景包括： * 处理海量的原始数据，例如文档抓取、Web 请求日志等 * 计算处理各种类型的衍生数据，例如倒排索引、Web 文档的图结构的各种表示形势等 * 在大量普通的 PC 机上实现高性能计算 * 在Google 的集群上，每天都有 1000 多个 MapReduce 程序在执行 MapReduce 模型的优点包括： * 能够处理超大数据集 * 能够实现自动的并行化和分布式计算 * 能够在大量普通的 PC 机上实现高性能计算 * 能够使那些没有并行计算和分布式处理系统开发经验的程序员有效利用分布式系统的丰富资源 MapReduce 模型的缺点包括： * 需要大量的代码处理 * 需要解决并行计算、容错、数据分布、负载均衡等复杂的问题 MapReduce 模型是一种非常有用的编程模型和算法实现，能够帮助程序员更好地处理超大数据集，并实现自动的并行化和分布式计算。