mapreduce-MR执行流程（IO）_mr流程例子-CSDN博客

本文链接：https://blog.csdn.net/Brucexyao/article/details/118114955

本文详细解析了MapReduce程序的执行流程，包括MRAppMaster的调度、mapTask与reduceTask的数据处理，以及五次IO的具体过程：1) MRAppMaster计算map task数量并启动；2) map阶段的输入读取、切片、数据处理与溢写；3)溢出文件的合并与排序；4) reduce task复制map阶段的数据；5) reduce阶段的数据合并、排序与逻辑运算。整个流程确保数据的分区与排序，便于高效处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce——MR的执行流程（五次IO）

一个完整的mapreduce程序在分布式运行时有三类实例进程：

MRAppMaster：负责整个程序的过程调度及状态协调
mapTask：负责map阶段的整个数据处理流程

（maptask的数量是不能设置的，reducetask可以自己设置job.setNumReduceTasks(5);）
ReduceTask：负责reduce阶段的整个数据处理流程

对于MR的执行流程，我是通过其过程中的五次IO来记忆的，详细解释如下(最后有流程详图)：

第一次io

1、在一个MR程序的启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job作业的描述信息，计算出需要的map task的实际数量，紧接着向集群申请服务器启动相应数量的map task进程。

1.1（读文件流程）从map task进程开始读取文件，是通过调用客户端指定的FileInputFormat（默认是TextInputFormat）生成一个RecordReader对象，调用RecordReader中的read()方法，然后它会，按行读取block块里面的内容(一次读一行)。

maptask会调用nextkeyvalue()方法，通过getCurrentKey,getCurrentValue得到k,v的键值对数据，返回(key,value)。

1.2（切片流程）通过调用getSplits()方法把输入文件按照一定的标准进行分片，每个输入片是由每个map task进程执行的，其大小是固定的。默认情况下，输入片(inputSplit)和数据块(block)是相同的，如果数据块Block的默认大小是64M,但是现在有俩个输入文件，一个是32M，一个是72M,那么小的文件是一个输入片，大的文件会分为俩个数据块Block，分成俩个输入片。一共生成三个输入片，每个输入