6、云环境下的数据处理与事务管理策略-CSDN博客

本文链接：https://blog.csdn.net/x8y9z0/article/details/149364913

云环境下的数据处理与事务管理策略

1. MapReduce数据分区以减少数据传输

MapReduce是一种流行的大数据处理编程模型，由Google提出，因其编程简单和能自动管理集群并行执行而被广泛应用。它将计算分为map和reduce两个主要阶段，中间有一个shuffle阶段，用于对map阶段产生的数据进行排序、分区并传输到执行reduce阶段的机器。在shuffle阶段减少数据传输非常重要，因为这可以增加reduce任务的数据局部性，从而降低作业执行的开销。

然而，现有的优化方法受限于中间键值对在map输出中的分布。为了解决这个问题，提出了MR - Part技术，其主要步骤如下：
1. 工作负载特征化 ：
- 注入监控组件到MapReduce框架中，监控map任务的执行，捕获输入元组和中间键之间的关系。
- 对于每个map任务，监控组件生成元数据文件。当加载新的输入块时，创建新的元数据文件并写入块信息，启动记录计数器。每次读取输入对时，计数器加1。如果产生中间键k，则生成对(k, rc)。处理完输入块后，按键分组所有键 - 计数器对，并为每个键存储形式为⟨k, {rc1, …, rcn}⟩的条目。
- 合并不同元数据文件的信息，为每个输入文件生成超图。超图的顶点表示输入元组，超边表示在作业中产生相同中间键的元组。

Algorithm 1. Metadata combination
Data: F : Input ﬁle; W: Set of jobs composing the workload
Result: H = (HV, HE