YARN HA 测试Job
YARN HA 测试Job
序号
任务名称
任务一
准备MapReduce输入文件
任务二
将输入文件上传到HDFS
任务三
运行MapReduce程序测试Job
任务一 准备MapReduce输入文件
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – hadoop --从root用户切换为hadoop身份
[hadoop@master ~]$
创建新文件：wc.input 作为 MapReduce输入文件，输入以下内容，然后保存文件
[hadoop@master ~]$ vi wc.input
hadoop mapreduce hive spark
hbase spack storm
sqoop hadoop hive
spark hadoop
查看输入的文件内容
[hadoop@master ~]$ more wc.input
任务二 将输入文件上传到HDFS
在master主节点，使用 root 用户登录，然后切换为 hadoop用户
[root@master ~]# su – h
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】
在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop Distributed File System）和 YARN（Yet Another Resource Negotiator）的高可用性。本教程将重点讲解如何部署 Hadoop HA 集群以及如何在 YARN HA 环境下测试 MapReduce 作业。
**一、Hadoop HA 部署**
Hadoop HA 需要两个 NameNode 和两个 ResourceManager，分别处于活动（Active）和备用（Standby）状态。当活动节点发生故障时，备用节点能够无缝接管，保证服务不间断。在配置过程中，需要注意以下几个关键点：
1. **设置 ZooKeeper**：ZooKeeper 用于协调集群中的节点状态，确保在 NameNode 或 ResourceManager 之间进行安全的故障切换。
2. **配置共享存储**：NameNode 的元数据需要存储在一个共享的、持久化的存储系统中，如 NFS。
3. **配置节点间通信**：确保所有节点间的网络通信畅通，包括心跳检测和数据传输。
4. **配置 HDFS HA**：设置两个 NameNode，并在每个节点上配置相应的角色和参数。
5. **配置 YARN HA**：同样设置两个 ResourceManager，并配置相应的参数，确保能够进行资源调度的高可用。
**二、YARN HA 测试Job**
为了验证 YARN HA 的有效性，我们将通过以下步骤执行一个简单的 MapReduce 作业：
**任务一：准备 MapReduce 输入文件**
1. 使用 root 用户登录 master 节点，然后切换到 hadoop 用户，这样可以获得执行 Hadoop 命令的权限。
2. 创建名为 `wc.input` 的文件，包含一系列单词，例如 "hadoop mapreduce hive spark" 等，这是 MapReduce 作业的输入数据。
3. 检查文件内容，确保数据已正确录入。
**任务二：将输入文件上传到 HDFS**
1. 使用 hadoop 用户，创建 HDFS 目录 `/input`，这是 MapReduce 作业的输入路径。
2. 使用 `hdfs dfs -put` 命令将本地的 `wc.input` 文件上传到 `/input` 目录。
3. 验证文件是否已成功上传，可以通过 `hdfs dfs -ls` 命令查看。
**任务三：运行 MapReduce 程序测试 Job**
1. 运行 Hadoop 自带的 `wordcount` 示例，这个示例程序会统计输入文件中每个单词的出现次数。
2. 关注 YARN 的运行情况，特别是 ResourceManager 的状态。在 Job 运行过程中，故意停止当前活动的 ResourceManager，观察备用节点是否能自动接管并继续运行 Job。
3. 由于 `/output` 目录会在 Job 运行时自动生成，所以不需要预先创建。
4. Job 完成后，检查 `/output` 目录下的结果文件 `part-r-00000`，以确认 MapReduce 作业的正确性。
**总结**
通过以上步骤，我们可以验证在 Hadoop HA 集群和 YARN HA 环境下，即使遇到ResourceManager 故障，MapReduce 作业也能正常执行，确保了系统的高可用性和数据处理的稳定性。这体现了 Hadoop 平台在大数据处理场景下的可靠性，对于企业级的大规模数据处理是至关重要的。
