YARN入门指南

### YARN 入门指南 #### 1. YARN 概念与组件 YARN 由负责资源调度和监控的框架以及在集群中执行特定应用逻辑的应用程序组成。下面详细介绍 YARN 框架组件。 ##### 1.1 YARN 框架 YARN 框架的主要功能是在集群中调度资源（即 YARN 中的容器）。集群中的应用程序与 YARN 框架通信，请求分配特定应用的容器，YARN 框架评估这些请求并尝试满足它们。调度过程还包括监控正在执行的容器，原因有二：一是容器完成后，调度器可利用释放的资源调度更多工作；二是每个容器都有允许使用的系统资源合同，若容器超出限制，调度器可终止容器，避免影响其他应用。 YARN 框架设计得尽可能简单，它不关心运行的应用类型，也不保留集群上执行的历史信息，这使得 YARN 能超越 MapReduce 的扩展级别。 YARN 框架有两个主要组件： - **ResourceManager**：整个 Hadoop 集群只有一个 ResourceManager（RM），它是 YARN 的主进程，负责仲裁 Hadoop 集群上的资源。它响应客户端创建容器的请求，调度器根据特定的多租户规则确定何时何地创建容器。调度器部分是可插拔的，可根据环境选择最合适的调度器。容器的实际创建委托给 NodeManager。 - **NodeManager**：是运行在集群每个节点上的从进程，负责创建、监控和终止容器。它处理来自 ResourceManager 和 ApplicationMaster 创建容器的请求，并向 ResourceManager 报告容器状态，ResourceManager 利用这些状态信息为新的容器请求做出调度决策。 在非高可用（HA）模式下，只有一个 ResourceManager 实例。 MapReduce 1 和 YARN 的对比如下： | 能力 | MapReduce 1 | YARN | | ---- | ---- | ---- | | 版本支持 | 集群一次只能支持一个版本的 MapReduce | 可以在同一集群同时运行不同版本的 MapReduce | | 扩展性 | 扩展性有限 | 目标是扩展到 10000 个节点，但超过此数量 ResourceManager 可能成为瓶颈 | ##### 1.2 YARN 应用程序 YARN 应用程序在 Hadoop 上实现特定功能，例如 MapReduce、Hoya（允许在单个集群上运行多个 HBase 实例）和 storm - yarn（允许 Storm 在 Hadoop 集群内运行）。 YARN 应用程序包含三个组件： - **客户端**：启动新的 YARN 应用程序时，YARN 客户端与 ResourceManager 通信，创建新的 YARN ApplicationMaster 实例，并告知 ResourceManager ApplicationMaster 的物理资源需求。 - **ApplicationMaster**：是 YARN 应用程序的主进程，不执行特定应用工作，而是负责管理特定应用的容器。它向 ResourceManager 请求创建容器，并与 NodeManager 协作实际创建容器。同时，它要指定每个容器的资源需求，包括在哪个主机上启动容器以及容器的内存和 CPU 需求。此外，它还负责应用程序的特定容错行为，根据容器失败的状态消息决定是否采取行动。 - **容器**：是由 NodeManager 代表 ApplicationMaster 创建的特定应用进程，ApplicationMaster 本身也是一个由 ResourceManager 创建的容器。容器可以是任意进程，如 Linux 命令（如 awk）、Python 应用程序等。 以下是 YARN 应用程序典型交互的 mermaid 流程图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(ResourceManager):::process -->|创建请求| B(YARN 客户端):::process B -->|创建 ApplicationMaster 实例| A A -->|分配资源| C(ApplicationMaster):::process C -->|请求创建容器| A A -->|指令| D(NodeManager):::p ```