YARN

YARN 是 分布式资源管理系统 架构图 a.png #组件组成: Client, ResourceManager, ApplicationMaster, NodeManager, Container #各组件描述: Client: 负责提交应用程序 ResourceManager: 全局的资源管理器, 整个集群只有一个, 负责集群资源的统一管理和调度分配; The ResourceManager has two main components: Scheduler and ApplicationsManager. 1、调度器：调度器根据容量、队列等限制条件(如每个队列分配一定的资源，最多 YARN（Yet Another Resource Negotiator）是Apache Hadoop的一个核心组件，主要负责集群资源的管理和调度。YARN架构包括四个主要组件：Client、ResourceManager、ApplicationMaster和NodeManager，以及资源抽象概念——Container。 1. Client：客户端是用户与YARN交互的入口，它负责提交应用程序到集群。客户端将应用程序的相关数据（如JAR包、配置参数等）上传到HDFS的指定位置，然后向ResourceManager发起应用程序的启动请求。 2. ResourceManager：作为全局的资源管理器，ResourceManager在整个集群中独一无二，其职责是统一管理和调度集群的所有资源。ResourceManager主要由两部分组成：Scheduler和ApplicationsManager。 - 调度器：调度器是资源分配的核心，根据集群的容量、队列限制等因素进行资源分配。例如，它可以将资源按比例分配给不同的队列，并限制每个队列可以运行的最大任务数量。调度器不涉及应用程序的具体执行，而是以“资源容器”（Container）的形式分配资源，Container封装了内存、CPU、磁盘和网络等资源，确保任务运行时的资源限制。 - 应用程序管理器：负责管理所有应用程序的生命周期，包括接收客户端请求、启动ApplicationMaster、监控ApplicationMaster状态并处理失败情况。它还负责与调度器协商资源分配。 3. ApplicationMaster：每个应用程序都有一个对应的ApplicationMaster，它是应用程序在YARN上的运行实例。它的主要任务包括数据切分、向ResourceManager申请和分配资源、监控任务执行和处理容错。ApplicationMaster通过与ResourceManager的交互来获取Container，然后指示NodeManager启动任务。 4. NodeManager：每个节点上都运行着一个NodeManager，它管理着本地节点的资源和任务。NodeManager执行ResourceManager和ApplicationMaster的指令，如启动或停止Container，同时它也会向ResourceManager汇报节点状态。 5. Container：Container是YARN中的资源抽象，代表了一个计算单元，封装了节点上的内存、CPU、磁盘和网络等资源。当ApplicationMaster需要运行任务时，它会向ResourceManager申请Container，ResourceManager根据调度策略分配Container，然后由NodeManager在分配到的节点上启动Container并执行任务。 YARN的工作流程如下： 1. 客户端提交应用程序到ResourceManager。 2. ResourceManager将应用添加到队列等待资源分配。 3. 当资源充足时，ResourceManager为应用分配第一个Container并启动ApplicationMaster。 4. ApplicationMaster向ResourceManager注册，然后进行数据切分并申请运行任务所需的Container。 5. ApplicationMaster通过RPC协议持续向ResourceManager申请资源，指示NodeManager创建并启动任务。 6. ApplicationMaster监控任务执行，进行容错处理，直到所有任务完成，然后向ResourceManager注销自身。 YARN的可插拔调度器特性使得用户可以根据需求选择不同的调度策略，如公平调度器（Fair Scheduler）和容量调度器（Capacity Scheduler）。这种设计提高了系统的灵活性和资源利用率，使得Hadoop更适合大数据处理的多样化需求。