初心江湖路的博客

一、Yarn架构图 图片来自官网 二、Yarn架构的主要组件 1、ResourceManager 这是一个全局性组件，负责整个集群资源管理。其两个主要的组件分别为Scheduler（调度器）和 ApplicationsManager（应用管理器）。 Scheduler 调度器Scheduler是支持可插拔的，用于根据不同的队列、应用等来划分集群资源，如 CapacityScheduler 按照容...

根据碰到的几个问题进行描述 1、设置了队列可以使用最大集群资源，但是当用户占用该队列已配置的资源大小时，其他任务再提交的时候一直处于ACCEPTED状态。 查看以下两个参数： yarn.scheduler.capacity..capacity 表示该队列可使用的资源容量大小百分比 注：所有队列配置的资源百分比相加一定等于100 yarn.scheduler.capacity..maximum-ca...

yarn application 1、-list 列出所有 application 信息 示例：yarn application -list 2、-appStates 跟 -list 一起使用，用来筛选不同状态的 application，多个用",“分隔； 所有状态：ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINIS...