Spark应用提交流程详解（面试必问）

问题：ClusterManager、Worker、Application、Driver、 Executor、Job、Stage、Task分别是什么？

架构层面：ClusterManager、Worker

程序层面：Application、Driver、Executor

运行层面：Job、Stage、Task

Cluster Manager【统称】：分布式资源管理的主节点分布式资源管理平台的主节点

Standalone：Master

YARN：ResourceManager

管理节点：功能：负责管理从节点、接受客户端请求、资源管理 和任务调度

Worker[统称]：分布式资源管理的从节点分布式资源管理平台的从节点

Standalone：Worker

YARN：NodeManager

工作节点：功能：利用自己节点的资源去运行主节点分配的计算 进程

Application ：Spark的应用程序

开发者基于Spark的API开发的程序就是一个Spark程序

在集群模式中：任何一个Spark程序都会包含一个D