Spark on k8s 源码解析执行流程

已于 2024-07-03 14:50:03 修改
阅读量775 收藏 3
点赞数 7
CC 4.0 BY-SA版权
文章标签： spark kubernetes 大数据
于 2024-07-02 14:37:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lhyandlwl/article/details/139809416

Spark on k8s 源码解析执行流程

1.通过spark-submit脚本提交spark程序
在spark-submit脚本里面执行了SparkSubmit类的main方法
在这里插入图片描述
2.运行SparkSubmit类的main方法，解析spark参数，调用submit方法
在这里插入图片描述
3.在submit方法里调用doRunMain方法，最终调用runMain方法
在这里插入图片描述
4.在runMain方法里面获取mainClass，再去执行start方法
1、准备提交环境
在这里插入图片描述

2、获取类加载器
在这里插入图片描述
3、判断是否是sparkApplication

最低0.47元/天 解锁文章

200万优质内容无限畅学
放学-别走
关注
hadoop组件---spark理论----spark on k8s模式的三种方式全面了解
直到世界的尽头
01-19 5983
我们在之前的文章中 已经了解了 spark支持的模式，其中一种就是 使用k8s进行管理。 hadoop组件—spark----全面了解spark以及与hadoop的区别 是时候考虑让你的 Spark 跑在K8s 上了 spark on k8s的优势–为什么要把Spark部署在k8s上 大数据和云计算一直分属两个不同的领域。大数据主要关注怎么将数据集中起来，挖掘数据的价值；云计算主要关注怎么更高效地...
Spark On K8S
linclaus的博客
03-01 688
部署流程： 下载spark环境包https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz 切换目录至根目录：cd spark-2.4.4-bin-hadoop2.7 builddocker应用程序镜像及push至repo：docker build -t xxx/spark:2.4.4...
Apache Spark on K8s的安全性和性能优化
weixin_30871905的博客
10-19 247
前言 Apache Spark是目前最为流行的大数据计算框架，与Hadoop相比，它是替换MapReduce组件的不二选择，越来越多的企业正在从传统的MapReduce作业调度迁移到Spark上来，Spark的生态圈支持者越来越多，当然它出众的内部API设计，让它也非常容易和现有既成事实的Hadoop组件（YARN/HDFS）集成。 容器技术的兴起，各种分布式的...
Spark on K8s 在vivo大数据平台的混部实战
最新发布
weixin_40204807的博客
06-02 49
作者：vivo 互联网大数据团队- Qin Yehai在离线混部可以提高整体的资源利用率，不过离线Spark任务部署到混部容器集群需要做一定的改造，本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。
【spark sedona k8s】spark(sedona) on kubernetes(k8s) 搭建，使用spark-operator提交任务
m0_53928179的博客
05-29 1689
spark on k8s
spark on k8s
liudongyang123的博客
02-25 2931
spark从2.3之后开始 在包里面有docker 镜像脚本。 本文主要介绍2.x的镜像打包已经在k8s中怎么去部署spark，3.x的目前自己还没有测试成功，目前3.0自己遇到的问题是在k8s启动后，会提示没有权限创建logs目录。 1.到spark官网中下载2.x的spark，我下载的是spark-2.4.8-bin-hadoop2.6 spark下载https://archive.apache.org/dist/spark/2.解压spark-2.4.8-bin-hadoop2.6 3..
Spark On K8s源代码解析
weixin_33762130的博客
09-10 434
resource-managers\pom.xml org.apache.spark.deploy.SparkSubmit.scala org.apache.spark.deploy.k8s.submit.Client.scala org.apache.spark.deploy.k8s.submit.submitsteps.KubernetesDriverSpec.scala org.a...
Spark 源码解析大全（1） 任务的提交
Println_handsome的博客
09-22 493
Spark 源码解析 任务提交 1： 代码提交 ### 我们提交spark任务的步骤为： ### 1）：将IDE中所写的scala/java 代码 打包为一个jar包 ### 2）：将jar 包上传到 服务器 ### 3）: 通过spark-submit 运行 命令” ./spark-subimt --class org.apache.examples --master yarn ./exmples/jars/spark-examples_2.12-3.0.0.jar “ 这样
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1175
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1774
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
Spark on K8S
wuxiaobingandbob的专栏
09-22 738
http://spark.apache.org/docs/latest/cluster-overview.html  
spark-on-k8s-operator：Kubernetes运算符，用于管理Kubernetes上的Apache Spark应用程序的生命周期
02-03
这不是官方支持的Google产品。 社区 加入我们的频道。 查看 。 项目状态 项目状态：测试版 当前API版本： v1beta2 如果您当前使用的v1beta1在舱单的API的版本，请更新他们使用v1beta2通过改变版本apiVersion: "sparkoperator.k8s.io/<version>"到apiVersion: "sparkoperator.k8s.io/v1beta2" 。 您还需要删除previous命名CustomResourceDefinitions版本sparkapplications.sparkoperator.k8s.io和scheduledsparkapplications.sparkoperator.k8s.io ，并用替换它们v1beta2通过安装最新版本的运营商的版本，要么或通过运行kubectl create -f manifest/crds 。 使用Kubernetes Mutating （在Kubernetes 1.9中成为beta版）实现了对Spark Pod的自定义（例如，安装任意卷和设置Pod亲和力）。 如果您使用Hel
Spark on K8s -- statefulset
littlePYR的博客
02-18 1546
我们知道现在已经release的spark版本中，spark on K8s的实现，是将driver和executor作为pod跑在K8s中，但是目前spark已经实现了将executor作为statefulsets跑在K8s中，只不过还处于开发阶段，有一些细节还在完善中。但是博主已经在自己的环境中尝试过了，已经可以成功的运行一个spark application，相信这个功能应该能很快上线。本文这里就针对这个功能的实现做一些介绍。 主要参考链接：[SPARK-36058][K8S]: https://git
spark on k8s demo
qq_35977446的博客
01-10 467
spark on k8s demo
大数据之spark on k8s
lhyandlwl的博客
12-19 7864
大数据之spark on k8s spark on k8s架构解析 1.k8s的优点 k8s是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 1、故障迁移 2、资源调度 3、资源隔离 4、负载均衡 5、跨平台部署 2.k8s集群架构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-itzEKPaJ-1639903124654)(F:\桌面\image.png)] Master Node k8s 集群控制节点，对集群进行调度管理，接受集群外用
Spark 2.2 on K8S Dynamic Resource Allocation
runzhliu大数据/容器日记
06-18 532
文章目录1 Background2 Practice2.1 spark shuffle service2.2 spark groupbytest3 Summary 1 Background 离线计算的 Spark 任务中，会提供「最小副本数」作为离线计算任务的 Executor 数。也就是说，当 Spark Job 最大的资源数就是500个 Executor，这样会导致 task 数量较多的任务一...
Spark与Kubernetes：在K8s上部署Spark
AI天才研究院
02-09 295
1. 背景介绍 随着大数据时代的到来，数据处理和分析的需求越来越高。Apache Spark作为一种快速、通用、可扩展的大数据处理引擎，已经成为了大数据处理领域的重要工具。而Kubernetes作为一种容器编排工具，可以帮助我们更好地管理和部署应用程序。将Spark与Kubernetes结合起来，可以更好地利用资源，提高应用程序的可靠性和可扩展性。
Flink On K8S终极实现方案
微信搜：import_bigdata，大数据领域硬核原创作者
12-15 1398
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！Flink作为新一代的大数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值