spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher

原创 已于 2023-02-22 11:30:58 修改 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #intellij-idea #yarn

于 2023-02-22 11:29:34 首次发布
当使用IntelliJ IDEA尝试远程提交Spark应用到YARN时，遇到找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher的错误。通过在SparkConf中设置'spark.yarn.jars'属性，指定jar包名称和依赖路径，成功解决了这个问题。尽管后续仍有其他错误，但主要的类加载问题已得到解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • spark on yarn idea远程提交报错，查看8088日志发现

  • 设置sparkconf的"spark.yarn.jars"属性后解决第一个为你的jar包名称，第二个为spark依赖的jar包目录

.set("spark.yarn.jars", "C:\\Users\\han\\Desktop\\test\\dns_project\\target\\dns_project.jar,hdfs://dsy:9000/spark-yarn/jars/*.jar")

重新运行后成功解决，虽然报了其他错... 但总算找到了类

org.apache.spark.SparkException: Can only zip RDDs with same number of elements in each partition
CSDN 精品推荐
08-11 383
在 `Spark` 中将两个RDD使用 `zip` 函数进行拉链时出现如下问题 `org.apache.spark.SparkException: Can only zip RDDs with same number of elements in each partition`
Spark代码提交到Yarn报错：java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8
大数据跟我学i
03-19 1707
保存信息： ERROR Client: Application diagnostics message: User class threw exception: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$sp at com.czxy.WordCount_Spark$.main(WordCount_Spark.scala:29)
spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置
Gamedev
02-09 4734
【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher Application failed 2 times due to AM Containe...
spark standalone启动报错 Error: Could not find or load main class org.apache.spark.deploy.worker.Worker
日常学习与专研的记录
03-26 636
解决报错：Error: Could not find or load main class org.apache.spark.deploy.worker.Worker node10: failed to launch: nice -n 0 /xxx/bin/spark-class org.apache.spark.deploy.worke
Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
微电子学与固体电子学-俞驰
07-22 3757
①查http://desktop:8088/cluster/scheduler 中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说 ② cd $SPARK_HOME_HOME grep -rspark.yarn.jars conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar hdfs dfs -mkdir hdfs://Desktop:9000/spark hdfs dfs .
Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
南风知我意
12-26 2128
Spark on Yarn出现Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
weixin_51579912的博客
04-28 779
spark 错误: 找不到或无法加载主类 com.atguigu.wc.BatchWordCount
Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster
热门推荐
Alex_Sheng_Sea的博客
01-29 1万+
今天搭建了一个sparkOnYarn的集群，我想测试一下集群是否正常，使用spark自带蒙特卡罗求圆周率的算法包，但是执行报错 执行命令： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn --deploy-mode cluster \ --executor-memory 1G \ --...
spark：一些bug的解决方案 （IDEA & JAVA）
weixin_45730125的博客
07-06 703
spark（java）一些bug的解决方案
spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ $SPARK_HOME/examples/jars/spark-examples_*.jar 10 Error: Unable to initialize main class org.apache.spark.deploy.SparkSubmit Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
最新发布
08-02
我们正在解决的是Spark提交任务时出现的`java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream`错误。 根据引用[1][2][3][4]可知，该错误通常是由于缺少Hadoop相关的类库导致的。具体来说，`...
在华为云平台运行scala编写的spark任务报错2025-06-26 22:35:16,066 | ERROR | [Driver] | User class threw exception: org.apache.spark.SparkException: Job 91 cancelled because SparkContext was shut down | org.apache.spark.deploy.yarn.ApplicationMaster.logError(Logging.scala:94) org.apache.spark.SparkException: Job 91 cancelled because SparkContext was shut down， 代码是一个df.mapPartitions(partition => { partition.map(itemMap => { })})
06-28
cat /usr/local/spark/logs/spark-hadoop-org.apache.spark.deploy.Driver.log ``` - 如果日志显示内存错误（如`java.lang.OutOfMemoryError`），优先调整资源[^3]。 2. **优化资源配置**： - **增加内存**：在...
错误：找不到或加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher
2301_80252580的博客
03-29 780
最后配置/usr/local/spark/conf/spark-defaults.conf 文件，配置语句为： spark.yarn.jars hdfs://master:9000/user/hadoop/jars/*.jar，其中 master为你的主机名，/user/hadoop/jars 为 jar 包在 HDFS 上的位置。解决办法：配置 spark 中的 spark-defaults.cof中的 spark.yarn.jars，配置 yarn 模式下 spark 运行的jar 包。
Scala调用Spark工具包出现错误: 找不到或无法加载主类
我在深圳的这些日子的博客
09-01 4946
使用IDEA编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的办法。 注：Scala版本为2.11.12；Java版本为1.8；Spark版本为2.1.0；系统是MAC OS。 首先检查Scala的配置“File -> Project Structure…” 1）检查了"Platform Settings "项目
Scala调用Spark工具包出现错误: 找不到或无法加载主类（eclipse篇）
qq_36249132的博客
08-08 892
idea问题请参考这篇文章 https://blog.csdn.net/llh_1178/article/details/88744738 使用eclipse编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。 如图： 是因为Scala版本问题导致（我的是这个问题） 再次运行，成功 ...
yarn 错误 找不到或无法加载主类 install
qq_43203949的博客
07-18 2438
使用yarnpkg代替。
配置Scala环境出现：找不到或无法加载主类 scala.tools.nsc.MainGenericRunner
coderlaw's study
06-05 6318
出错情况： 在cmd中运行scala提示错误：找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 出错原因： scala是直接拷贝的其他电脑上的scala,放在Program File文件夹里。scala安装目录出现了空格。 问题解决： 讲Scala 移动到没有空格的文件夹下。重新设置SCALA_HOME。文件解决。
could not find or load main class
工作了一年的牛马，努力更新，方便自己能够快速找到已经出现过的错误并解决
12-26 4060
could not find or load main class 如果你也遇到了这个报错，切是在你本地开发程序的时候没有报错，打包给现场的时候报错了，不要怀疑，就是现场部署的有问题 首先排查一下，结构目录是否正确，如果是用脚本启动，查看脚本对应的classpath路径是否和你部署的路径一致。第二，就是看你的jar包名称是否和脚本里面的程序名称或者启动命令的名称一致，基本上就这两个能排除大部分的错误了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值