spark on yarn 读取hdfs拒绝连接AnnotatedConnectException: 拒绝连接: localhost/127.0.0.1:53056

最新推荐文章于 2024-04-07 10:54:14 发布

一位不愿透露姓名的肥宅

最新推荐文章于 2024-04-07 10:54:14 发布

阅读量899

点赞数

CC 4.0 BY-SA版权

分类专栏： bug 文章标签： spark 大数据 yarn

本文链接：https://blog.csdn.net/qq_65303368/article/details/129159491

博客讲述了在Spark运行于YARN上时遇到读取HDFS出现拒绝连接的问题。作者分析了可能由于服务器找不到Driver导致，并提出在服务器host配置中添加Driver的映射作为解决办法。由于环境限制（云服务器，不同局域网，无公网IP），作者选择了使用命令行提交代替远程提交。欢迎有更好解决方案的读者留言分享。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark on yarn 读取hdfs拒绝连接

代码:

package dsy.read_hdfs

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}

object read_hdfs {
  def main(args: Array[String]): Unit = {
    System.setProperty("HADOOP_USER_NAME", "root");
    System.setProperty("user.name", "root");
    val value = this.getClass.getClassLoader.loadClass("org.apache.spark.scheduler.cluster.YarnClusterManager")

    val spark: SparkSession = {
      val conf: SparkConf = new SparkConf()
        // 设置yarn-client模式提交
        .setMaster("yarn")
        //App名字
        .set("spark.app.name", this.getClass.getSimpleName.stripSuffix("$"))
        // 设置resourcemanager的ip
        .set("yarn.resourcemanager.hostname", "dsy")
        // 设置executor的个数
        .set("spark.executor.instance", "2")
        // 设置e