大数据学习Spark——Standalone模式（高可用配置）

最新推荐文章于 2024-05-21 21:41:07 发布

Caron_xcb

最新推荐文章于 2024-05-21 21:41:07 发布

阅读量347

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark

caron

本文链接：https://blog.csdn.net/qq_42502354/article/details/106524196

Spark 专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了如何通过配置多个Master节点解决Spark集群的单点故障问题，实现高可用性。利用Zookeeper进行集群规划，包括停止集群、启动Zookeeper、修改配置文件、分发配置、启动集群及Master节点，确保在主Master故障时备用节点能无缝接管，维持作业执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置

集群规划

在这里插入图片描述

1) 停止集群

 sbin/stop-all.sh

2) 启动Zookeeper

 zk start

3) 修改spark-env.sh文件添加如下配置

注释如下内容：

#SPARK_MASTER_HOST=hadoop101
#SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8989

添加如下内容:

 export SPARK_DAEMON_JAVA_OPTS="
 -Dspark.deploy.recoveryMode=ZOOKEEPER 
 -Dspark.deploy.zookeeper.url=hadoop101,hadoop102,hadoop103
 -Dspark.deploy.zookeeper.dir=/spark"

4) 分发配置文件

 xsync conf/

5) 启动集群

 sbin/start-all.sh

6) 启动linux2的单独Master节点，此时linux2节点Master状态处于备用状态

 sbin/start-master.sh

7) 提交应用到高可用集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077,hadoop102:7077 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-2.4.5.jar \
10

8) 停止linux1的Master资源监控进程
在这里插入图片描述
9) 查看linux2的Master 资源监控Web UI，稍等一段时间后，linux2节点的Master状态提升为活动状态
http://hadoop102:8989