Flink HA高可用集群搭建（Standalone Cluster）

最新推荐文章于 2025-06-05 23:15:17 发布
置顶 最新推荐文章于 2025-06-05 23:15:17 发布
阅读量4.1k 收藏 10
点赞数 3
CC 4.0 BY-SA版权
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1021979964/article/details/87859592
本文详细介绍了如何搭建Flink的高可用（HA）集群，包括下载Flink 1.7.2，配置masters和slaves文件，修改flink-conf.yaml以使用Zookeeper进行集群管理，设置Zookeeper配置，拷贝配置到所有节点，并启动集群。最后通过访问Master节点的8082端口验证集群搭建成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink HA高可用集群搭建（Standalone Cluster）

 

1.根据集群中hadoop的版本和scala的版本对应下载Flink，该文章下载的是Flink1.7.2版本。

下载地址  https://flink.apache.org/downloads.html

 

2.安装解压Flink到/home/kfs目录下（Master举例）

    tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.12.tgz -C /home/kfs/

 

3.来到flink的conf目录下

    cd

    ls

    cd flink-1.7.2/conf/

    ls

 

4.修改masters文件（masters文件对应着主节点，其中为了ha高可用性，使用两台机器做主备因为安装了spark，如果端口为8081可以能会有冲突，所以改为8082）

    vi masters

最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink大数据处理：构建Standalone-HA高可用集群模式
PixelInk的博客
09-17 226
Flink Standalone-HA集群模式是一种分布式部署架构，可以确保Flink JobManager的高可用性。同时，提供了一个简单的示例代码，展示了如何提交Flink作业到Standalone-HA集群。本文将介绍如何配置和部署Flink Standalone-HA高可用集群，并提供相应的源代码示例。此时，Flink集群将以Standalone-HA模式运行，并使用ZooKeeper进行高可用性管理。首先，从Apache Flink官方网站下载最新版本的Flink，并按照官方文档的指引进行安装。
带你分分钟完成 Flink-HA集群搭建（standalone&&Yarn）
Mr_Yang888的博客
07-09 795
前言 大家好。我是那个那个人见人爱的DJ丶小哪吒。今天我要为大家分享的是Flink集群的搭建。小编写这篇文章目的是为了以后方便自己搭建Flink集群，也方便正在初学flink的同学搭建集群。方便自己也方便大家。希望路过的朋友能给小编一些支持。小编也会继续更新自己的博客。为大家分享更多的知识。 码字不易，先赞再看，养成习惯~~~ 1、Flink 集群搭建 Flink 支持多种安装模式。 local（ 本地） ——单机模式， 一般不使用 standalone ——独立模式， Flink 自带集群，开发测.
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
flink集群搭建
qq_19520877的博客
01-04 2109
1.1 基础环境 jdk1.8及以上【配置JAVA_HOME环境变量】 ssh免密码登录【集群内节点之间免密登录】（教程：https://blog.csdn.net/qq_19520877/article/details/119490098） 1.2 安装包下载 https://archive.apache.org/dist/flink/flink-1.7.2/flink-1.7.2-bin-hadoop27-scala_2.11.tgz 1.3 集群规划 linux9527 JobManage
Flink 高可用集群部署指南
最新发布
wendao76的专栏
06-05 1582
本文详细介绍了高可用Flink集群的部署方案。架构采用3节点ZooKeeper集群实现JobManager高可用，搭配3个TaskManager节点。环境准备包括主机配置、SSH免密登录和Java安装。部署过程涵盖ZooKeeper集群安装、Flink配置（包括HA设置、状态后端和资源分配）以及集群启动。文档还提供了高可用验证方法、运维管理脚本和常见问题解决方案，并给出安全增强建议。该方案确保集群具备故障恢复能力，支持检查点/保存点机制，保证作业持续运行。建议部署完成后进行完整故障转移测试。
Flink_Flink 集群搭建
迎难而上
05-22 3132
本文主要讲解下 flink 如何搭建 ： 单节点集群 standalone 集群 yarn session 集群 最近学习了下 Flink ，看了许多天的书，一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。 单节点集群 单节点集群，其实不难。主要我是虚拟机器，内存很小，所以我们要调整 task-manager 的内存参数。 task-manager 的内存分配管理 与 参数配置 是一个大问题，我专门写了一篇文章 ： ...
Flink standalone集群HA高可用搭建
bao_since的博客
05-15 3235
如果没有dfs，需要配置dfs路径的位置也可以用本地file路径替换,倒也能启动集群和作业，但不要这样用，在作业容错和重启时会出现问题，比如找不到存在其他机器磁盘上的状态。 HA 配置为 3masters 3slavers java1.8->scala2.12->zookeeper3.4.14->flink1.8.0_2.12 1.配置集群间ssh免密登陆 生成ss...
Flink实战——集群搭建
m0_46332441的博客
04-09 3628
下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。，本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。，则在其余两台节点服务器（hadoop01和hadoop02）上。上，其中，目录位置可以自定义，本文上传的目录位置为。
flink集群部署之Standalone模式+HA高可用部署
可乐
09-30 592
1.下载flink 链接：https://flink.apache.org/downloads.html 2.安装 1）解压缩 tar -zxvf flink-1.7.2-bin-hadoop27-scala _2.11.tgz 3.代码编写 object StreamWordCount { def main(args: Array[String]): Unit = { //从外部命令获取参数 val params: ParameterTool = ParameterTool.f
【Flink原理和应用】： Flink Standalone模式的高可用性搭建
hxcaifly的博客
02-24 1622
1. 前言 Flink的standalone模式的高可用部署，需要依赖于ZooKeeper和Hadoop的hdfs。本次集群部署选用的三台服务器ip为： 10.35.108.81 10.35.108.82 10.35.108.83 前期准备工作： ZooKeeper的部署工作完成：三台服务器集群，其中81是leader节点。82和83是follower节点。 HDFS安装完成：83节点开启的N...
Flink 集群搭建
weixin_44393345的博客
06-02 531
Flink 集群搭建Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 3.1Standalone 模式安装 我们对 standalone 模式的 Flink 集群进行安装，准备三台虚拟机，其中一台作为 JobManager（hadoop-senior01），另外两台作为 TaskManager（hadoop-se
Flink集群搭建
believe2017slwx的博客
04-11 1081
下载根据hadoop版本下载对应的flink版本鉴于使用的是hadoop2.4.x版本，此处使用最新版本flink-1.4.2。下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.4.2/flink-1.4.2-src.tgzlinux环境准备主机artemis-02artemis-03artemis-04安装位置/home...
Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建
03-04
### Flink 本地模式、Standalone 模式以及 Standalone HA 搭建指南 #### 一、Flink 本地模式搭建 **简介**: Flink 的本地模式允许你在单台机器上运行 Flink 程序，适用于开发和测试环境。它不需要集群配置，直接...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值