Flink集群安装及测试运行

最新推荐文章于 2025-06-05 23:15:17 发布

原创

最新推荐文章于 2025-06-05 23:15:17 发布 · 6.9k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink #实时

本文详细介绍了如何在Linux环境下安装Flink集群，包括选择适合的版本、配置集群、解决启动问题，以及进行Flink测试示例。在安装过程中，遇到了由于jobmanager.rpc.port配置默认为ipv6端口导致的启动失败问题，通过更改为ipv4可用端口解决了这个问题。此外，还分享了Flink测试代码的打包和运行方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载安装包
查看自己的hadoop版本和scala版本, 这里是hadoop 2.6, scala 2.11
http://mirror.bit.edu.cn/apache/flink/flink-1.7.2/flink-1.7.2-bin-scala_2.11.tgz
解压
tar zxvf ./apps/flink-1.7.2-bin-scala_2.11.tgz -C /home/SP-in-BD/mm/installs
安装在mm用户下的installs文件夹
修改flink配置文件：
vi ./conf/flink-conf.yaml


# 配置java环境
env.java.home: /usr/java/jdk1.8.0_161
# 配置主节点主机名
jobmanager.rpc.address: cdh4

# The RPC port where the JobManager is reachable.
jobmanager.rpc.port: 6124

# The heap size for the JobManager JVM
jobmanager.heap.size: 1024m

# The heap size for the TaskManager JVM
taskmanager.heap.size: 4096m

# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
# 你希望每台机器能并行运行多少个slot, 机器上一个核可以运行一个slot
taskmanager.numberOfTaskSlots: 4

# The parallelism used for programs that did not specify and other parallelism.
# 整个集群最大可以的并行度, slave节点数 * 节点CPU核数
parallelism.default: 12

修改 conf/masters 文件
vi ./conf/masters

cdh4

修改 ./conf/slaves 文件

cdh3
cdh5

复制到各个节点
把解压并配置好的文件夹, 复制到各个节点上
scp -r flink-1.7.2 cdh3:/
主节点为cdh4，taskexecutor 为cdh3和cdh5
启动集群
只需在主节点上运行即可，我这里是cdh4
/flink-1.7.2/bin/start-cluster.sh （standalone方式启动）
前端展示
http://cdh4:8082

7、遇到的问题
无法启动
查看日志 vi flink-zhengss-standalonesession-6-cdh3.log

    2019-08-15 10:23:53,612 INFO  org.apache.flink.runtime.entrypoint.ClusterEntrypoint         - Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.net.BindException: Could not start actor system on any port in port range 6124
            at org.apache.flink.runtime.clusterframework.BootstrapTools.startActorSystem(BootstrapTools.java:181)
            at org.apache.flink.runtime.clusterframework.BootstrapTools.startActorSystem(BootstrapTools.java:121)
            at org.apache.flink.runtime.clu