flink在centos7单机安装测试

本文详细记录了在CentOS7.8环境下,安装Apache Flink 1.11.6的过程,包括检查JDK版本、解压安装包、启动与停止Flink服务,并通过jps验证TaskManagerRunner和StandaloneSessionClusterEntrypoint进程。在遇到TaskManagerRunner未启动的问题后,通过手动杀死进程并重新启动成功解决。最后,运行Flink自带的WordCount样例并访问Web UI确认服务正常运行,验证安装完成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

系统环境:CentOS7.8

flink版本:下载和Scala版本对应的
在这里插入图片描述

flink官方下载地址:https://flink.apache.org/downloads.html

查看jdk

[root@localhost bin]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

安装:

解压到指定文件夹

[root@localhost tools]# tar zxvf flink-1.11.6-bin-scala_2.12.tgz -C /root/training/

到安装目录的文件夹下:

[root@localhost ]# cd /root/training/flink-1.11.6/

启动flink服务:

[root@localhost flink-1.11.6]# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.
Starting taskexecutor daemon on host localhost.

jps查看进程:

[root@localhost flink-1.11.6]# jps
7926 TaskManagerRunner
8023 Jps
7614 StandaloneSessionClusterEntrypoint

TaskManagerRunnerStandaloneSessionClusterEntrypoint启动才算安装成功;

开始我的TaskManagerRunner没启动,网上找了好多方法都没解决,最后解决办法:

  1. 停止flink:
[root@localhost flink-1.11.6]# bin/stop-cluster.sh
No taskexecutor daemon (pid: 6460) is running anymore on localhost.
No standalonesession daemon (pid: 6150) is running anymore on localhost.

最后发现进程还在:

[root@localhost flink-1.11.6]# jps
7202 Jps
2394 StandaloneSessionClusterEntrypoint
  1. 直接有kill杀死:
[root@localhost flink-1.11.6]# kill -9 2394
[root@localhost flink-1.11.6]# jps
7217 Jps
  1. 再次启动flink:
[root@localhost flink-1.11.6]# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.
Starting taskexecutor daemon on host localhost.
[root@localhost flink-1.11.6]# jps
7926 TaskManagerRunner
8023 Jps
7614 StandaloneSessionClusterEntrypoint

5、浏览器访问flink服务,直接访问:http://自己ip:8081/#/overview,可以看到flink已经正常启动。

在这里插入图片描述

运行flink自带样例词频统计

[root@localhost bin]# ./flink run ../examples/batch/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
Job has been submitted with JobID 6959c79777833ad39b8847cb3d3f736d
Program execution finished
Job with JobID 6959c79777833ad39b8847cb3d3f736d has finished.
Job Runtime: 3239 ms
Accumulator Results: 
- fe3b95521fed6b0e1774cd035c55fe5b (java.util.ArrayList) [170 elements]

.......
(respect,1)
(returns,1)
(rub,1)
(s,5)
(say,1)
(scorns,1)
(sea,1)

在这里插入图片描述

安装测试完成。
希望对你有帮助!!!!!!!!

### 安装 Apache Flink 为了在 CentOS 7 上成功安装并配置 Apache Flink,需遵循一系列特定的操作指南。Flink 是一个用于对无界和有界数据流进行有状态计算的框架和分布式处理引擎[^4]。 #### 下载解压 Flink 首先应当访问官方网址获取最新稳定版的二进制文件包,并通过命令行工具将其下载到服务器上。接着利用 tar 命令解开压缩包至指定位置: ```bash tar -xzvf flink-1.16.0-bin-scala_2.12.tgz -C /opt/ ``` 此路径可以根据实际需求调整。完成上述步骤之后,建议创建软链接以便于后续升级维护工作: ```bash ln -s /opt/flink-1.16.0/ /opt/flink ``` #### 配置环境变量 为了让系统识别 Flink安装位置,需要编辑 `~/.bashrc` 文件或者 `/etc/profile.d/flink.sh` 文件来设置 FLINK_HOME 和 PATH 变量: ```bash export FLINK_HOME=/opt/flink export PATH=$FLINK_HOME/bin:$PATH ``` 使更改生效可以执行 source ~/.bashrc 或者重新登录 shell 终端会话。 #### 启动本地集群测试 当一切准备就绪后,可以通过简单的命令启动单节点开发模式下的迷你集群来进行初步验证: ```bash start-cluster.sh ``` 此时应该可以在浏览器中打开 http://localhost:8081 来监控这个小型集群的状态了。另外也可以尝试运行自带的例子程序以确认整个流程是否正常运作[^3]。 #### Hadoop集成注意事项 对于希望将计算结果保存到 HDFS 中的应用场景来说,确保所使用Flink 版本能够兼容目标 Hadoop 发行版非常重要。通常有两种方法实现这一点:一是替换 lib 目录中的 hadoop-common 库;二是借助 HADOOP_CLASSPATH 环境变量指向正确的依赖库路径[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值