windows运行FLINK出现 FLINK_CONF_DIR问题

最新推荐文章于 2023-10-13 13:16:52 发布
最新推荐文章于 2023-10-13 13:16:52 发布
阅读量1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 开发 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43918355/article/details/118083976
本文介绍Flink 1.10及以上版本运行时遇到关于配置目录缺失的错误，提供临时和永久解决方法，包括在bin目录下运行flink.bat和修改bat文件配置路径。

运行Flink报错:
The configuration directory was not specified. Please specify the directory containing the configuration file through the ‘FLINK_CONF_DIR’ environment variable.
在这里插入图片描述
使用的FLink 1.10以上版本
解决办法:
1, 临时解决办法, 在FLink的bin目录下运行 flink.bat命令
2,永久解决办法, 修改flink.bat, 添加一条命令, 具体配置路径自己配置
在这里插入图片描述

flink实战--flink on yarn
阿华田的博客
10-31 5955
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
在 Windows 搭建 flink 运行环境并模拟流数据处理
明而决之
07-24 4206
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
flink首次使用
CrazyAlisca的博客
11-03 693
下载安装包，并解压，不做任何配置，为local模式 执行example中的wordcount.jar 记得输入参数和输出参数 记得在flink目录下面输入命令，不然会报错，找不到配置文件 Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. ...
Flink Configuration 配置文件的配置
半吊子Kyle的博客
05-02 1万+
Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup ｜ 默认配置 引流：FLINK 的命令 FLINK 的配置 Flink执行说明 对 FLINK 的运行命令做完整的介绍 参考文章： Flink Configuration - flink-conf.yaml 中的配置 Flink Memory Configuration - 内存配置 Flink Command-Line - 命令行中的配置 Flink Config
Flink 1.14.5安装（windows 7）
一点笔记
08-30 1260
Windows安装Flink
Flink 源码阅读环境搭建并调试 Flink-Clients 模块
天道酬勤
01-28 2313
本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码 读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。 关键是看你的目的是什么，如果你想了解思想，经验等看文档就够了，因为文档是人写给人的；如果你想了解具体细节，那应该去看源码，因为源码
Flink集群搭建
qq_37726121的博客
05-27 1084
Flink集群搭建 1 安装包下载 根据自己的环境下载相应的flink安装包：https://flink.apache.org/downloads.html 下载的版本要与自己的scala版本一致，我安装的scala版本为2.11，所以要下载对应scala2.11版本的flink 我使用的环境linux-CentOS7.9、Scala-2.11.6、jdk-1.8、flink-1.7.2-bin-hadoop27-scala_2.11.tgz 2 上传到包到服务器解压 使用ftp或者sft.
flink启动命令参数_flink启动命令参数_基于Flink的实时数据仓库实践分享
weixin_31758621的博客
02-06 973
作者：沈午飞 目前就职于科技开发部创新中心 java和python编程技术方向 主要服务于数据中台。金融行业作为典型的流式计算应用领域，涵盖了包括用户行为分析、实时营销、个性化推荐、实时风控、实时反欺诈等多个计算场景。以实时金融风控场景为例，需要流式计算系统实时分析海量的用户行为数据，根据既定的规则计算出相应的指标，并与风险模型进行匹配，第一时间判断风险等级、发现异常事件，并作出相应的风险控制措施...
Flink 1.9.1 安装及启动
L, there!
01-09 6443
这里部署环境为CDH6.2 集群，三个节点，Flink 版本为编译的 Flink1.9.1 版本。 Flink集群有两种部署的模式，分别是 Standalone 以及 YARNCluster 模式。Standalone 模式，Flink 必须依赖于 ZooKeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zook...
第7节 hudi 0.9 与Flink 1.12.2 集成测试
等夏天
10-08 873
安装Flink 从hudi 0.9的编译pom中查看，编译时用的 flink版本是1.12.2,在官网下载 https://archive.apache.org/dist/flink/flink-1.12.2/ （1）上传到集群中 因为是测试流程，先单节点 上传至cdh06 解压 先不做hadoop 环境变量的配置，因为使用的cdh ，先让flink自己识别系统中的hadoop环境 （2）启动flink集群 cd /data/software/flink-1.12.2/bin
在 Windows 上安装和运行 Flink1.9
一尘在心的博客
02-27 3213
. 下载 Flink 下载 flink-1.9.0-bin-scala_2.12.tgz 。 这里使用的是当前的最新版 1.9.0 。 下载后解压到 D:\flink\flink-1.9.0 目录 2. 运行 Flink 运行 Flink 需要安装 Java 7.x 或更高的版本，操作系统需要 Win 7 或更高版本。 可以通过 java -version 确认 JDK 的版本， 1.7...
flink在Windows上安装时出现webUI拒绝连接
m0_63972480的博客
10-08 658
我再次启动flink，发现我的java程序会自己关掉，于是flink此时还用不了，那么应该是跟Java的配置有关系，flink的安装部署需要jdk版本在1.8以上，我的电脑安的是1.8，但是我使用cmd查看的时候显示我的版本是19，我又去看了我配的Java的环境变量以及对应的目录里到底有没有这个文件，结果都是正确的，我想起来我之前还下过19的Java但是不知道安在哪里去了，删没删。我又一次仔细地排查了一下我Java的环境变量配置，发现在path用户变量列表里，有多个Java配置，于是我把我配好的。
【Flink源码篇】Flink提交流程之flink-conf.yaml的解析和3种flink命令行客户端的添加
Bulut0907
09-07 2265
上篇，我们讲解了EnvironmentInformation.logEnvironmentInfo函数。主要是log4j2日志框架如何绑定到Flink、log4j2配置文件和日志路径的定义这篇我们来讲解Flink的flink-conf.yaml和flink命令自定义参数解析。
《从0到1学习Flink》—— Flink 配置文件详解
http://www.54tianzhisheng.cn/
11-04 3918
前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。 安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 flink-conf.yaml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # Jo...
Windows环境部署Flink 1.12版本问题解决
z1012890225的专栏
03-31 2721
从1.10.x还有就没有.bat了，可以从以前版本拷贝 直接通过start-cluster.bat启动会拉起JobManager和TaskManager，如果下列参数不配置的话，TaskManager进程会退出，日志显示相关的参数没有配置，在conf/flink-conf.yaml中添加下面的配置，重新启动即可： 默认启动是报错的，taskmanager.cpu.cores 未配置等，加上如下即可。 taskmanager.cpu.cores: 2 taskmanager.memory.task.
[基础架构] [Flink] Flink/Flink-CDC的部署和配置
OxYGC
07-05 9477
Flink 以及 Flink -CDC 部署与配置
【flink配置系列】FLink配置大全
wang2leee的博客
10-13 4237
所有配置都在`conf/flink-conf.yaml`中完成，这个文件应该是一个扁平的[YAML键值对](http://www.yaml.org/spec/1.2/spec.html)集合，格式为`key: value`。配置在Flink进程启动时被解析和评估。对配置文件的更改需要重新启动相关的进程。
oozie 运行测试时遇到configuration is not specified解决办法
无知是恶
01-02 4773
今天犯了一个很傻的错，在测试运行oozie的一个例子时，发现报错 java.io.IOException: configuration is not specified at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:794) at org.apache.oozie.cli.OozieCLI.jobCommand(Oo...
记录一次office2019安装失败失败失败成功过程
热门推荐
love_c_s的博客
12-13 1万+
记录一次office2019安装失败失败失败成功过程 本人用2016有点问题，想换2019.多次寻求解决方法，用了不得要领，分享一下我的安装过程总结。 1.下载office tool plus ，我的版本是8.1 2.在 工具 里卸载office。 3.在 激活 选项，卸载证书，清除密钥（下拉三角形）。 如图 删除许可证，还有下面的密钥.不然重装19后是显示16. 4.部署，选择好版本，做好记录，认清是什么版本。网络好就 边下载边安装。右边选项看着选，没提示问题就行。 5.等待安装。 6。回到激活
org.apache.flink:flink-yarn_2.11:1.18.1
最新发布
12-13
org.apache.flink:flink-yarn_2.11:1.18.1 是 Apache Flink 项目中的一个依赖包。这个包的主要作用是在 Hadoop YARN 集群上部署和管理 Flink 作业。具体来说，它包含了与 YARN 集成的相关代码，使得 Flink 可以利用 YARN 的资源管理和调度功能。 以下是关于这个包的几个关键点： 1. 版本兼容性： - "2.11" 表示该版本是基于 Scala 2.11 编译的。 - "1.18.1" 是 Flink 的版本号。 2. 功能： - 允许 Flink 在 YARN 集群上运行，包括会话模式和作业模式。 - 提供了与 YARN 的资源管理器交互的接口。 - 支持 Flink 作业的资源分配和任务调度。 3. 依赖关系： - 这个包依赖于特定的 Hadoop 和 YARN 版本。 - 它需要与相应的 Flink 核心包和其他 Flink 组件一起使用。 4. 使用场景： - 适用于在 Hadoop 集群上运行大规模数据处理作业的场景。 - 适合需要与 Hadoop 生态系统紧密集成的应用。 5. 配置要求： - 使用此包时，需要正确配置 Hadoop 和 YARN 的相关设置。 - 可能需要设置环境变量，如 HADOOP_CONF_DIR。 使用这个包可以让 Flink 更好地利用 Hadoop 集群的资源，提高大规模数据处理的效率和管理能力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值