Flink 部署执行模式

原创

已于 2024-05-22 18:52:34 修改 · 1.9k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2024-05-22 18:42:59 首次发布

一、介绍

Apache Flink 提供了多种部署模式，以适应不同的环境和需求。以下是 Flink 的一些主要部署模式：

1 本地模式（Local Mode）：

Flink 可以在本地机器上以单进程的形式运行，所有任务都将在 JVM 进程中执行。这种模式主要用于开发和测试。

2 Standalone 模式（Standalone Mode）：

Standalone 模式允许 Flink 作为独立集群运行，不需要外部的资源管理器。它有一个 Master 进程（JobManager）和多个 Worker 进程（TaskManager）。
默认情况下，Standalone 模式不提供高可用性（HA）。但可以通过配置多个 JobManager 实例并使用 ZooKeeper 来实现高可用性。

3 YARN 模式（YARN Mode）：

在 YARN 模式下，Flink 应用程序作为 YARN 集群上的应用程序运行。YARN 负责资源的分配和管理，而 Flink 负责应用程序的执行。
YARN 模式提供了高可用性，并且可以与 Hadoop 生态系统的其他组件（如 HDFS）无缝集成。
YARN 模式支持三种子模式：Per-Job（每个作业一个 YARN 会话）、Session（多个作业共享一个 YARN 会话）和 Application Mode（每个 Flink 作业作为一个 YARN 应用程序运行）。

4 Kubernetes 模式（Kubernetes Mode）：

在 Kubernetes 模式下，Flink 应用程序作为 Kubernetes 集群上的容器化应用程序运行。Kubernetes 负责集群的管理、资源的分配和服务的发现。
Flink 提供了与 Kubernetes 集成的 Native Kubernetes 部署模式，以及基于 Helm 的部署选项。

5 Mesos 模式（Mesos Mode）：

Mesos 是一个通用的集群管理器，用于在分布式系统中管理资源。在 Mesos 模式下，Flink 应用程序作为 Mesos 集群上的任务运行。
类似于 YARN 模式，Mesos 模式也提供了资源的动态分配和管理。

二、本地模式（Local Mode）

Apache Flink 的本地模式（Local Mode）是一种简单的部署模式，主要用于开发和测试 Flink 应用程序。在本地模式下，Flink 应用程序在单个 JVM 进程中运行，不涉及到集群的部署和管理。

特点

简单性：在本地模式下，不需要配置和管理集群，只需要启动 Flink 应用程序即可。
快速启动：由于没有集群的启动和管理开销，本地模式可以更快地启动 Flink 应用程序。
便于调试：由于所有组件都在单个 JVM 进程中运行，可以更方便地进行调试和故障排除。

用途

开发：在开发 Flink 应用程序时，可以使用本地模式来验证代码的正确性和性能。
测试：可以使用本地模式来测试 Flink 应用程序的各个方面，包括数据处理逻辑、性能优化等。
教学：对于学习 Flink 的新手来说，本地模式是一个很好的起点，因为它不需要复杂的集群配置和管理。

启动本地模式

下载 Flink：从 Flink 官网下载适合操作系统的 Flink 发行版。
解压：将下载的 Flink 压缩包解压到选择的目录。
启动 Flink：在 Flink 的 bin 目录下，运行 start-cluster.sh（Unix/Linux）或 start-cluster.bat（Windows）脚本来启动 Flink 集群。但是请注意，在本地模式下，实际上并不需要启动整个集群，而是直接运行 Flink 应用程序。
运行应用程序：使用 Flink 的命令行工具（如 flink run）或编写 Java/Scala 程序来运行 Flink 应用程序。在本地模式下，可以直接指定 local 作为执行模式，例如：flink run -m localhost:8081 -c com.example.MyFlinkJob my-flink-job.jar（这里的 -m localhost:8081 在本地模式下是可选的，因为它默认就是本地执行）。

三、Standalone 模式（Standalone Mode）

Standalone模式（Standalone Mode）是一种基本的集群部署模式。

特点

独立集群：Standalone模式下，Flink集群是独立运行的，不依赖于任何外部的资源管理系统，如YARN或Kubernetes。
资源预分配：在Standalone模式下，需要预先定义集群的资源规模，包括JobManager和TaskManager的CPU、内存以及每个TaskManager提供的Slot槽位等参数。这些资源在集群启动时就被确定，如果需要扩展，则需要手动调整并重启集群。
资源竞争：在Standalone模式下，提交到Flink集群的作业会竞争集群的资源，或者共享集群的资源。当集群的可用Slot数量不足以满足新的作业运行要求时，新的作业会被挂起。
风险性：性能差的作业或异常的作业有可能会拖垮整个集群，导致同一个集群里的其他作业也受到影响。

用途

Standalone模式通常用于开发和测试环境，因为它提供了简单且直接的集群管理方式。在开发阶段，可以使用Standalone模式来验证Flink作业的正确性和性能。在测试阶段，可以使用它来模拟生产环境的行为，并测试集群的扩展性和容错性。

部署

准备环境：首先，需要准备一组物理机或虚拟机，并确保它们满足Flink的最低系统要求。此外，还需要安装Java 8或更高版本，因为Flink是基于Java开发的。
下载并解压：从Flink的官方网站下载适合操作系统的Flink发行版，并解压到目标目录。
配置集群：在Flink的conf目录下，可以找到各种配置文件，如flink-conf.yaml和masters、slaves等。需要编辑这些文件来定义集群的参数和配置，如JobManager和TaskManager的地址、端口、内存等。
启动集群：在Flink的bin目录下，运行start-cluster.sh（Linux/Unix）或start-cluster.bat（Windows）脚本来启动Flink集群。这将启动一个JobManager进程和多个TaskManager进程，具体数量取决于配置。
提交作业：一旦集群启动成功，就可以使用Flink的命令行工具（如flink run）或Flink的客户端库来提交作业到集群了。提交作业时，需要指定作业的JAR包位置、主类名以及任何其他必要的参数。

四、YARN 模式（YARN Mode）

YARN模式（YARN Mode）允许Flink在Hadoop YARN集群上运行，从而充分利用YARN的资源管理和调度能力。

特点

资源管理和调度：YARN作为Hadoop的资源调度和集群管理系统，为Flink提供了资源管理和调度的能力。Flink作为YARN的一个应用程序，可以动态地申请和释放资源，以适应不同作业的资源需求。
弹性伸缩：YARN模式允许Flink集群根据作业的需求动态地扩展或缩小资源。当作业需要更多资源时，YARN可以自动为