Flink基本原理 + WebUI说明 + 常见问题分析

置顶 已于 2024-03-22 15:21:47 修改
阅读量6.8k 收藏 31
点赞数 20
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink 大数据
于 2024-03-02 15:22:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qijingpei/article/details/136416450
本文详细介绍了Flink，一个支持低延迟、高吞吐的开源数据处理框架，涵盖了其流式API、分布式计算、数据处理流程、JobManager和TaskManager角色、容错机制以及广泛应用的场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Flink 概述

Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心优点包括：

  1. 低延迟：Flink 可以在毫秒级的时间内处理数据，提供了低延迟的数据处理能力。
  2. 高吞吐：吞吐量巨大。
  3. 分布式计算：Flink 支持分布式计算，它可以在大规模集群上运行，并提供了高可用和容错机制。
  4. 流式数据处理：Flink 基于流式数据处理模型，支持实时数据处理和数据增量更新。
  5. 事件驱动：Flink 的计算引擎是基于事件驱动的，它使用消息传递机制来处理数据。

Flink 的数据处理流程

Flink 的数据处理流程包括以下几个步骤：

  1. 数据输入：Flink 可以从各种数据源中读取数据，如 Kafka、HDFS 等。
  2. 数据转换：Flink 可以使用 DataStream API 或 SQL API 对数据进行转换和处理。
  3. 数据分区：Flink 可以根据数据的属性或规则对数据进行分区，以便在分布式集群上进行处理。
  4. 数据传输：Flink 可以使用网络传输机制将数据传输到其他节点或进程。
  5. 数据输出：Flink 可以将处理后的数据写入到各种数据存储中，如 Kafka、HDFS 等。

Flink架构解析

Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。
[图片]

JobManager

类似于司令官，分配工作给干活的士兵（TaskManager），听取士兵的汇报，当士兵失败时做出恢复等反应。
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成：

  • ResourceManager
  • ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task sl
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Flink实战系列】Flink web UI 的使用介绍
JasonLee实时计算
04-01 3万+
最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下: flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/b...
FlinkUI和Flink常见问题解决
someInNeed的博客
06-05 739
当用户提交一个Flink程序时，会首先创建一个Client，该Client首先会对用户提交的Flink程序进行预处理，并提交到Flink集群中处理，所以Client需要从用户提交的Flink程序配置中获取JobManager的地址，并建立到JobManager的连接，将Flink Job提交给JobManager。其中，flink 管理的内存，包括代码定义的对象，放到的JVM Heap 堆内存，以及flink定义好的状态会放在 Off-Heap Memory 的Managed Memory，还有直接内存。
Flink Web UI 介绍
热门推荐
magic_kid_2010的专栏
07-24 2万+
一、提交flink任务到yarn。 ./flink run -m yarn-cluster -yn 1 -p 2 -yjm 1024 -ytm 1024 -ynm FlinkOnYarnSession-MemberLogInfoProducer -d -c com.igg.flink.tool.member.rabbitmq.producer.MqMemberProducer /home/te...
Flink WebUI解析（待更新）
weixin_37172178的博客
05-26 1995
对于flink webUI的查看，首先还是根据先整体观看一下Task的划分，然后根据Exception去寻找对应的TaskManager相关信息，然后双向确定是什么原因造成的；作为metrics，虽然看起来花里胡哨，本质上对flink底层实现机制的基本逻辑弄懂，应该还是比较容易看的；注：由大佬有这块比较好的分享，跪求评论区共享一下；
Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI
SunTecTec
04-27 499
Web UI 仅在 Job 运行期间短暂可用（任务结束后容器退出）。，如果看到 Flink Dashboard 表示成功。，即可看到 Flink Dashboard。：无持久化 Web UI，适合一次性任务。：提供 Web UI，适合长期运行的集群。，这样 Flink 会以常驻服务运行。，任务完成后容器会退出（尤其是加了。不适合生产环境，仅建议调试使用。检查防火墙/安全组是否放行。
Flink web ui面板功能简述
启迪思维，精进技术
08-27 2546
前言 1. 运行状态和数字的含义 方块上的数字6，是串行执行的task数量(从输入task一直到输出task),6具体的含义如下 这里运行的 数字 ， 表示整个流程从头到尾总共有6个task。 2. 运行的状态和颜色 ...
flink基本原理
王二的博客
12-14 603
一、简介 开源流式处理系统在不断地发展，从一开始只关注低延迟指标到现在兼顾延迟、吞吐与结果准确性，在发展过程中解决了很多问题，编程API的易用性也在不断地提高。本文介绍一下 Flink 中的核心概念，这些概念是学习与使用 Flink 十分重要的基础知识，在后续开发 Flink 程序过程中将会帮助开发人员更好地理解 Flink 内部的行为和机制。 这里引用一张图来对常用的实时计算框架做个对比： ...
Flink基本原理
柏图
08-15 960
Flink简介Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如所示。Flink技术栈。
Flink基础原理
zhangCheng的博客
11-15 1719
第二步,由flinkClient依据StreamGraph 进行优化,将数据不需要跨taskmanager进行分组聚合等操作的(One-to-One关系),比较简单的直接流向后一个算子的这种,合并成一个subtask。允许同一个job下的subtask(子任务,也就是分解出来的各个算子)可以共享slot,这样可以使得同一个slot运行整个job(每个task)的流水线（pipleline）、TaskManager最多能同时并发执行的任务是可以控制的，那就是3个,因为不能超过slot的数量。
Flink 基本工作原理
八荒六合唯我独尊
10-27 577
Flink 基本工作原理
Flink技术原理
05-10
华为教程，内容由浅入深，适合各个层次学习，欢迎大家讨论
实时数据中台架构：Kafka+Flink+ClickHouse实战
AI天才研究院
04-29 1423
在当今数字化时代，企业面临着海量实时数据的处理和分析需求。实时数据中台架构的构建旨在整合企业内外部的实时数据，提供高效、准确的数据处理和分析能力，以支持企业的实时决策和业务创新。本文章的范围涵盖了使用Kafka、Flink和ClickHouse构建实时数据中台的整个过程，包括数据的采集、处理、存储和分析。本文将按照以下结构进行组织：首先介绍核心概念和它们之间的联系，然后讲解核心算法原理和具体操作步骤，接着给出数学模型和公式并举例说明。通过项目实战展示代码实现和解读，分析实际应用场景。
实时大数据流可视化：Kafka+Flink+Grafana实战
最新发布
AI天才研究院
05-04 804
在当今数字化时代，企业和组织每天都会产生海量的数据。实时分析和可视化这些数据对于做出及时、准确的决策至关重要。本文章的目的是帮助读者了解如何使用Kafka、Flink和Grafana构建一个实时大数据流可视化系统。我们将涵盖从数据的产生、传输、处理到最终可视化的整个流程，包括相关技术的原理、操作步骤以及实际应用案例。本文将按照以下结构进行组织：首先介绍相关技术的核心概念和联系，然后深入探讨核心算法原理和具体操作步骤，接着通过数学模型和公式进行详细讲解并举例说明。
flink从入门到精通，跟着我学这些就够了【2】flink ui详解
qq_41067796的博客
02-09 731
flink ui详解
Flink Web UI 如何使用和调试保姆级教程（持续更新)
大模型大数据攻城狮的专栏
10-17 2867
Running Jobs（运行中的作业）：显示正在运行的所有 Flink 作业的列表。每个作业都有一个独特的 Job ID，可以点击进入查看作业的详细信息。Completed Jobs（已完成的作业）：显示已经完成或取消的作业列表。：显示当前集群中所有 TaskManager 的健康状态，包括 CPU 使用率、内存使用情况、Slot 数量等。Job Manager Configuration（JobManager 配置）：显示 JobManager 的一些配置参数，帮助调试和优化 Flink 集群。
FlinkUI介绍
weixin_45480444的博客
08-04 1454
Flink任务提交Yarn说明Flink UITaskManagerJobManagerSubmit New Job背压 Yarn flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 -c com.zx.main.LmLoan /home/code/flink-report/flinksql/target/flinksql-1.0-SNAPSHOT-jar-with-dependencies.jar 说明 我们对Markdown编辑器进行了一些功能拓展与
Flink框架基础原理
qq_43523503的博客
02-26 1114
1 Flink简介 Flink是分布式、高性能、随时可用、准确的流处理框架。 Flink是一个一个框架、分布式处理引擎，用于对无界和有界数据流进行有状态计算。 1.1 Flink特点 ①事件驱动型（Event-driven） 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新、或其他外部动作。比较典型的就是以Kafka为代表的消息队列就是事件驱动型应用。（Flink的计算也是事件驱动型）。 1.2 流处理VS批处理 批处理和流处理是根据处理方式划分的： 批处
Flink基本原理剖析讲解
hello.reader
07-12 1万+
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。Flink技术栈如下图所示。DataStreamCheckpoint窗口JobPipeline 配置表。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值