Flink知识点面试点大全总结.docx

Flink 知识点面试点大全总结 Flink 是一个以流为核心的高可用、高性能的分布式计算引擎，具备流批一体、高吞吐、低延迟、容错能力、大规模复杂计算等特点，在数据流上提供数据分发、通信等功能。 一、Flink 的基本概念 * 数据流：所有产生的数据都天然带有时间概念，把事件按照时间顺序排列起来，就形成了一个事件流，也被称作数据流。 * 流批一体：Flink 的设计思想是以流为核心，批是流的特例，擅长处理无界和有界数据，Flink 提供精确的时间控制能力和有状态计算机制，可以轻松应对无界数据流，同时提供窗口处理有界数据流。 * 容错能力：Flink 引擎必须保证故障发生后不仅可以重启应用程序，还要确保其内部状态保持一致，从最后一次正确的时间点重新出发。Flink 提供集群级容错和应用级容错能力。 二、Flink 和 Spark Streaming 的区别 * 架构模型：Flink 是标准的实时处理引擎，基于事件驱动，以流为核心，而 Spark Streaming 的 RDD 实际是一组小批次的 RDD 集合，是微批（Micro-Batch）的模型，以批为核心。 * 任务调度：Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图 DAG，Spark Streaming 会依次创建 DStreamGraph、JobScheduler。Flink 根据用户提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理。 * 时间机制：Spark Streaming 只支持处理时间。Flink 支持了流处理程序在时间上的三个定义：事件时间、摄入时间、处理时间。同时也支持 watermark 机制来处理滞后数据。 * 容错机制：Spark Streaming 任务可以设置 checkpoint，然后假如发生故障并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可能会重复处理，不能做到恰好一次处理语义。Flink 则使用两阶段提交协议来解决这个问题。 三、Flink 的架构 Flink 架构分为技术架构和运行架构两部分。技术架构包括 API 层、Runtime 层和资源管理层。运行架构包括 Client、JobManager、TaskManager 等组件。 四、Flink 的技术架构 * API 层：Flink 提供了多种语言的 API，包括 Java、Scala、Python 等，让开发人员可以轻松地编写 Flink 应用程序。 * Runtime 层：Flink 的 Runtime 层负责执行 Flink 应用程序，包括任务调度、资源管理、故障恢复等功能。 * 资源管理层：Flink 的资源管理层负责管理 Flink 集群的资源，包括 TaskManager、ResourceManager 等组件。 五、Flink 的应用场景 * 实时数据处理：Flink 可以实时处理大规模数据流，提供低延迟、高吞吐的数据处理能力。 * 数据分析：Flink 可以对大规模数据进行实时分析，提供实时的数据 insights。 * 需要高性能和高可用性的应用场景：Flink 可以提供高性能和高可用的计算能力，满足需要高性能和高可用的应用场景。