Flink 大数据 学习详情

参考视频：

         尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili

核心目标：

        数据流上的有状态的计算

        具体说明： Apache Flink是一个 框架 和 分布式处理引擎，用于对 无界（eg：kafka） 和 有界（eg：文本） 数据流进行有状态计算

        有状态： 存储中间的结果或者计算结果，保存在flink内部(内存/RockSDB)，定期存储到磁盘

        状态在内存中： 速度快，但可靠性差

        状态在分布式系统中：速度慢，但可靠性高

特点：

        高吞吐和低延迟：

                每秒处理数百万个事件，毫秒级延迟

        结果的准确性：

                Flink提供了事件时间（event-time） 和处理时间（processing-time）语义。对于乱序事件流，事件时间语义仍然能提供一致且准确的结果

精确一次(exactly-once)的状态一致性保证

可以连接到最常用的存储系统：

        Kafka，Hive，JDBC，HDFS，Redis等

高可用：

        本身高可用的设置，加上与 K8s，YARN和Mesos的紧密集成，再加上从故障中快速恢复和动态扩展任务的能力，Flink能做到以极少的停机时间7*24全天候运行

Flink和SparkStreaming比较

        本质：spark streaming是批处理（RDD模型），flink是流处理

ps：

Flink提供了三种时间语义，以满足不同计算场景的需求：处理时间，事件时间和注入时间。

• 处理时间(Processing Time)：一种直观的时间语义，表示数据进入算子并开始处理的实际时间点。
• 事件时间(Event Time)：表示事件实际发生的时间，通常在消息的时间戳字段中找到。由于可能会有数据乱序的问题，但它能保证精确度高的计算场景。
• 注入时间(Ingestion Time)：介于处理时间和事件时间之间的折中选择，代表数据进入Flink处理系统的时间。

Flink分层API