详解 Flink 的状态管理

最新推荐文章于 2025-07-18 00:15:24 发布

文刀小桂

最新推荐文章于 2025-07-18 00:15:24 发布

阅读量1.9k

点赞数 24

CC 4.0 BY-SA版权

分类专栏： Flink 文章标签： flink 大数据 java

本文链接：https://blog.csdn.net/weixin_44480009/article/details/139565222

一、Flink 状态介绍

1. 流处理的无状态和有状态

无状态的流处理：根据每一次当前输入的数据直接转换输出结果的过程，在处理中只需要观察每个输入的独立事件。例如，将一个字符串类型的数据拆分开作为元组输出或将每个输入的数值加 1 后输出。Flink 中的基本转换算子 (map、filter、flatMap 等) 在计算时不依赖其他数据，所以都属于无状态的算子。

在这里插入图片描述

有状态的流处理：根据每一次当前输入的数据和一些其他已处理的数据共同转换输出结果的过程，这些其他已处理的数据就称之为状态(state)，状态由任务维护，可以被任务的业务逻辑访问。例如，做求和（sum）计算时，需要当前输入的数据和保存的之前所有输入数据的和共同计算；窗口操作中会将当前达到的数据和保存的之前已经到达的所有数据共同处理。Flink 中的聚合算子和窗口算子都属于有状态的算子。

2. Flink 的状态管理

在传统的事务型处理架构中，状态数据一般是保存在数据库中的，在业务处理过程中与数据库交互进行状态的读取和更新；但对于大数据实时处理架构来说，在业务处理时频繁地读写外部数据库会造成性能达不到要求，因此不能使用数据库进行状态管理
在实时流处理中一般将状态直接保存在内存中来保证性能，但必须使用分布式架构来做扩展，在低延迟、高吞吐的基础上还要保证容错性，一系列复杂的问题随之产生
Flink 拥有一套完整的状态管理机制，将底层一些核心功能全部封装起来，包括状态一致性、状态的高效存储和访问、持久化保存和故障恢复以及资源扩展时的调整。开发者只需要调用相应的 API 就可以很方便地使用状态，或对应用的容错机制进行配置，从而将更多的精力放在业务逻辑的开发上

二、Flink 状态分类

1. 托管状态

Managed State，所有的托管状态都由 Flink 统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由 Flink 实现

1.1 算子状态

Operator State，状态作用范围限定为当前的算子任务实例，只对当前的并行子任务实例有效；使用较少

在这里插入图片描述

由同一并行任务所处理的所有数据都可以访问到相同的算子状态
算子状态对于同一任务而言是共享的
算子状态不能由相同或不同算子的另一个任务访问

1.1.1 算子状态数据结构

列表状态（List state）：将状态表示为一组数据的列表
联合列表状态（Union list state）：也是将状态表示为一组数据的列表。与列表状态的区别在于，在发生故障时或者从保存点（savepoint）启动应用程序时恢复的方式不同
广播状态（Broadcast state）：如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态

1.1.2 案例

public class TestFlinkOperatorState {
   
   
    public static void main(String[] args) throws Exception {
   
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        
        DataStream<String> inputStream = env.socketTextStream("localhost", 7777);
        
        DataStream<SensorReading> dataStream = inputStream.map(line -> {
   
   
            String[] fields = line.split(",");
            return new SensorReading(fileds[0], new Long(fields[1]), new Double(fields[2]));
        });
        
        //定义一个有状态的map算子，用于统计输入数据个数
        DataStream<Integer> resultStream = dataStream.map(new MyCountMapper());
        
        resultStream.print();
        
        env.execute();
        
    }
    
    //定义有状态的 map 操作
    //实现 ListCheckpointed 接口，泛型为状态数据类型
    public static class MyCountMapper implements MapFunction<SensorReading, Integer>, ListCheckpointed<Integer> {
   
   
        //定义一个本地变量作为状态
        private Integer count = 0;
        
        @Override
        public Integer map(SensorReading value) throws Exception {
   
   
            count++;
            return count;
        }
        
        //对状态做快照
        @Override
        public List<Integer> snapshotState(long checkpointId, long timestamp) throws Exception {
   
   
            return Collections.singletonList(count