Flink 集成 Cassandra

Apache Flink 作为高性能流处理框架，常需与分布式存储系统协同工作以实现数据持久化或实时分析。Apache Cassandra 凭借高吞吐、高可用的特性，成为流数据存储的优选方案。本文聚焦两者集成的核心流程与实战细节，从依赖配置到数据读写全流程展开讲解，确保内容实用、准确且贴合实际开发需求。

一、核心依赖与连接配置

Flink 与 Cassandra 的集成依赖官方连接器组件，正确配置依赖版本及连接参数是实现稳定集成的基础。

1. 依赖管理（版本兼容原则）

在 pom.xml 中引入以下依赖，务必保证连接器版本与 Flink 版本严格一致：

<!-- Flink 核心依赖 -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.18.0</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java</artifactId>
    <version>1.18.0</version>
    <scope>provided</scope>
</dependency>

<!-- Cassandra 连接器 -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-cassandra</artifactId>
    <version>1.18.0</version>
</dependency>

<!-- 底层驱动 -->
<dependency>
    <groupId>com.datastax.oss</groupId>
    <artifactId>java-driver-core</artifactId>
    <version>4.15.0</version>
</dependency>

版本不匹配会导致类结构冲突，引发 NoSuchMethodError 等运行时异常，需特别注意。

2. 连接参数配置

Flink 通过配置参数建立与 Cassandra 的连接，支持两种标准配置方式：

（1）Properties 配置文件

在 src/main/resources 创建 cassandra.properties，按规范定义参数：

# 集群节点地址（必填，多个节点用逗号分隔）
cassandra.contact-points=localhost:9042
# 目标键空间（需提前创建）
cassandra.keyspace=flink_demo
# 本地数据中心（Cassandra 4.0+ 必须配置）
cassandra.local-datacenter=datacenter1

# 可选认证配置（集群启用认证时添加）
# cassandra.username=cassandra
# cassandra.password=cassandra

# 连接超时（毫秒）
cassandra.connection.timeout=5000
# 连接池最大连接数
cassandra.pool.max-size=20

（2）代码内动态配置

通过 Properties 类在代码中设置参数，适用于需要动态调整的场景：

import java.util.Properties;

Properties cassandraProps = new Properties();
// 核心必填参数
cassandraProps.setProperty("cassandra.contact-points", "localhost:9042");
cassandraProps.setProperty("cassandra.keyspace", "flink_demo");
cassandraProps.setProperty("cassandra.local-datacenter", "datacenter1");
// 可选参数
cassandraProps.setProperty("cassandra.connection.timeout", "5000");

二、数据写入：Flink 流写入 Cassandra

Flink 提供 CassandraSink 组件实现流数据写入，支持 POJO 映射、批量写入等实用特性，满足不同场景的写入需求。

1. 基础写入实现（POJO 映射）

（1）定义数据实体

创建与 Cassandra 表结构对应的 POJO 类，字段名需与表列名保持一致：

import lombok.Data;

@Data
public class UserEvent {
    private String user_id;       // 对应表的分区键
    private String event_type;    // 普通列
    private long event_time;      // 对应表的聚类键
    private String payload;       // 普通列
}

对应的 Cassandra 表需提前创建（与实体类结构严格对应）：

CREATE TABLE flink_demo.user_events (
    user_id text,
    event_time bigint,
    event_type text,
    payload text,
    PRIMARY KEY (user_id, event_time)  -- 分区键+聚类键
);

（2）构建 Sink 写入流

使用 CassandraSink.Builder 构建写入逻辑，实现数据流持久化：

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.connectors.cassandra.CassandraSink;
import org.apache.flink.streaming.connectors.cassandra.MapperOptions;

// 假设已创建数据流
DataStream<UserEvent> userEventStream = ...;

// 配置实体-表映射关系
MapperOptions mapperOpts = MapperOptions.builder()
    .setKeyspace("flink_demo")    // 键空间
    .setTableName("user_events")  // 表名
    .build();

// 构建 Cassandra Sink
CassandraSink<UserEvent> sink = CassandraSink.<UserEvent>builder()
    .withProperties(cassandraProps)  // 传入连接参数
    .withMapperOptions(mapperOpts)   // 传入映射配置
    .build();

// 将流数据写入 Cassandra
userEventStream.addSink(sink);

2. 高级配置（性能与可靠性优化）

（1）批量写入优化

配置批量参数减少网络交互，显著提升写入性能：

CassandraSink<UserEvent> sink = CassandraSink.<UserEvent>builder()
    .withProperties(cassandraProps)
    .withMapperOptions(mapperOpts)
    .withBatchSize(1000)         // 累计1000条触发写入
    .withBatchTimeout(1000)      // 1秒内未达批量也触发
    .build();

（2）一致性级别配置

根据业务对数据可靠性的要求设置写入一致性级别：

import com.datastax.oss.driver.api.core.ConsistencyLevel;

CassandraSink<UserEvent> sink = CassandraSink.<UserEvent>builder()
    .withProperties(cassandraProps)
    .withMapperOptions(mapperOpts)
    .withConsistencyLevel(ConsistencyLevel.LOCAL_QUORUM)  // 本地多数副本确认
    .build();

（3）失败处理策略

配置失败处理机制，避免单条数据失败导致整体流程阻塞：

import org.apache.flink.streaming.connectors.cassandra.FailureHandler;

CassandraSink<UserEvent> sink = CassandraSink.<UserEvent>builder()
    .withProperties(cassandraProps)
    .withMapperOptions(mapperOpts)
    .withFailureHandler(new FailureHandler() {  // 自定义失败处理
        @Override
        public void onFailure(Exception e, UserEvent record) {
            // 记录失败日志或执行重试
            System.err.println("写入失败: " + record + ", 原因: " + e.getMessage());
        }
    })
    .build();

三、数据读取：从 Cassandra 读取数据到 Flink

Flink 支持通过 CassandraInputFormat 读取 Cassandra 数据，批处理场景可直接使用，流处理场景需结合轮询机制实现。

1. 批处理读取实现

使用 CassandraInputFormat 读取批量数据，适用于离线分析场景：

import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.streaming.connectors.cassandra.CassandraInputFormat;

// 获取批处理环境
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

// 配置读取参数
CassandraInputFormat<UserEvent> inputFormat = CassandraInputFormat.<UserEvent>builder()
    .withProperties(cassandraProps)       // 连接参数
    .setKeyspace("flink_demo")           // 键空间
    .setTable("user_events")             // 表名
    .setClass(UserEvent.class)           // 返回数据类型
    .setWhereClause("event_type = 'click'")  // 过滤条件（可选）
    .build();

// 读取数据为 DataSet
DataSet<UserEvent> userEvents = env.createInput(inputFormat);

// 处理数据
userEvents.print();

2. 流处理读取方案

针对实时流处理场景，可通过定期轮询实现准实时数据读取：

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
import java.util.List;

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 自定义 Source 实现轮询读取
SourceFunction<UserEvent> cassandraSource = new SourceFunction<UserEvent>() {
    private volatile boolean running = true;
    private long lastReadTime = 0;  // 记录上次读取时间戳

    @Override
    public void run(SourceContext<UserEvent> ctx) throws Exception {
        while (running) {
            // 执行 CQL 查询新增数据（基于时间戳过滤）
            List<UserEvent> newEvents = fetchEventsAfter(lastReadTime);
            newEvents.forEach(ctx::collect);
            // 更新上次读取时间
            if (!newEvents.isEmpty()) {
                lastReadTime = newEvents.get(newEvents.size() - 1).getEvent_time();
            }
            // 轮询间隔（根据业务需求调整）
            Thread.sleep(5000);
        }
    }

    @Override
    public void cancel() {
        running = false;
    }
};

// 创建流数据源
env.addSource(cassandraSource).print();

实际生产中，对于高实时性需求，建议结合 CDC 工具（如 Debezium）捕获数据变更，经 Kafka 接入 Flink 实现真正的实时流读取。

四、核心参数与调优建议

五、实战最佳实践与问题规避

1. 性能优化要点

• 并行度匹配：Flink 作业并行度应与 Cassandra 集群节点数合理匹配，避免资源浪费或负载集中；
• 异步写入：开启 withAsyncExecution(true) 启用异步写入，提升吞吐量（需配合背压机制）；
• 数据倾斜处理：确保 Flink 分区键与 Cassandra 分区键一致，避免单节点写入压力过大。

2. 可靠性保障措施

• 启用检查点：配置检查点确保故障后数据可恢复：

  env.enableCheckpointing(5000);  // 每5秒触发一次检查点
  env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
  

• 重试机制配置：合理设置重试次数和间隔，应对临时网络故障：

  .withMaxRetryAttempts(3)    // 最大重试次数
  .withRetryDelay(2000)       // 重试间隔2秒
  

3. 常见问题规避

• 版本不兼容：严格保证 Flink 与连接器版本一致，避免类冲突；
• 数据类型不匹配：确保 POJO 字段类型与 Cassandra 列类型对应（如 long ↔ bigint）；
• 缺少数据中心配置：Cassandra 4.x+ 必须指定 local-datacenter，否则连接失败。

总结

Flink 与 Cassandra 的集成流程可归纳为：

1. 配置匹配版本的依赖和连接参数，确保集群可达；
2. 使用 CassandraSink 写入数据，通过批量配置和一致性级别优化性能与可靠性；
3. 批处理读取使用 CassandraInputFormat，流处理采用轮询或 CDC 方案；
4. 结合并行度调整、检查点配置和异常处理等最佳实践，保障集成稳定性。