FlinkSQL 实现kafka2mysql

原创已于 2023-06-21 17:35:13 修改 · 470 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flinksql

于 2023-06-21 17:20:08 首次发布

flink 专栏收录该内容

4 篇文章

订阅专栏

文章讲述了如何使用FlinkSQL将KafkaJSON数据接入到MySQL数据库中。首先，介绍了需求，即通过Flink的Kafka和JDBC连接器来处理数据。接着，展示了如何编写FlinkSQL创建源表kafkatab1从Kafka的test1主题消费数据，以及目标表t1在MySQL中的定义。最后，演示了如何将kafkatab1中的数据插入到t1表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1, 需求

kafka json数据 --> 录入mysql数据库
参考 kafk table api connector： https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/jdbc/， https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/table/kafka/

2, flinksql编写

除常用的MySQL, Derby, PostgreSQL，其他关系型数据库需要下载jdbc驱动，放在 Flink 的 lib/ 目录中

CREATE TABLE IF NOT EXISTS kafkatab1 (
	`@@id` STRING,
	`@message` STRING,
	`@ip` STRING,
	`@hostname` STRING,
	`@path` STRING
) WITH (
	'connector' = 'kafka',
	'topic' = 'test1',
	'scan.startup.mode' = 'latest-offset',
	'properties.bootstrap.servers' = '192.168.56.1:9092',
	'format' = 'json'
);

create table t1(
	id STRING,
	message STRING,
	ip string,
	hostname string,
	path string,
	primary key(id) not enforced
)with(
	'connector'='jdbc',192.168.56.1:3306/test1',
	'username'='root',
	'password'='123456',
	'table-name'='t1'
);

insert into t1(id, message, ip, hostname, path ) 
select `@@id`,`@message`, `@ip` ,`@hostname`,`@path` from kafkatab1;