flink sql kafka写数据到hive

最新推荐文章于 2025-06-14 19:22:58 发布

闻风-堡

最新推荐文章于 2025-06-14 19:22:58 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： flink 文章标签： flink kafka hive

本文链接：https://blog.csdn.net/weixin_41197407/article/details/117331272

本文详细介绍了如何配置Flink连接Hive和Kafka，包括创建hive-site.xml配置Hive metastore，导入所需jar包，重启Flink集群，新建Hive和Kafka表。在完成配置后，可通过SQL语句`insert into test_hive_table select * from kafkaTable;`将数据从Kafka写入Hive。文章还讨论了写入Hive表的文件滚动策略、压缩和分区提交策略，确保下游应用及时、准确地获取数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

step1:flink连接hive配置

首先确保启动hive metastore远程服务
flink安装目录下新建文件夹hive-conf,然后vi hive-site.xml，配置hive仓库地址和metastore远程服务连接地址。（此配置为了在flink集群中启动hive客户端来远程访问hive metastore服务）具体如下：

新建hive-conf文件夹：
hive-site.xml配置

<configuration>
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://ip:9083</value>
	</property>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value