问题：Spark SQL 读不到 Flink 写入 Hudi 表的新数据，打开新 Session 才可见

已于 2024-06-20 13:24:35 修改
阅读量1.5k 收藏 18
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 大数据专题 Hudi • 数据湖新核心 付费专栏 文章标签： spark sql flink hudi 读不到 新数据 session
于 2024-02-21 10:51:03 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/bluishglc/article/details/136203991
《大数据平台架构与原型实现：数据中台建设实战》 博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

问题描述


使用 Flink 向 Hudi 表中写入数据，使用 Spark SQL 的 Shell 查询 Hudi 表（使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据），结果在 Spark 中只能查询到打开 Shell 之前表中的数据，之后通过 Flink 写入的数据不可见，但重新打开一个新的

了解本专栏 订阅专栏 解锁全文
Hive/Spark 整库导出/导入脚本
Laurence的技术博客
08-21 680
1. 整库导出为一个SQL文件 database="<your-database-name>" cat << EOF > $database.sql drop database if exists $database cascade; create database if not exists $database; use $database; EOF for table in $(beeline -n hadoop -u jdbc:hive2:// --showHeade
Flink SQL通过Hudi HMS Catalog读写Hudi并同步Hive表（强烈推荐这种方式）
主要分享大数据相关的知识，如Spark、Hudi
11-03 4188
上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过Hudi HMS Catalog读写Hudi并同步Hive表，这里的Hudi HMS Catalog实际上就是通过上篇文章最后提到的。
JMeter对mysql数据库进行压力测试
07-16
JMeter对mysql数据库进行压力测试
jmeter测试mysql数据库_【JMeter】JMeter完成一个MySql压力测试
weixin_26808023的博客
01-27 257
jmeter也可以用来做数据库的压力测试，并且兼容各种数据库类型，只需要更改对应的数据库驱动类和url。以下为整理到的数据库驱动类对应url。并且给出一个mysql数据库select的简单应用。如下：一 不同数据库驱动类和对应的url：DatebaseDriver classDatabase URLMySQLcom.mysql.jdbc.Driverjdbc:mysql://host:port/{...
10分钟学会数据库压力测试
Testfan_zhou的博客
01-14 2733
前言 很多人提到jmeter时，只会说到jmeter进行接口自动化或接口性能测试，其实jmeter还能对数据库进行自动化操作。个人常用的场景有以下： 1.对自动化产生的数据，进行删除 2.不断修改数据，进行多业务场景测试 ……（更多使用场景需要个人根据自己不同的需求去挖掘） 大家都知道，在逛淘宝/天猫等电商平台时，页面显示的数据一定要及时的呈现,否则会影响用户体现，所以对数据库的性能测试就必不可少。 本文主要通过对XXXX订单系统的订单数进行自动化查询和数据库查询速度进行压力测试。 在使用..
用JMeter对MySQL数据库进行压测
aoyan3067的博客
12-18 246
1. 下载相关软件，以下是我使用的软件及版本 　　JMeter 3.3 　　MySqL 版本未知，是公司测试环境的数据库 　　mysql-connector-java-5.1.44-bin.jar 2. 将mysql-connector-java-5.1.44-bin.jar 放到JMeter的lib目录下（放在别的目录下也可以），并在测试计划中添加mysql-connector...
Flink SQL操作Hudi并同步Hive使用总结
主要分享大数据相关的知识，如Spark、Hudi
11-01 7564
记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决Flink 1.14.3 Hudi 0.12.0/0.12.1本文采用Flink yarn-session模式，不会的可以参考之前的文章。下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.14-bundle/0.12.1/hudi-fli
数据湖（四）：Hudi与Spark整合
Lansonli（蓝深李）的博客
05-29 2882
默认Spark操作Hudi使用表类型为Copy On Write模式。Hudi与Spark整合时有很多参数配置，可以参照https://hudi.apache.org/docs/configurations.html配置项来查询，此外，整合时有几个需要注意的点，如下: Hudi这里使用的是0.8.0版本，其对应使用的Spark版本是2.4.3+版本 Spark2.4.8使用的Scala版本是2.12版本，虽然2.11也是支持的，建议使用2.12
CDC 实时入湖方案：MySQL＞Kafka Connect＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
最新发布
Laurence的技术博客
02-01 2290
本方案的技术链路为：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，消息经 Fli
一个简单的jmeter压测mysql
09-22
最近在看jmeter相关知识，做了一个简单的jmeter压测mysql的脚本，收藏起来，方便以后查阅学习，也供基础者学习
使用 JMeter 对 MySQL 数据库进行压力测试
热门推荐
泡泡的博客
01-20 1万+
使用 JMeter 对 MySQL 数据库进行压力测试前言一、安装并配置 JMeter下载配置环境变量导入 MySQL 驱动二、启动 JMeter三、开始进行压力测试配置观察结果总结 前言 暂无 一、安装并配置 JMeter 下载 官网下载，下载二进制的这个 zip 配置环境变量 然后解压到你喜欢的位置，配置环境变量，新建一个 JMETER_HOME 然后在 path 里添加 %JMETER_HOME\bin% 在 CLASSPATH 的最前部加上 %JMETER_HOME%\lib\ext\Apac
jmeter压力测试之mysql数据库
weixin_39726863的博客
04-26 365
使用jmeter做mysql数据库的压测，只针对mysql数据中的sql进行测试该怎么测试呢 第一步、我们先把mysql的jar包导入进来（具体的可以去百度下载，JDBC驱动可以在mysql的官网下载，具体地址是：https://dev.mysql.com/downloads/file/?id=477058，不需要注册），如图 第二步、我们新建一个线程组，线程组下新建一个JDBC Conn...
使用JMeter进行MySQL的压力测试
GreatSQL2021的博客
08-10 2405
JMeter是apache公司基于java开发的一款开源压力测试工具，体积小，功能全，使用方便，是一个比较轻量级的测试工具，使用起来非常简单。而且JMeter拿到安装包之后直接解压就可以使用，同时它也可以在上使用。JMeter可以做接口测试和压力测试，其中接口测试的简单操作包括做 http 脚本（发 get/post 请求、加 cookie、加 header、加权限认证、上传文件）、做webservice。......
JMeter之MySQL数据库压力测试（入门篇）
notHavaBug的博客
01-23 383
JMeter之MySQL数据库压力测试（入门篇）下载jar包JMeter操作 下载jar包 首先，需要下载mysql包mysql-connector-java-8.0.11.jar（根据自己需求下版本） 下载链接 https://mvnrepository.com/artifact/mysql/mysql-connector-java 下载好后放到jmeter目录下的lib下 JMeter操作 新建线程组，设置自己想要跑的线程数 测试计划 - 添加 - 线程（用户）- 线程组 配置数据库连接
【JMeter】（3）---MySQL压测
a8892117的博客
06-25 254
JMeter---MySQL压测 一、添加MySQL驱动jar包 在测试计划（Test Plan）页面添加jar包 二、添加MySQL连接配置 添加线程组右击-->添加(add)-->配置元件(config element)-->JDBC connection configuration 核心配置 variab...
三、JMeter压测Mysql数据库
Sally_xy的博客
11-08 1531
Mysql数据库压测1. 准备工作2. select，insert语句(1) Debug Sampler使用（结果树中查看）(2) 参数讲解：(sql结尾不要加";") 1. 准备工作 Thread Group -> add -> sampler -> jdbc request jar包添加 mysql-connector-java-5.1.30.jar JDBC connection Configuration 配置 JDBC request->add -> config
Maven优雅的添加第三方Jar包
weixin_30851409的博客
09-12 101
在利用Maven构建项目的时候会出现某些Jar包无法下载到本地的Repository中，鉴于这种情况比较普遍存在，特归纳以下解决问题办法：以 ojdbc14-10.2.0.4.0.jar为例【其它Jar包本地安装同理】 1：下载ojdbc14-10.2.0.4.0.jar 2：在jar包目录打开cmd命令窗口执行：mvn install:install-file -DgroupId=com.o...
一文1500字手把手教你Jmeter如何压测数据库【保姆级教程】
11-10 3338
不断的给数据库施加压力，验证数据库处理的性能 那么我们要怎么才能在jmeter中对数据库进行压测呢？我们可以在jmeter中添加一个叫jdbc的组件来进行连接操作数据库。
flink写入hudi多表
07-20
4. 转换数据并写入 Hudi 表：根据需要写入的多个表，使用 Flink 的 DataStream API 进行数据转换操作，并将数据写入对应的 Hudi 表中。可以使用 `hudiWrite()` 函数将转换后的数据写入 Hudi 表。 ```java ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值