Hudi Spark SQL源码学习总结-CTAS

已于 2022-11-18 15:23:46 修改
阅读量1k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark Hudi 源码 文章标签： Hudi Spark 源码
于 2022-08-01 10:39:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkl12/article/details/126095742
本文深入探讨Hudi Spark SQL的CTAS操作在Spark2和Spark3.2.1版本间的不同，主要关注配置差异、执行流程的关键点，包括解析、分析和规划阶段。文章通过分析源码揭示了Spark3.2.1如何通过DataSourceV2机制处理Hudi表，并讨论了相关PR对性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

上一篇文章Hudi Spark SQL源码学习总结-Create Table总结了Create Table的源码执行逻辑，这一篇继续总结CTAS，之所以总结CTAS，是之前在我提交的一个PR中发现，Spark2和Spark3.2.1版本的CTAS的逻辑不一样，最终走的Hudi实现类也不一样，所以本文分Spark2和Spark3.2.1两个版本分析

不同点

先总结一下Spark2和Spark3.2.1的整体逻辑的不同点

Spark2: visitCreateTable->CreateTable->CreateHoodieTableAsSelectCommand.run
Spark3.2.1: 前提配置了：spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalo

了解本专栏 订阅专栏 解锁全文 超级会员免费看
使用Spark SQL中的CTAS命令将数据保存为Parquet列式存储格式
2301_79326559的博客
09-18 267
通过以上步骤，我们成功地使用Spark SQL的CTAS命令将数据保存为Parquet列式存储格式。这种存储格式可以提高数据处理的效率，并且可以与Spark生态系统中的其他组件无缝集成，如Spark Streaming、Spark ML等。本文将介绍如何使用CTAS命令在Spark SQL中创建表，并将数据保存为Parquet列式存储格式。接下来，我们将演示如何使用Spark SQL的CTAS命令将数据保存为Parquet列式存储格式。首先，我们需要创建一个源表，然后使用CTAS命令将查询结果保存为新表。
hivesql sparksql CTAS 建表使用parquet列式存储
yy的博客
01-17 535
sparksql hivesql
避免在Spark 2.x版本中使用sparkSQL，关于CTAS bug的发现过程
陆云子安的专栏
07-17 3179
避免在Spark 2.x版本中使用sparkSQL，关于CTAS bug的发现过程标签（空格分隔）： Spark2.x sparkSQL CTAS避免在Spark 2x版本中使用sparkSQL关于CTAS bug的发现过程 背景 问题发现过程 1 问题发现 2 问题重现 尝试解决问题 1 网上建议1 2 网上建议2 3 组合方案 解决方案 最后结论1. 背景CTAS就是create table a
Hudi源码|Insert源码分析总结（一）(整体流程)
主要分享大数据相关的知识，如Spark、Hudi
11-11 3878
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
hue 提交spark-sql 关于CTAS bug的解决
mnasd的博客
04-15 629
CTAS就是create table as select的简称。 最近在使用SparkSQL来进行快速的自定义SQL分析，因为需要把分析的结果保存下来，所以一定要使用CTAS功能，然而在使用的时候发现了一个bug，当然这个bug已经被报告了，状态依然是unresolved 我们用的spark2.2.1版本 bug 详情： https://issues.apache.org/jira/bro...
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1888
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Hudi Spark SQL源码学习总结-select（查询）
主要分享大数据相关的知识，如Spark、Hudi
08-17 698
上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load分析了load方法直接查询Hudi表路径的源码逻辑，那么Spark SQL select 表名的方式和load最终走的逻辑是一样的吗？本文带着这个疑问来分析一下select查询Hudi表的源码逻辑通过上面的分析，我们发现Spark查询Hudi表不管是通过load的方式还是通过sqlselect的方法最终走的逻辑都是一样的。都是先查找source=hudi的DataSource，Spark2对应的为。...
Hudi Spark源码学习总结-df.write.format(“hudi“).save
主要分享大数据相关的知识，如Spark、Hudi
08-03 1174
在开始学习Hudi的时候，我们知道通过可以实现写Hudi，并且写Hudi的逻辑是在实现的，但是始终有一个疑问：它怎么从跳到中的呢？本文就是主要来回答这个问题的。本文分析总结了从到的调用逻辑，解决了自己最开始学习Hudi时的一个疑惑😄,希望对大家也能有所帮助。......
Hudi Spark SQL Call Procedures学习总结（一）（查询统计表文件信息）
主要分享大数据相关的知识，如Spark、Hudi
11-25 2215
学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。
Hudi源码分析之使用Flink Table/SQL实现Hudi Sources
从大数据到人工智能的博客
01-23 2857
在文章Flink Table/SQL自定义Sources和Sinks全解析（附代码）中我们说到在Flink Table/SQL中如何自定义Sources和Sinks，有了上述文章的基础，我们再来理解Flink Table/SQL是如何实现Hudi的数据读取与写入就比较容易了。 动态表是自定义sources/sinks的核心，通过查阅源码我们可以知道在flink-hudi子模块中，org.apache.hudi.table.HoodieTableFactory类同时实现了DynamicTableSource
hudi-branch-ci
03-08
阿帕奇·胡迪（Apache Hudi） Apache Hudi（发音为Hoodie）代表Hadoop Upserts Deletes and Incrementals 。 Hudi管理DFS（云存储，HDFS或任何Hadoop FileSystem兼容存储）上的大型分析数据集的存储。 特征 快速，可插入索引的Upsert支持 通过回滚支持以原子方式发布数据 编写器和查询之间的快照隔离 数据恢复的保存点 使用统计信息管理文件大小，布局 行和列数据的异步压缩 时间轴元数据以跟踪血统 通过聚类优化数据湖布局 Hudi支持三种查询类型： 快照查询-使用基于列和基于行的存储（例如 + ）的组合，提供实时数据的快照查询。 增量查询-提供变更流，其中包含在某个时间点之后插入或更新的记录。 读取优化查询-通过纯列存储（例如 ）提供出色的快照查询性能。 通过了解有关Hudi的更多信息 从源代码构
【Azure Data Platform】Dedicated SQL Pool——导入性能测试（2）——CTAS
MVP黄钊吉（發糞塗牆）
03-19 698
本文属于【Azure Data Platform】系列。 接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（1）——传统insert 本文介绍SQL DW，也称Synapse Analysis，或者最新的Dedicated SQL Pool的外部导数工具的对比。 -- CREATE TABLE [dbo].test_robin_heap_ctas WITH (DISTRIBUTION = ROUND_ROBIN,HEAP) AS SELECT * .
mysql ctas_CTAS VS create table and then insert
weixin_29589063的博客
01-28 407
很多情况下我们都会需要复制源表数据以达到冗余数据的目的，那么到底是使用CREATE TABLE AS SELECT的CTAS方式，还是先建好表的结构然后再插入数据好呢？我们来看看这2种方式的不同表现：SQL> select * from v$version;BANNER--------------------------------------------------------------...
记一次hudi源码编译
wqqlsy1990的博客
12-07 566
hadoop 3.0.0 hive 2.3.9 flink 1.15.2 kafka 2.1.0 hudi 0.12.1 2.1 把hudi对应0.12.1版本的代码下载到本地，源码地址：GitHub - apache/hudi: Upserts, Deletes And Incremental Processing on Big Data.2.2 选择0.12.1对应版本,然后点击code，最后点击 Download zip，就可以把源码下载到本地。 2.3 下载到本地后，
Apache Hudi数据湖源码编译
Bulut0907
06-06 582
目录1. 下载解压2. 使用maven编译 1. 下载解压 [root@bigdata005 hudi]# [root@bigdata005 hudi]# pwd /opt/hudi [root@bigdata005 hudi]# [root@bigdata005 hudi]# wget https://github.com/apache/hudi/archive/refs/heads/master.zip [root@bigdata005 hudi]# [root@bigdata005 hudi]#
Apache hudi 源码分析 - 写时处理优化小文件问题
507_fzs的博客
03-15 6466
flink 如何写时处理小文件问题
mysql ctas_MySQL中CTAS的消耗巨大OS临时空间的问题
weixin_35816805的博客
01-28 290
CREATE TABLE `demo` (`n1` varchar(500) DEFAULT NULL,`n2` varchar(1000) DEFAULT NULL,`n3` varchar(2000) DEFAULT NULL) ENGINE=InnoDB;每个列只插入一个字符，共4194304行，表的大小只有137Minsert into demo select * from demo;sh...
17张图带你彻底搞懂hudi upsert源码
h335146502的专栏
05-15 6390
前言 ​ 如果要深入了解apache hudi技术的应用或是性能调优，那么明白源码中的原理对我们会有很大的帮助。在apache hudi 中upsert 是他的核心功能之一，主要完成增量数据在hdfs上的修改，并可以支持事务。在hive中修改数据需要重新分区或重新整个表，但是对于hudi更新可以是文件级别的重写或是数据先进行追加后续在重写，对比Hive 大大的提高了更新性能。upsert支持两种模式的写入copy on write和merge on read ，下面本文将介绍Apache Hu
Oracle CTAS语句
酒红的专栏
02-14 1311
CTAS : create table ... as select ...
Hudi spark sql区别
最新发布
09-26
Hudi (Highly Available Data Ingestion for Apache Spark) 是一个开源的数据湖解决方案，特别针对Apache Spark SQL设计，它结合了实时数据流处理和批处理能力。与Spark SQL相比，Hudi有以下几个关键特点： 1. **...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值