一文了解 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）的使用

最新推荐文章于 2025-05-29 09:33:40 发布
原创 最新推荐文章于 2025-05-29 09:33:40 发布 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Apache Spark 3.0的动态分区裁剪特性，讲解了启用条件，包括需要设置spark.sql.optimizer.dynamicPartitionPruning.enabled参数为true，以及Join类型的要求。动态分区裁剪会在满足特定统计信息和参数评估后触发，可以显著提高性能。通过示例展示了创建分区表并分析其DAG图，指出在某些场景下性能提升可达2-18倍。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

福利：过往记忆大数据知识星球双11限时折扣，原价99元，现价39元，需要的先加 fangzhen0219 微信了解详情，三天内不满意随时全额退。星球没有花哨玩法，主要就是大数据相关问题答疑，能力范围内知无不言、大数据相关资料分享、大数据原创技术文章分享等。另外，本知识星球有效期到2020年4月28日，到期需续费。

Spark 3.0 动态分区裁剪（Dynamic Partition Pruning），里面涉及到动态分区的优化思路等，但是并没有涉及到如何使用，本文将介绍在什么情况下会启用动态分区裁剪。
并不是什么查询都会启用动态裁剪优化的，必须满足以下几个条件：

  • spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true，不过这个值默认就是启用的；

  • 需要裁减的表必须是分区表，而且分区字段必须在 join 的 on 条件里面；

  • Join 类型必须是 INNER, LEFT SEMI （左表是分区表）, LEFT OUTER （右表是分区表）, or RIGHT OUTER （左表是分区表）。

  • 满足上面的条件也不一定会触发动态分区裁减，还必须满足 spark.sql.optimizer.dynamicPartitionPruning.useStats 和 spark.sql.optimizer.dynamicPartitionPruning.fallbackFilterRatio 两个参数综合评估出一个进行动态分区裁减是否有益的值，满足了才会进行动态分区裁减。评估函数实现请参见 org.apache.spark.sql.dynamicpruning.PartitionPruning#pruningHasBenefit。

如何使用 Dynamic Partition Pruning

我们先使用 Spark 创建两张表：

spark
最低0.47元/天 解锁文章

200万优质内容无限畅学
过往记忆
关注
SparkException: Dynamic partition strict mode requires at least one static partition column
NBA首席形象大使坤坤
03-18 2932
创建表后却无法写入数据？ 报错内容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict at org.apache.spark.sql.hive.exec
Spark 3.0新特性 - 动态分区裁剪
chg1226的博客
05-03 2101
Spark 3.0 new features - Dynamic Partition Pruning 什么叫Portioning Pruning？ 翻译成中文就是分区裁剪，简单说就是数据过滤，只从必要的分区拿数据，通过减少IO以提高性能。 那为什么叫Dynamic Portioning Pruning，动态分区裁剪？为了理解这个概念，我们先理解一下static partition pruning，即静态分区裁剪。 静态分区裁剪 现有SQL如下 Select * from Students where sub
spark shuffle的分区支持动态调整，而hive不支持
最新发布
认真学代码的shell
05-29 687
Spark的动态分区调整能力源于其现代架构设计，包括内存计算、DAG调度和AQE优化，这些特性使Spark更适合交互式分析和复杂ETL场景，而Hive的MapReduce模型更适合固定批处理任务。
Spark-Apache Spark3.0.Dynamic Partition Pruning
做一只精致IT小白
11-05 394
静态分区裁剪[Static Partition Pruning] 用过Spark的同学知道，SparkSQL在查询的时候支持分区裁剪，比如： select * from Sales where day_of_week = ‘Mon’ Spark会自动进行以下的优化： 从上图可以看到 Spark在编译SQL的时候自动将Filter算子下推到数据源，也就是在Scan前进行了Filter操作，将day...
图文理解 Spark 3.0 的动态分区裁剪优化
monkeyboy_tech的博客
01-07 466
Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪（dynamic partition pruning）就是其中之一。本文将通过图文的形式来带大家理解什么是动态分区裁剪。 Spark 中的静态分区裁剪 在介绍动态分区裁剪之前，有必要对 Spark 中的静态分区裁剪进行介绍。在标准数据库术语中，裁剪意味着优化器将避免读取不包含我们正在查找的数据的文件。例如我们有以下的查询 SQL： Select * from iteblog.Students where subject = ‘English’;
Spark3新特性之动态分区裁剪（Dynamic Partition Pruning，DPP）
weixin_45162906的博客
07-25 2679
Spark3动态分区裁剪（Dynamic Partition Pruning，DPP） 参数：spark.sql.optimizer.dynamicPartitionPruning.enabled 默认开启 执行条件： ①、需要剪裁的表必须是分区表且分区字段必须在on条件中 ②、join类型必须是 inner、left（右表是分区表）、right（左表是分区表）、left semi（右表是分区表） ③、spark.sql.optimizer.dynamicPartitionPruning.useStats
一文了解 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）
过往记忆大数据
11-04 1341
静态分区裁剪（Static Partition Pruning）用过Spark的同学都知道，SparkSQL 在查询的时候支持分区裁剪，比如我们如果有以下的查询：SELECT * FROM Sales_iteblogWHERE day_of_week = 'Mon'Spark 会自动进行以下的优化：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：ite...
Spark 3.3.x版本中的动态分区裁剪（DPP，Dynamic Partition Pruning）的实现及应用剖析
Dreamming Time的博客
10-16 1456
一种通用的描述是，DPP在分区级别过滤数据，注意它有别于`Partitioin Filter`。DPP是在`execute`阶段生效，对从数据源加载的`InputPartition`（Spark内部计算数据时定义的数据类型）进一步过滤，减少传递到下游算子的数据量；而`Partition Filter`则在Planning阶段就可以生效，对要加载的`Catalog Partition`进行过滤，因此这两类`Filter`有先后顺序，即先利用`Partition Filter`加载可见分区，然后再利用DPP对加
Spark 动态分区剪裁(DPP)
2401_84052244的博客
07-31 3471
这一讲，我们围绕动态分区剪裁，学习了谓词下推和分区剪裁的联系和区别，以及动态分区剪裁的定义、特点和使用方法。相比于谓词下推，分区剪裁往往能更好地提升磁盘访问的 I/O 效率。这是因为，谓词下推操作往往是根据文件注脚中的统计信息完成对文件的过滤，过滤效果取决于文件中内容的“纯度”。分区剪裁则不同，它的分区表可以把包含不同内容的文件，隔离到不同的文件系统目录下。这样一来，包含分区键的过滤条件能够以文件系统目录为粒度对磁盘文件进行过滤，从而大幅提升磁盘访问的 I/O 效率。
Spark 3.0 Dynamic Partition Pruning 动态裁剪分区
lucklilili
06-05 759
Dynamic Partition Pruning动态裁剪分区
【spark系列11】spark 的动态分区裁剪下(Dynamic partition pruning)-物理计划
monkeyboy_tech的博客
01-12 1016
背景 本文基于delta 0.7.0 spark 3.0.1 spark 3.x引入了动态分区裁剪，在 spark 的动态分区裁剪上(Dynamic partition pruning)-逻辑计划我们提到在逻辑计划阶段会加入DynamicPruningSubquery，今天我们分析一下在物理阶段怎么对DynamicPruningSubquery进行优化以及实现的 分析 直接转到PlanDynamicPruningFilters的apply方法： override def apply(plan: SparkP
Spark3 新特性之DPP
Shyllin的博客
03-03 1374
Spark3 新特性之DPP
spark3新特性之动态分区裁剪
Samooyou的博客
07-12 783
Spark3.0为我们带来了许多令人期待的特性。Spark中的静态分区裁剪在介绍动态分区裁剪之前，有必要对Spark中的静态分区裁剪进行介绍。因此，在这种情况下，我们不能再应用静态分区裁剪，因为filter条件在join表的一侧，而对裁剪有用的表在Join的另一侧。Spark将这个查询转化为一种易于理解的形式，我们称它为查询的逻辑计划。物理计划阶段优化如果维度表很小，那么Spark很可能会以broadcasthashjoin的形式执行这个Join。Spark 3.0 为我们带来了许多令人期待的特性。
分区裁剪 oracle,Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）使用
weixin_30936907的博客
04-03 558
我在 这篇 文章中介绍了 Apache并不是什么查询都会启用动态裁剪优化的，必须满足以下几个条件：spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true，不过这个值默认就是启用的；需要裁减的表必须是分区表，而且分区字段必须在 join 的 on 条件里面；Join 类型必须是 INNER, LEFT SEMI (左表是分区表...
Spark - PartitionPruningRDD 详解
BITDDD小栈
07-12 708
查看 RangePartition 的源码时发现内部用到了PartitionPruningRDD，翻译为分区修剪 RDD，下面简单介绍一下PartitionPruningRDD 的使用。
Spark_Spark3.0特性之动态分区裁剪
迎难而上
08-24 621
参考文章 ：Spark 3.0 为我们带来了许多令人期待的特性。动态分区裁剪(dynamic partition pruning)就是其中之一。本文将通过图文的形式来带大家理解什么是动态分区裁剪。
ApacheSpark3.0动态分区裁剪
github_28583061的博客
07-01 353
Apache Spark 3.0 动态分区裁剪 静态分区裁剪（Static Partition Pruning） spark sql 在执行查询的时候根据过滤条件实现谓词下推，分区剪裁，跳过不必要的分区，减少读取数据量 select * from sales where day_of_week = "mon" spark 在编译时会把filter算子下推到数据源，转成数据...
模型轻量化中的模型剪枝（Pruning）方法——动态剪枝详解
DuHz的博客
11-12 3280
随着深度学习模型的规模和复杂度不断增加，模型的存储和计算需求也急剧上升，给实际应用带来了巨大的挑战。模型剪枝（Pruning）作为模型轻量化的重要技术，通过减少模型中的冗余参数，提高模型的运行效率。其中，动态剪枝（Dynamic Pruning）是一种先进的剪枝方法，能够根据输入数据动态调整模型的结构，实现更高效的计算和更灵活的模型部署。动态剪枝作为模型轻量化的重要方法，通过在推理过程中根据输入数据动态调整模型结构，能够显著提高模型的计算效率和灵活性。
Dynamic Channel Pruning Feature Boosting and Suppression
weixin_37958272的博客
09-06 1824
Dynamic Channel Pruning: Feature Boosting and Suppression 使深度卷积神经网络更加精确通常是以增加计算和内存资源为代价的。在本文中，我们利用卷积层计算出的特征的重要性与输入高度相关这一事实来降低这一成本，并提出了特征提升和抑制(FBS)，这是一种新的方法，可以在运行时预测放大突出的卷积通道，跳过不重要的通道.FBS将小的辅助连接引入到现有的卷积层。与永久删除通道的通道修剪方法相比，它保留了完整的网络结构，并通过动态跳过不重要的输入和输出通道来加速卷积。
apache spark 3.0 中的sql性能改进概览
03-16
Apache Spark 3.0 中的 SQL 性能改进主要包括以下几个方面： 1. Adaptive Query Execution（自适应查询执行）：Spark 3.0 引入了自适应查询执行（AQE）功能，它可以根据数据的大小、分布和查询的复杂度等因素自动调整查询执行计划，从而提高查询性能。 2. 动态分区剪枝（Dynamic Partition Pruning）：Spark 3.0 改进了动态分区剪枝功能，它可以根据查询条件动态地剪枝分区，从而减少不必要的数据扫描，提高查询性能。 3. 优化的代码生成器（Optimized Code Generator）：Spark 3.0 中的代码生成器进行了优化，可以生成更高效的代码，从而提高查询性能。 4. 改进的列式存储（Improved Columnar Storage）：Spark 3.0 中的列式存储进行了改进，可以更好地支持复杂数据类型和嵌套数据结构，从而提高查询性能。 5. 改进的数据源 API（Improved Data Source API）：Spark 3.0 中的数据源 API 进行了改进，可以更好地支持数据源的优化和扩展，从而提高查询性能。 总的来说，Apache Spark 3.0 中的 SQL 性能改进主要集中在自适应查询执行、动态分区剪枝、优化的代码生成器、改进的列式存储和数据源 API 等方面，这些改进可以显著提高 Spark SQL 的查询性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值