分布式环境下的自适应查询处理

# 分布式环境下的自适应查询处理 ## 1. 引言 数据库管理系统高效处理查询的能力在过去几十年的成功中发挥了重要作用。传统上，查询处理依赖于元数据信息进行静态优化，但当元数据不可用、不准确或在执行过程中发生变化时，就需要进行自适应查询处理（AdQP）。 AdQP 有一个反馈循环，查询处理器通过监控执行属性和环境、分析反馈并做出相应调整，以确保当前执行计划最优或找到性能更好的修改方案。虽然 AdQP 在广域环境中尤为重要，但大多数现有提案集中在集中式查询处理。本文将系统讨论适用于分布式环境的 AdQP 技术。 ### 1.1 分布式查询处理基础 分布式查询处理与集中式类似，包括解析、优化和执行三个主要阶段： - **解析**：将用声明性语言（如 SQL）表达的初始查询语句转换为内部表示。 - **优化**： - **查询重写**：通常在不依赖数据统计信息和物理设计选择（除数据片段信息外）的情况下进行，同时识别相关数据片段。 - **基于成本的计划选择**：搜索策略通常采用动态规划方法，对于复杂查询可借助启发式方法减少计划空间。传统基于成本的优化在属性相关性少、统计信息充足且环境稳定时能带来出色性能。 - **执行**：由查询执行引擎控制数据通过运算符的流动并实现运算符。磁盘查询通常采用基于拉取的迭代器模型，而数据流连续查询可能需要基于推送的模式。 在传统静态查询处理中，这三个阶段顺序进行；而在 AdQP 中，查询执行与优化会在单个查询中交错进行。 ### 1.2 相关工作 已有一些关于 AdQP 的调查，但都未专注于分布式资源上的分布式查询。静态分布式查询处理（DQP）和查询处理问题已有相关文献进行描述。 ## 2. AdQP 分析框架 AdQP 可视为查询处理中的自我优化主要手段，与自主计算相关。根据常用的自主框架，自主管理器在概念上由监控、分析、规划和执行四个部分组成，并通过传感器和执行器与被管理元素交互。 ### 2.1 各阶段说明 - **监控**：收集传感器产生的测量值，包括数据统计信息（如中间结果的基数）、运算符特征（如选择性）和资源属性（如机器 CPU 负载）。 - **分析**：处理收集到的反馈，诊断当前执行计划是否存在问题。 - **规划**：如果发现问题，则规划适应方案，可视为额外的查询计划和确保最终结果正确性的操作。 - **执行**：执行规划好的适应方案，简单情况下立即执行，复杂情况下可能需要先进行某些程序。 这些阶段在物理层面不一定对应不同的实现组件，且可能与查询处理任意交错。例如，某些技术在查询处理暂停后收集测量值，而其他技术在查询执行期间持续生成监控信息。分析和规划可能紧密相连，某些情况下分析反馈的同时也能确定更好的执行计划。 ## 3. 集中式环境下的 AdQP ### 3.1 技术概述 传统 AdQP 的目标是根据查询执行期间获得的新信息采取行动，以实现更好的查询响应时间或更高效的 CPU 利用率。存在一些自然适合自适应的运算符，如对称哈希连接、多路流水线连接和 Eddies。 - **Eddies**：是一种激