DatabricksSQL：元数据命令与TPC-DS数据集使用指南

### Databricks SQL：元数据命令与TPC - DS数据集使用指南 #### 1. Databricks SQL元数据命令 在Databricks SQL中，有几个重要的元数据命令可以帮助我们更好地管理和分析数据。 ##### 1.1 SHOW语句 有两个特定的SHOW语句非常实用： - **SHOW PARTITIONS**：用于列出表上所有可用的分区，也可作为键值对列出确切的分区，以检查特定分区是否存在。 - **SHOW TBLPROPERTIES**：列出表上启用的所有额外表属性。比如之前启用的表属性以开启表的变更数据捕获功能，就可以用此命令列出。还可以在命令中以键值对的形式指定属性，列出该属性的值。 这些是标准命令，非常直观。若有需要，可参考官方命令参考文档：[https://docs.databricks.com/sql/language - manual/index.html#show - statements](https://docs.databricks.com/sql/language - manual/index.html#show - statements)。 ##### 1.2 DESCRIBE命令 DESCRIBE命令可用于描述数据资产的详细信息，如表格结构、数据库位置或函数签名等。在Databricks中，DESCRIBE语句支持标准的目录、数据库、表和函数数据对象，但没有DESCRIBE VIEW，描述视图需使用DESCRIBE TABLE。此外，它还支持Unity Catalog特定的数据资产（如外部位置和存储凭证）以及Delta Sharing特定的数据资产（如共享和接收方）。不同的数据资产对DESCRIBE命令的响应不同，部分数据资产还有DESCRIBE、FORMATTED和EXTENDED等选项，用于控制显示信息的详细程度。例如，使用EXTENDED选项描述表时，会显示列级统计信息。 ##### 1.3 ANALYZE命令 ANALYZE命令用于收集特定表的统计信息，其语法如下： ```sql ANALYZE TABLE table_name [ PARTITION clause ] COMPUTE STATISTICS [ NOSCAN | FOR COLUMNS col1 [, ...] | FOR ALL COLUMNS ] ``` Delta表会自动计算数据文件的统计信息以实现自动文件跳过，但自动统计仅计算收集统计信息的列的最小值和最大值，默认对前32列计算统计信息，且建议仅对非字符串基本数据类型的列计算统计信息。而ANALYZE命令能计算更深入的统计信息，如包含空值的行数、列的基数、列中记录的平均长度和最大长度等。这些统计信息可帮助优化器制定更好的查询执行计划。 不过，ANALYZE命令有个重要限制，每次写入新一批数据后都必须运行该命令，因为它计算成本高，不是自动执行的。在使用前，需评估执行分析的成本是否值得性能提升。若值得，可安排定期分析作业；若不值得，自动统计信息收集可能就足够了。 ANALYZE命令的选项如下： - **PARTITION**：指定要进行分析的分区，可减少分析作业的计算量。 - **FOR COLUMNS**：指定要进行分析的列，有助于针对特定查询模式进行分析，尤其适用于宽表。 - **NOSCAN**：指定分析仅扫描文件大小，不扫描单个记录，因此不会计算深入分析指标。 例如，分析`flights`表的`year`和`tailnum`列的统计信息，可运行以下命令： ```sql ANALYZE TABLE flights COMPUTE STATISTICS FOR COLUMNS year, tailnum ``` 要查看列的详细统计信息，可运行： ```sql DESCRIBE EXTENDED flights tailnum; ``` #### 2. TPC - DS数据集简介 TPC - DS（Transaction Processing Performance Council – Decision Support）是一个用于创建决策支持系统（DSS）可验证、客观性能数据的基准标准。DSS系统能筛选和分析大量数据，并编译可用于决策的综合信息。TPC - DS包含两部分对我们有用的内容： - 一个软件，可用于生成任意规模的TPC - DS基准测试数据。可从[https://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp](https://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp)下载TPC - DS规范，并研究其数据的实体关系图。 - 一组可用于对该数据进行基准测试的标准查询。 Databricks和Databricks SQL属于决策支持系统范畴，组织使用它们存储数据并运行关键业务数据分析以辅助决策。2021年11月，Databricks宣布打破了TPC - DS数据仓库性能记录，并得到了TPC的验证。我们虽不打算重现这些基准测试，但可利用TPC - DS数据测试之前提到的性能优化功能。 #### 3. 生成TPC - DS数据 要生成TPC - DS数据，可使用Databricks创建的开源项目`spark - sql - perf`（[https://github.com/databricks/spark