hive语法和常用函数.pdf

Hive 语法和常用函数 Hive 是一个基于 Hadoop 分布式系统上的数据仓库，最初由 Facebook 公司开发的，极大地推进了 Hadoop 生态系统在数据仓库方面的发展。 Hive 提供了一种 SQL-like 的语言，称为 Hive QL，用于查询和分析大规模数据集。 Hive 的架构和执行流程： 1. 用户提交的 Hive QL 语句最终被编译为 MapReduce 程序作为 Job 提交给 Hadoop 执行。 2. Hive 的数据类型包括基本数据类型和集合类型。 3. Hive 主要有四种数据模型：部表、外部表、分区表和桶表。 Hive 的数据类型： 1. 基本数据类型：TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、FLOAT、DOUBLE、STRING、TIMESTAMP 和 BINARY。 2. 集合类型：STRUCT、MAP 和 ARRAY。 Hive 的数据模型： 1. 部表：Hive 中的表和传统数据库中的表在概念上是类似的，每个表都有自己的存储目录。 2. 外部表：外部表指向已经存在在 Hadoop HDFS 上的数据。 3. 分区表：分区表的每一个分区都对应数据库中相应分区列的一个索引，但其组织方式和传统的关系型数据库不同。 4. 桶表：桶表是一种特殊的分区表，每个桶对应一个文件夹。 Hive 的优点： 1. 高延展性：Hive 可以自适应机器和数据量的动态变化。 2. 高容错性：Hive 具有良好的容错性。 3. 低约束的数据输入格式：Hive 支持多种数据输入格式。 Hive 的限制： 1. 高延迟：Hive 的性能和传统数据库的数据仓库的性能不能比较。 2. 不提供数据排序和查询的 cache 功能。 3. 不提供索引功能。 4. 不提供在线事务。 5. 不提供实时的查询功能。 Hive 的应用场景： 1. 大规模数据集的批量分析处理。 2. 数据仓库的数据 ETL（抽取、转换、加载）工具。 3. 大数据集的查询和分析能力。 Hive 是一个强大的数据仓库工具，提供了丰富的数据处理和分析能力，但也存在一些限制，需要根据实际情况选择合适的使用场景。