比如Gzip或者Bzip2，当然对于一些不可切分的压缩格式，在生成MR任务的时候，Map数就会有所限制，不能很好的发挥算力。通过set hive.exec.compress.output命令来查看当前系统环境支持的压缩类型。orc.bloom.filter.columns：创建字段对应的布隆过滤器，字段之间以逗号分隔。orc.row.index.stride：索引之间的行数，必须得大于1000。o

5、SemanticAnalyzer会遍历AST Tree，进一步进行语义分析，这个时候会和Hive MetaStore进行通信获取Schema信息,抽象成QueryBlock，逻辑计划生成器会遍历QueryBlock，翻译成Operator（计算抽象出来的算子）生成OperatorTree,这个时候是未优化的逻辑计划。6、Optimizer会对逻辑计划进行优化，如进行谓词下推、常量值替换、列裁剪

Metacat 提供统一的 REST/Thrift 接口来访问各种数据存储的元数据，相应的元数据存储仍然是模式元数据的真实来源，因此 Metacat 不会在其存储中实现它。Databook 提供了来自 Hive、Vertica、MySQL、Postgres、Cassandra 和其他几个内部存储系统的各种元数据，包括：表模式、表/列描述、样本数据、统计数据、血缘、、表新鲜度、SLA 和责任人等等。

sort shuffle其核心借助于ExternalSorter首先会把每个ShuffleMapTask的输出排序内存中，当超过内存容纳的时候，会spill到一个文件中(FileSegmentGroup)，同时还会写一个索引文件用来区分下一个阶段Reduce Task不同的内容来告诉下游Stage的并行任务哪些数据是属于自己的。第二次是根据数据本身的Key进行排序,当然第二次排序除非调用了带排序的

A3C 通过创建多个 agent，在多个环境实例中并行且异步的执行和学习，有个潜在的好处是不那么依赖于 GPU 或大型分布式系统，实际上 A3C 可以跑在一个多核 CPU 上，而工程上的设计和优化也是原始paper的一个重点。从上图可以看出输出包含2个部分，value network 的部分可以用来作为连续动作值的输出，而 policy network 可以作为离散动作值的概率输出，因此能够同时解

A3C 通过创建多个 agent，在多个环境实例中并行且异步的执行和学习，有个潜在的好处是不那么依赖于 GPU 或大型分布式系统，实际上 A3C 可以跑在一个多核 CPU 上，而工程上的设计和优化也是原始paper的一个重点。从上图可以看出输出包含2个部分，value network 的部分可以用来作为连续动作值的输出，而 policy network 可以作为离散动作值的概率输出，因此能够同时解

A3C 通过创建多个 agent，在多个环境实例中并行且异步的执行和学习，有个潜在的好处是不那么依赖于 GPU 或大型分布式系统，实际上 A3C 可以跑在一个多核 CPU 上，而工程上的设计和优化也是原始paper的一个重点。从上图可以看出输出包含2个部分，value network 的部分可以用来作为连续动作值的输出，而 policy network 可以作为离散动作值的概率输出，因此能够同时解

数据血缘、基于角色的安全策略、表或列级标签以及中央审计功能使数据管理员可以轻松自信地管理和保护数据访问，直接在 Lakehouse 上满足合规性和隐私需求。2、查看自动化和精选的元数据：使用自动化和精选的元数据建立对数据的信任——表和列的描述、其他常用用户、表上次更新时间、统计信息、数据预览（如果允许）等。Apache Atlas 为组织提供开放的元数据管理和治理功能，以构建其数据资产的目录，对这

有效的部分名称为：HOST、PATH、QUERY、REF、PROTOCOL、AUTHORITY、FILE、USE。使用 int 类型的附加位置列（原始数组中项目的位置，从 0 开始）将数组分解为多行。返回一个包含两列 (pos,val) 的行集，数组中的每个元素占一行，其实就是带有序号的explode功能。返回一个包含两列 (key,value) 的行集，输入映射中的每个键值对对应一行。将一个结构

Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。