Greenplum数据仓库技术架构介绍.pptx

"Greenplum数据仓库技术架构介绍" 本文将对Greenplum数据仓库技术架构进行详细的介绍，包括数据仓库的概念、架构设计、技术实现等方面的知识点。 数据仓库概念 数据仓库是指将来自不同数据源的数据集 Become a unified repository，用于支持业务决策和商业智能的应用场景。数据仓库的特点是非实时、离线系统、分析决策，事务大、频率相对小、并发低。 数据仓库架构设计 数据仓库架构设计主要包括OLTP、OLAP、数据仓库、ETL、数据集市、API接口服务器、前端界面等模块。其中，OLTP（Online Transactional Processing）是实时、在线系统，用于支持业务事务处理；OLAP（Online Analytical Processing）是非实时、离线系统，用于支持业务分析和决策；数据仓库是用于存储和计算数据的仓库；ETL（Extract, Transform, Load）是用于数据提取、转换和加载的工具；数据集市是用于存储和展示结果数据的仓库；API接口服务器是用于提供数据访问接口的服务器；前端界面是用于展示结果数据的界面。 Greenplum技术实现 Greenplum是基于PostgreSQL的分布式关系数据库管理系统，提供了高效的数据存储和计算性能。Greenplum的架构特点包括MPP ShareNothing海量并行处理、完全无共享、CPU计算能力、数据从Disk上的I/O吞吐性能、Master管理节点、Segment数据节点等。Greenplum的核心功能包括无共享MPP、多态存储、 高效数据加载、分布分区、数据压缩、外部访问等。 Greenplum体系架构 Greenplum的体系架构主要包括PostgreSQL体系结构、Greenplum体系结构两部分。PostgreSQL体系结构包括连接关系系统、编译执行系统、存储执行系统、事务系统、系统表等模块。Greenplum体系结构包括Master管理节点、Segment数据节点、分布式文件系统等模块。 Greenplum集群现状 Greenplum集群现状概述了三大Greenplum集群体系，分别位于公司IDC_01、IDC_02、IDC_03机房。每个集群都有其特点和功能，例如公司IDC_01机房Greenplum体系是公司第一套Greenplum集群，网络环境为千兆网，数据来源为OLTP。 本文对Greenplum数据仓库技术架构进行了详细的介绍，包括数据仓库概念、架构设计、技术实现、Greenplum体系架构、Greenplum集群现状等方面的知识点。