大数据项目之电商数仓（2用户行为数据仓库）.docx

大数据项目之电商数仓（用户行为数据仓库） 本资源摘要信息是关于大数据项目之电商数仓（用户行为数据仓库）的知识点总结。电商数仓是指基于大数据技术的电商平台数据仓库，旨在提供数据分析和数据挖掘的解决方案。本资源摘要信息将从电商数仓的概念、数据分层、数仓搭建环境准备、Hive 和 Tez 的安装配置等几个方面进行总结。 电商数仓的概念 电商数仓是指基于大数据技术的电商平台数据仓库，旨在提供数据分析和数据挖掘的解决方案。电商数仓的主要功能是将电商平台上的数据进行收集、存储、处理和分析，以便提供数据支持 для电商平台的决策和优化。 数据分层 电商数仓的数据分层是指对电商平台上的数据进行分层处理，以便更好地存储和处理数据。通常，电商数仓的数据分层包括 ODS 层、DWD 层、DWS 层和 ADS 层。 * ODS 层（Operational Data Store）：是指原始数据的存储层，用于存储电商平台上的原始数据。 * DWD 层（Data Warehouse Detail）：是指细节数据的存储层，用于存储电商平台上的细节数据。 * DWS 层（Data Warehouse Summary）：是指汇总数据的存储层，用于存储电商平台上的汇总数据。 * ADS 层（Application Data Store）：是指应用数据的存储层，用于存储电商平台上的应用数据。 数仓搭建环境准备 电商数仓的搭建环境准备是指为电商数仓的搭建做好准备的环境。包括集群规划、服务器规划、Hive 和 MySQL 的安装配置等。 * 集群规划：是指电商数仓的集群规划，包括服务器的规划、存储的规划等。 * 服务器规划：是指电商数仓的服务器规划，包括服务器的选择、服务器的配置等。 * Hive 和 MySQL 的安装配置：是指电商数仓的 Hive 和 MySQL 的安装配置，包括 Hive 和 MySQL 的安装、配置等。 Hive 的安装配置 Hive 是一个基于 Hadoop 的数据仓库工具，用于提供数据仓库的解决方案。Hive 的安装配置包括安装 Hive、配置 Hive-site.xml 等。 * 安装 Hive：是指安装 Hive 的过程，包括下载 Hive 的安装包、解压缩安装包等。 * 配置 Hive-site.xml：是指配置 Hive 的配置文件，包括关闭元数据检查等。 Tez 的安装配置 Tez 是一个 Hive 的运行引擎，性能优于 MR。Tez 的安装配置包括下载 Tez 的依赖包、拷贝依赖包、解压缩依赖包等。 * 下载 Tez 的依赖包：是指下载 Tez 的依赖包的过程，包括下载 apache-tez-0.9.1-bin.tar.gz 等。 * 拷贝依赖包：是指拷贝 Tez 的依赖包到 HDFS 的 /tez 目录下。 * 解压缩依赖包：是指解压缩 Tez 的依赖包，包括 tar -zxvf apache-tez-0.9.1-bin.tar.gz 等。 在 Hive 中配置 Tez 在 Hive 中配置 Tez 是指在 Hive 中配置 Tez 的过程，包括创建 tez-site.xml 文件、添加配置信息等。 * 创建 tez-site.xml 文件：是指创建 tez-site.xml 文件，用于配置 Tez 的信息。 * 添加配置信息：是指添加 Tez 的配置信息，包括配置 Tez 的 lib.uris、use.cluster.hadoop-libs 等。