数据仓库概念入门记录

原创 已于 2022-04-06 20:13:59 修改 · 2.7k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据仓库

于 2022-03-30 22:03:10 首次发布

存在的意义

在这里插入图片描述
传统的数据仓库和大数据仓库

传统数据仓库由关系型数据库组成MPP（大规模并行处理）集群
缺点：
存储位置不透明：通过Hash确定物理存储位置，查询任务在所有节点都执行
扩展性有限：不同库之间交互对网络压力很大，分库分表也有上限，分库分表越多性能就越差。分布式事务实现会导致扩展性下降
热点问题/单点瓶颈：分库分表后，可能发生热点数据都在同一节点情况下。改节点容易发生宕机和超时等异常情况

大数据仓库
利用大数据天然的扩展性，完成海量数据的存放。
多副本存储可以解决单点问题，调度和计算拆分，数据共享，单节点可以局部运行
将SQL转为大数据计算引擎任务，完成数据分析
困难：
SQL支持率，分布式事务支持

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据仓库架构

架构
在这里插入图片描述
ETL

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
ETL 工具

结构化数据工具：Sqoop，Kettle，Datastage，Informatica，Kafka
非/半结构化数据工具：Flume，Logstash

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

建模

在这里插入图片描述
在这里插入图片描述
ROLAP
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
MOLAP

在这里插入图片描述
常见的MOLAP产品：Kylin，Druid

多维分析
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

表类型

在这里插入图片描述
在这里插入图片描述
具体事实表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
累积快照事实表实现方式

在这里插入图片描述
在这里插入图片描述

方式三更实用，减少冗余数据的情况

ETL策略

在这里插入图片描述

案例

简单架构例子
在这里插入图片描述在这里插入图片描述

4.1 数据仓库基础与Apache Hive入门
qq_40947195的博客
11-06 1759
数据仓库基础与Apache Hive入门
[大数据测试]ETL测试或数据仓库测试入门_etl上线压力测试
2401_85599413的博客
06-24 1065
ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。ETL是Extract-Transform-Load的缩写。
快速入门数据仓库
qq597213343的博客
04-09 965
总结： 概念 是一个用于存储、分析、报告的数据系统 构建面向分析的集成化环境，分析结果为企业提供决策 数仓本身不生产数据，数据来源于外部系统 数仓本身也不消费数据，其结果开放给各个外部应用使用 所以称为仓库而不是工程 为什么会有数仓？ 为了分析数据而来，分析结果给企业决策提供支撑 操作性记录的保存 公司下面有多个BU，业务线等等，都有各自的业务系统，记录销售、经营、
数据仓库入门(hive篇未完结）
weixin_63295029的博客
07-03 1292
元数据(metadata),是描述数据的数据,主要是描述数据的属性的信息,比如:存储位置,历史数据,资源查找,文件记录等.
数据仓库 基础教程
qq_42577508的博客
06-21 1024
数据仓库(Data Warehouse,简称DW或者DWH)是通过集成来自多个异构数据源的数据来构建的。它支持分析报告、结构化和/或特别查询和决策制定。本教程采用循序渐进的方法来解释数据仓库的所有必要概念。
数据仓库入门
serendipity
08-04 847
一、数据仓库概念 1.1 名词解释 DSS(decision-support system)：决策支持系统 ODS(operational data store)：操作数据源（临时存储层） DW(data warehourse)：数据仓库 DM(data market)：数据集市 DWS(data warehourse service)：服务数据层 DWD(data warehourse detail)：细节数据层 DWB(data warehourse base)：基础数据层 OLAP(on-line a
数据仓库技术与Hive入门
北山啦的博客
06-17 1240
在理论上，任何一款编程序言只要具备读写数据、处理数据的能力，都可以用于数仓的开发，例如：Python，JAVA、C等关键在于编程语言是否易学、好用、功能是否强大，不论从学习成本还是开发效率，上述的编程语言不是很友好，在数据分析领域，不得不提的就是SQL，分析领域主流开发语言SQL：结构化查询语言(Structured Query Language)，是一种数据据库查询和程序设计语言，用于存储数据已经更新和管理数据SQL语言功能强大，核心功能秩序用9个动词，语法接近英语口语，用户很容易学习和使用。
数据仓库技术与应用
wslyy124728的博客
06-04 1107
然而，本地数据仓库的弹性较低，需要企业通过复杂的预测来确定如何扩展数据仓库，以满足未来需求。数据仓库能够集中、整合多个来源的大量数据，借助数据仓库的分析功能，企业可从数据中获得宝贵的业务洞察，改善决策。（1）外部表：因其指删除表时不会删除HDFS上的数据，安全性相对较高，且指定目录的特性，适合数据需要共享或者数据的处理需要 hive和其他工具一起处理的场景。沙盒：沙盒可提供一个专有的安全区域，帮助企业快速、非正式地探索新的数据集或新的数据分析方式，而无需遵守或遵循数据仓库的正式规则和协议。
数据仓库: 1- 数据仓库基础
Taerge0110的博客
08-02 1225
数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; ​ 它可以帮助企业整合来自不同数据源的数据, 并将其转换为易于理解和分析的格式 ;
《数据仓库快速入门》
qq_40166660的博客
04-24 1292
数仓架构可以理解为是构成数据仓库的组件以及之间的具有交互机制的关系。对数据仓库相关概念、数仓建设进行归纳总结。
第1章 数据仓库基础与Apache Hive入门1
08-08
总的来说，本章介绍了数据仓库的基本概念、应用场景及其重要特性，并引入了Apache Hive作为数据仓库的实用工具，帮助我们理解如何在大数据环境中实现高效的数据分析。通过对这些知识的理解，读者将能够更好地理解...
数据挖掘入门：概念、技术与数据仓库
数据仓库是数据挖掘的重要环境，它与操作数据库系统不同，设计用于支持决策分析，采用多维数据模型，如星形、雪花和事实星座模式。数据仓库系统通常包括数据抽取、转换和加载（ETL）过程，以及多层次的结构，包括...
AI数据仓库管理提升效率
UMI55的博客
08-15 607
AI数据仓库管理通过智能API接入外部数据源，实现数据清洗、加密存储与实时监控，结合优化算法提升处理效率，确保安全合规，助力企业降本增效。
商品数据仓库构建指南：TB 级淘宝 API 历史详情数据归档方案
APItesterCris的博客
08-15 512
随着电子商务的蓬勃发展，淘宝平台积累了海量的商品历史数据，这些数据包含了丰富的商业信息，对数据分析、市场预测、用户行为研究等具有重要价值。本文详细介绍了 TB 级淘宝 API 历史详情数据的商品数据仓库构建方案，从架构设计、数据模型、ETL 实现到归档策略和性能优化，提供了一套完整的解决方案。本文将详细介绍商品数据仓库的构建方案，重点讲解针对 TB 级淘宝 API 历史详情数据的归档策略，包括数据模型设计、ETL 流程实现、存储优化及查询性能提升等关键技术点，并提供可落地的代码实现。
美赛教程&建模&数据分析&案例分析&文档写作&编程实现等资源
08-16
美赛教程&建模&数据分析&案例分析&文档写作&编程实现等资源
自动驾驶场景库的提取方案及实现代码解析 自动驾驶场景库提取方案与实现代码详解 自动驾驶场景库提取方案及实现代码设计 自动驾驶场景库提取方案及实现代码构建 自动驾驶场景库提取方案及实现代码方案 自动驾驶
08-16
资源下载链接为： https://pan.quark.cn/s/8471dd710e10 自动驾驶场景库的提取方案及实现代码解析 自动驾驶场景库提取方案与实现代码详解 自动驾驶场景库提取方案及实现代码设计 自动驾驶场景库提取方案及实现代码构建 自动驾驶场景库提取方案及实现代码方案 自动驾驶场景库提取方法及实现代码方案 自动驾驶场景库提取方案及实现代码研究 自动驾驶场景库的提取方案及实现代码 自动驾驶场景库提取完整方案及实现代码 自动驾驶场景库提取方案及实现代码详述（最新、最全版本！打开链接下载即可用！）
基于 YoloP 模型打造的自动驾驶感知工具
08-16
资源下载链接为： https://pan.quark.cn/s/bd85ece37e57 基于 YoloP 模型打造的自动驾驶感知工具（最新、最全版本！打开链接下载即可用！）
海底管道腐蚀缺陷生长与多物理场耦合分析综述（含详细代码及解释）
08-16
内容概要：本文深入探讨了海底管道在运行压力和轴向位移作用下腐蚀缺陷生长的影响。基于多物理场耦合和变形几何的三维有限元模型，模拟了海底管道在海洋泥浆环境中的缺陷生长过程。研究揭示了更深的缺陷和更大的运行压力会增强局部应力集中和腐蚀速率；腐蚀速率随管道轴向位移呈现先减小后增大的趋势；运行压力导致管道优先在缺陷底部腐蚀，而轴向位移则倾向于在整个缺陷表面形成均匀腐蚀。文章还提出了一种基于非稳态多物理场模拟的海底管道剩余寿命评估方法，并通过Python和FEniCS库实现了有限元分析代码，用于模拟腐蚀缺陷生长和电化学-力学耦合分析。; 适合人群：从事海洋工程、管道工程及相关领域的科研人员和技术工程师。; 使用场景及目标：①研究海底管道腐蚀缺陷生长机制；②评估海底管道的剩余寿命；③优化海底管道的维护和管理策略；④开发更精确的腐蚀预测模型。; 其他说明：本文不仅提供了理论分析和实验数据，还给出了详细的Python代码实现，方便读者进行复现和进一步研究。模型创新性地结合了力学和电化学效应，实现了腐蚀缺陷演化的高精度模拟，为海底管道的安全运行提供了先进的数值分析工具。
嵌入式开发-Qt框架-C编程-轻量级虚拟键盘-跨平台输入法-中文英文数字符号输入-大小写切换-皮肤主题定制-手写识别功能-开源学习项目-适用于Linux-Windows-And.zip
最新发布
08-16
pycharm嵌入式开发_Qt框架_C编程_轻量级虚拟键盘_跨平台输入法_中文英文数字符号输入_大小写切换_皮肤主题定制_手写识别功能_开源学习项目_适用于Linux_Windows_And.zip
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱肉肉

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值