经典的数据仓库教程资源-CSDN下载

经典的数据仓库教程

需积分: 9 58 浏览量 2010-04-29 17:17:12 上传评论收藏 168KB PDF 举报

资源推荐

资源详情

资源评论

书书书

用于小规模数据仓库的 !"# 设计方案

郑$ 捷

［上海烟草集团高扬国际烟草有限公司］

【摘$ 要】$ 围绕小规模数据仓库应用特点，从表空间设计、内存分配、并行处理、

备份策略四个方面讨论了

!"# 的设计原则、实现方法等。

【关键字】$ !"# 数据仓库$ 表空间$ 缓冲池$ 并行处理$ 备份策略

前言

十五期间，高扬公司企业信息化在业务系统建设方面中取得了较大的进展，也积累了大量

的业务数据，开展数据分析利用活动，将这些数据转化为有用的知识成为了十一五信息化建设

的中心任务。

数据分析利用活动的开展离不开存放数据的数据仓库，

!"# 作为该领域的领先者，与我们

熟悉的 %&’()* 相比，它在决策支持型应用方面具有较明显的优势。结合 +!, 历史数据存储、

%!, 操作数据存储、!!, 多维数据存储三个层次数据加载不同需要，围绕着小规模数据仓库

的应用特征进行数据库设计，就能在现有硬件基础上充分将

!"# 的优势发挥出来。

一、背景介绍

-. - 软硬件环境

!"# 版本为 /. #，运行于 !011 2%3040!50 #/67 服务器上，服务器操作系统为

389#77:09;*&<&8=* 、内存 >5"、双 ?9;*) 2@A*B9 C2D，::5" 存储空间（由 > 个 ,C,? 硬盘组成的

4E?!6 分区）。

-. # 需求估计

公司开展数据分析利用活动采取了分步实施，稳步推进的策略，初期从各业务系统抽取的

放入 +!, 的数据约 -#5" 左右。这些数据经过筛选、抽取、归纳、转换到 %!,，继而进入 !!,，

三个层次的初始数据总量预计为

#/5"。与大型数据仓库的海量数据相比，我们的数据规模较

小。公司 !!, 层最大并发用户数设计需求为满足 #7 个客户端同时访问，应用规模也较小。

出于规模与成本考虑，我们选择了在单台服务器上同时安装 !"# 数据库、0F1、" G=89*=H

=%IJ*(;，%1E2 分析服务等多项软件产品，构建完整的数据仓库应用平台。这样在初期设计阶

段就必须合理的估计各产品所需的资源，同时掌握应用的特征。

-. : 设计目标

—-—

本方案主要侧重于物理环境设计，希望实现以下目标：!"# 配置适合小规模数据仓库应

用，合理占用系统资源（内存空间分配 $%" 左右、充分利用双 &’( 进行并行处理、初始分配的

磁盘空间满足 # 年内数据增长的需要），)*+ 运行良好，确保系统响应时间长期保持在用户可

接受的范围之内。

数据库容量应用特征

!,&*-+!"

)*+ 元资料库

中

存放 !"# ,./012340 5.6.70/ 对象，业务工作负载较轻，但默

认配置太低，随着时间的推移及中国国际贸易促进委员会载

日志的积累，容易造成客户端 )*+ 管理反应迟钝。

"8 元资料库

小存放 "3496044 8:;0<= 对象，业务工作负载很轻。

%>1!?

历史数据存储

大

业务逻辑简单，与业务系统中的表一一对位，仅在 )*+ 执行

过程中被使用。

%>8!?

操作数据存储

大

包含复杂的业务逻辑，仅 )*+ 中调用，但调用时访问大量的

数据，消耗大量的资源。

%>!!?

多维数据存储

大

业务工作负载重，包含复杂的业务逻辑，

)*+ 过程中的资源消

耗同 %>8!?。作为 " 8 及 8+@’ 的数据源，需确保有良好的

系统响应时间。

表 A：!"# 实例中需建的数据库清单及应用特征

二、表空间设计

设计阶段首先考虑的是存储架构。表空间的位置、类型、大小、性能参数都应围绕着数据

仓库 !?? 类应用加以规划。

#B A 表空间介绍

!"# 中数据实际存放在物理容器中，物理容器可以是文件、目录或裸设备。表空间为逻辑

容器，将逻辑表和物理容器联系起来。一个物理容器只能被指派给一个空间，而一个表空间可

以包含多个物理容器，数据库管理员可根据需要动态分配，这就赋予了我们管理和性能上的灵

活性。

一共有

C 种类型的表空间，分别为：

目录表空间：每个数据库必须且只能有一个，保存了系统目录表。

常规表空间：保存表数据和索引。每个数据库中必须至少有一个。

长表空间：存储 +8D% 型或 +8" 表列，高扬的数据仓库不涉及该类应用。

系统临时表空间：存储

?E+ 操作（比如排序、重组表、创建索引和连接表）期间所需的内部

临时数据，每个数据库必须至少有一个。

用户临时表空间：存储已声明的全局临时表。至少应该创建一个用户临时表空间以允许

定义已声明的临时表。

有两种不同的表空间管理方式可供选择：

系统管理的空间（

?5?）：由操作系统进行管理。物理容器是普通的目录，!"# 通过操作系

统进行访问，这意味着操作系统掌握着扩展表空间、F G 8 缓冲的支配权，数据库创建时建立的

缺省表空间都是

?5? 类型。

数据库管理的空间（!5?）：物理容器是文件，由 !"# 直接进行管理，相比 ?5?，!5? 性能

—#—

用于小规模数据仓库的 !"# 设计方案

剩余6页未读，继续阅读

评论收藏

内容反馈

ronaldoc888

粉丝: 1

经典的数据仓库教程

《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf

数据仓库（经典教程）

数据仓库经典教程（一）

数据仓库教程

数据仓库入门经典教程

数据仓库入门教程-非常适合初学者

数据仓库教程.rar

数据仓库开发实战教程

数据挖掘 数据仓库经典教程 入门 初学者

数据仓库维度建模 kimbol的经典之作

数据仓库工具箱国外教程

《Hive数据仓库案例教程》教学大纲.pdf

oracle数据仓库教程

数据仓库教程（陈文伟）

数据仓库与数据分析教程ppt.rar

数据仓库经典教程（五）

很全面的数据仓库教程

数据仓库经典教程（三）

数据仓库建模教程，很不错，你一定会喜欢的

数据仓库小白入门

数据仓库学习书籍三本

数据仓库经典教程（四）

数据仓库经典教程（二）

【离线环境 Python 包管理实战】如何在内网高效配置依赖（Anaconda + pip 离线安装）

信息建模与知识库前沿

最新资源

《Hive数据仓库案例教程》教学课件第5章 Hive数据操作.pdf

数据挖掘数据仓库经典教程入门初学者