空间数据仓库基础全解析

# 空间数据仓库基础全解析 ## 1. 数据集市 数据集市通常被定义为一种专门的、面向主题的、高度聚合的小型仓库。与数据仓库相比，它的范围更窄，可视为部门级或特殊用途的子仓库，通常处理较粗粒度的数据。 ### 1.1 数据集市特点 - **设计侧重**：数据集市的设计更多依赖用户的分析需求，而数据仓库则更依赖可用数据。 - **数据来源**：企业中可以创建多个数据集市，多数情况下，它由数据仓库的子集构建而成，但也可以从企业级事务数据库或多个遗留系统构建。 - **目标差异**：与数据仓库不同，数据集市并不旨在提供组织的全局视图。在同一组织内，多个数据集市的内容通常会有重叠。 ### 1.2 数据集市与数据仓库对比 | 对比项 | 数据仓库 | 数据集市 | | --- | --- | --- | | 分析目的 | 用于全局分析 | 用于更具体的分析 | | 数据聚合程度 | 聚合/汇总数据 | 高度聚合/汇总数据 | | 导向 | 企业导向 | 主题导向 | | 数量 | 每个组织一个 | 组织内多个 | | 数据结构 | 通常为多维数据结构 | 始终为多维数据结构 | | 数据库规模 | 非常大的数据库 | 大型数据库 | | 数据填充来源 | 通常来自遗留系统 | 通常来自数据仓库 | ### 1.3 数据集市的优缺点 - **优点**：在面对构建企业级仓库的重大技术和组织挑战时，构建特定主题的数据集市投资较小、投资回报快，且政治斗争最小。 - **缺点**：从长期来看，组织内可能会出现多个数据集市，但仍无法获得组织的全局视图。不过，这种方式在短期内有诸多优势，因此经常被采用，有时甚至是唯一可行的选择。 ## 2. 在线分析处理（OLAP） OLAP 是一类非常流行的决策支持工具，通常作为数据仓库和数据集市的客户端使用。 ### 2.1 OLAP 功能 - **基本功能**：提供快速、交互式和便捷的临时数据探索与分析功能，具有多维用户界面。其功能包括向下钻取、向上钻取、跨维度钻取等，以及过滤、切片、切块和旋转等导航功能。 - **高级功能**：用户还可以借助更高级的功能，如通过标记有趣的单元格和路径的方法，聚焦需要特别关注的异常或位置。 ### 2.2 OLAP 可视化 OLAP 技术提供高级用户界面，不仅适用于数据立方体中维度和级别选择的多维范式，还适用于不同数据可视化形式的导航。可视化功能包括 2D 或 3D 表格、饼图、直方图、条形图、散点图、分位数图和并行坐标等，用户可以在其中进行导航操作。 ### 2.3 OLAP 系统构建方式 - **直接读取仓库**：每个 OLAP 客户端可以直接读取仓库，用作简单的数据探索工具。 - **拥有自己的数据服务器**：OLAP 服务器可以使用关系方法、多维方法或两者结合（基于粒度级别和维度使用频率）来构建数据，分别称为 ROLAP（关系 OLAP）、MOLAP（多维 OLAP）和 HOLAP（混合 OLAP）。此外，也可以使用支持星型/雪花型/星座型模式 SQL 查询的专用 SQL 服务器。 ### 2.4 仪表盘应用 仪表盘应用与 OLAP 功能类似，但它不仅可以使用 OLAP 组件，还可以展示来自事务源（如遗留系统）、Web RSS、流媒体视频、企业资源规划（ERP）系统、复杂统计软件包等的数据。仪表盘将来自不同来源的不同类型数据进行包装，并以非常简单、预定义的全景图和简短的重复操作序列呈现，以便日复一日地访问相同的决策支持数据。它受绩效管理策略（如平衡计分卡）的影响较大，通常由依赖表征分析现象指标的高级战略决策者使用。与 OLAP 相比，仪表盘更易于使用，但灵活性和功能不如 OLAP，因为它支持的决策过程更具结构性和可预测性。 ## 3. 数据挖掘 数据挖掘是数据仓库服务器的另一个流行客户端，是一类软件包或内置功能。 ### 3.1 数据挖掘技术 数据挖掘使用神经网络、决策树、遗传算法、规则归纳和最近邻等不同技术，自动发现大型数据库中的隐藏模式或趋势并进行预测。 ### 3.2 数据挖掘优势 当人类使用 OLAP 手动探索数据过于繁琐和复杂，或者有可能发现高度意外的模式时，数据挖掘就会发挥重要作用。它可以充分利用计算机和专业算法的能力，帮助我们发现有意义的模式或趋势，这些模式或趋势可能需要数月时间才能找到，或者由于数据量大和规则复杂而永远无法被发现。 ### 3.3 数据挖掘与 OLAP 关系 数据挖掘和 OLAP 的界限在某些技术产品中可能会模糊，但要记住，数据挖掘是由算法驱动的，而 OLAP 是由用户驱动的，它们是互补的工具。将