主数据:是有关业务实体(雇员,客户,产品等)的数据,这些实体为业务交易和分析提供了语境信息。
需要对主数据的值和标识符进行控制
参考数据:用于描述或分类其他数据,或者将数据与组织外部的信息联系起来的任何数据。
是因为什么业务驱使我们关注参考数据和主数据的管理?比如代码表、分类表、描述表等。
需要对定义的值域以及其定义进行控制。
语境关系图
定义:
管理共享数据以满足组织目标,减少与数据冗余相关的风险,确保更高的质量,并降低数据整合的成本
目标:
1. 在一个组织内,跨业务领域的应用程序能够共享信息资产
2. 提供权威的经过协调和质量评估的参考数据和主数据来源
3. 通过使用标准、通用数据模型和集成模式降低成本和复杂度
原则:
1.共享数据
2.所有权
3.质量
4.管理职责
5.控制变更
6.权限
启动主数据管理最常见的驱动因素:
1. 满足组织数据需求。
2. 管理数据质量。
3. 管理数据集成的成本。
4. 降低风险。
启动参考数据管理的驱动因素:
1. 通过使用一致的参考数据,满足多个项目的数据需求,降低数据整合的风险和成本
2. 提升参考数据的质量
参考数据
参考数据常用存储技术:
- 关系数据库中的代码表
- 参考数据管理系统
- 用特定与对象属性的元数据指定允许值
1)参考数据结构
- 列表
- 交叉参考数据列表
- 分类法
- 本体
2)专有或内部参考数据
3)行业参考数据
4)地理或位置统计参考数据
5)计算参考数据
6)标准参考数据集的元数据
主数据
一般组织主数据的数据:
1)参与方
2)产品和服务
3)财务体系
4)位置信息
1》记录系统,参考系统
2》可信来源,黄金记录
3》主数据管理
评估一个组织的主数据管理情况,识别以下几点:
1)哪些角色、组织、地点和事物被反复引用
2)哪些数据被用来描述人、组织、地点和事物
3)数据是如何被定义和设计的,以及数据粒度细化程度如果
4)数据在哪里被创建或者来源哪里,在哪里被存储、提供和访问
5)数据通过组织内的系统时是如何变化的
6)谁使用这些数据,为了什么目的
7)用什么标准来衡量数据以及其来源的质量和可靠性
在一个域内规划主数据管理包括以下几个基本步骤:
1)识别能提供主数据实体全貌视图的候选数据源
2)为精确匹配和合并实体、实例制定规则
3)建立识别和恢复未恰当匹配或合并的数据的方法
4)建立将可信数据分发到整个企业的系统中的方法
全生命周期中的关键活动:
1)建立主数据实体上下文,包括相关属性的定义以及其使用条件、并加以治理
2)识别出在单个数据源内以及多个数据源中代表同一个实体的多个实例;构建并维护标识符和交叉引用,以支持信息整合
3)协调和整合不同来源的数据,以提供主记录或事实的最佳版本。
4)识别出哪些未被正确匹配或合并的实例,确保它们得到修正,并关联到正确的标识符
5)通过直接存取、使用数据服务,或通过复制反馈到交易系统、数据仓库或其他分析性数据存储系统,实现对可信数据的跨程序访问
6)在组织内强调使用主数据
4》主数据管理的关键处理步骤
1)数据模型管理
2)数据采集
(1)接收并应对新的数据源采集的要求
(2)使用数据清洗和数据分析工具进行快速、及时、匹配和高级的数据质量评估
(3)评估数据并将数据整合的复杂性传递给请求者,以帮助他们进行成本效益分析
(4)试点数据采集及其对匹配规则的影响
(5)为新数据源确定数据质量指标
(6)确定由谁负责监控和维护新数据源数据的质量
(7)完成与整体数据管理环境的集成
3)数据验证、标准化和数据丰富
(1)验证
(2)标准化
(3)数据丰富
4)实体解析
实体解析包括:实例提取、实例准备、实例解析、身份管理、关系分析
(1)匹配
(2)身份解析
(3)匹配流程/协调类型
(4)主数据ID管理
(5)从属关系管理
5)数据共享和管理工作
5》参与方主数据
6》财务主数据
7》法律主数据
8》产品主数据
9》位置主数据
10》行业主数据
数据共享架构
实现主数据中心环境的三种基本方法
1)注册表
2)交易中心
3)混合模式
主数据管理活动
- 识别驱动因素和需求
- 评估和评价数据源
- 定义架构方法
- 建模主数据
- 定义管理职责和维护过程
- 建立治理制度,推动主数据使用
参考数据管理活动
- 定义驱动因素和需求
- 评估数据源
- 定义架构方法
- 建模参考数据
- 定义管理职责和维护流程
- 建立参考数据治理制度
工具和方法
- 数据整合工具
- 数据修复工具
- 操作型数据存储(ods)
- 数据共享中心(dsh)
- 专门的主数据管理应用
实施指南
不能一夜实现,需要持续过程
数据治理人员必须了解主数据管理和参考数据管理的挑战
监测数据流动
- 显示数据如何在整个组织中共享和使用
- 在管理系统和应用程序中识别数据的血缘关系
- 辅助进行问题根本原因的分析
- 展示数据整合和消费整合技术的有效性
- 通过数据消费展示源系统的数据值延迟
- 确定在集成组件中执行的业务规则和转换的有效性
管理参考数据变更
接受变更请求-》确定利益相关方-》确认影响-》决策和沟通-》xxx通知xxx?
参考数据和主数据治理
治理过程应决定如下事项:
- 要整合的数据源
- 要落实的数据质量规则
- 遵守使用规则的条件
- 要监控的行动和监控的频率
- 优先级和数据工作响应等级
- 如何展示信息以满足利益相关方的需求
- 参考数据管理和主数据管理部署的标准授权扎口和预期
度量指标
- 数据质量和遵从性
- 数据变更活动
- 数据获取和消费
- 服务水平协议(SLA)
- 数据管理专员覆盖率
- 拥有总成本
- 数据共享量和使用情况