信息质量模型解析

### 信息质量模型解析 #### 一、引言 在处理结构化数据时，数据库管理系统（DBMS）通过数据模型和数据定义及操作语言来表示数据及其相关操作。为了表示数据质量，我们需要对传统的数据模型进行扩展。 模型在数据库和信息系统中有着广泛的应用。在数据库中，模型可用于分析需求并将其表示为概念模式，进而转化为逻辑模式以进行查询和事务处理。在信息系统领域，模型可用于描述组织的业务流程，帮助分析师分析和预测流程行为、衡量性能并设计改进方案。 接下来，我们将探讨用于处理结构化关系数据和半结构化数据的数据质量维度问题的传统模型的主要扩展。 #### 二、结构化数据模型的扩展 主要的数据库模型包括实体 - 关系模型（常用于概念数据库设计）和关系模型（被广泛的DBMS采用）。 ##### （一）概念模型 为实体 - 关系模型添加质量特征有多种解决方案： 1. **将属性值的质量建模为同一实体的另一个属性**：例如，若要表达实体“Person”的“Address”属性的某个维度（如准确性或完整性），可以为该实体添加一个新属性“AddressQualityDimension”。但这种方法会使实体不再规范化，因为“AddressQualityDimension”依赖于“Address”，而“Address”又依赖于“Id”。并且，如果要为一个属性定义多个维度，就需要为每个维度定义一个新属性，导致属性数量激增。 2. **引入两种类型的实体来表达质量维度及其值**： - **数据质量维度实体（DataQualityDimension）**：用于表示所有可能的维度和相应评级的对。默认情况下，假设所有属性的评级尺度相同；若尺度依赖于属性，则需将该实体的属性扩展为 <维度名称, 属性, 评级>。 - **数据质量度量实体（DataQualityMeasure）**：其属性包括“Rating”（值取决于所建模的特定维度）和“DescriptionofRating”。完整的数据质量模式由原始数据模式、“DQ Dimension”实体、实体与“DQ Dimension”实体的关系以及与“DQ Measure”实体的关系组成。 以下是一个数据质量模式的示例结构： |部分|说明| | ---- | ---- | |原始数据模式|如实体“Class”及其所有属性（这里仅表示“Attendance”属性）| |DQ Dimension实体|具有属性对 <维度名称, 评级>| |关系|实体“Class”、相关属性“Attendance”与“DQ Dimension”实体的多对多关系“ClassAttendanceHas”，每个属性都需引入一个不同的关系| |与DQ Measure实体的关系|一种扩展实体 - 关系模型的新表示结构，用于关联实体和关系| ##### （二）数据描述的逻辑模型 关系模型通过为每个属性值关联质量值进行扩展，形成了质量属性模型。例如，对于关系模式“Employee”，其属性“EmployeeId”扩展了三个质量属性：准确性、时效性和完整性；“DateofBirth”扩展了准确性和完整性（因为时效性对于“DateofBirth”这类永久数据没有意义）。这些质量属性的值衡量了与整个关系实例相关的质量维度值。 以下是关系模型扩展的示例： |属性|准确性|时效性|完整性| | ---- | ---- | ---- | ---- | |EmployeeId|0.8|0.8|0.9| |DateofBirth|0.9| - |0.7| ##### （三）用于数据操作的Polygen模型 在数据收集和分析过程中，不同来源的数据在不同阶段被处理，新数据继承祖先数据的质量。Polygen模型是关系模型的扩展，旨在明确追踪数据的来源和中间源，适用于异构分布式系统。 - **Polygen域**：由从本地数据库模式的简单域中提取的数据、表示数据来源的本地数据库集合以及导致数据选择的中间数据库集合组成的有序三元组集合。 - **Polygen关系**：有限的时变元组集合，每个元组具有来自相应Polygen域的相同属性值集合。 - **Polygen代数**：一组关系代数运算符，其语义允许注释传播。五个原始运算符包括投影、笛卡尔积、限制、并和差。 - **投影、笛卡尔积、并和差**：从关系代数扩展而来。例如，两个Polygen关系r1和r2的差运算符，若r1中的元组t的数据部分与r2中的元组不同，则选择t，并且r1中数据的所有来源都将包含在差运算符产生的中间源集中。 - **限制运算符**：用于选择满足给定条件的