数据挖掘概念与技术————.ppt

数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取有价值的信息或知识的过程。数据挖掘概念与技术主要围绕着如何从原始数据中提取有用信息这一核心问题展开。本篇文章主要介绍数据挖掘相关的基本概念、数据类型、数据预处理的重要性及方法。 数据是信息的载体，它可以是广义的，包括数字、符号、文字、图像或计算机代码等。狭义上，数据则是数字。属性是一个对象的某方面性质或特性，通过若干属性可以刻画一个对象。数据集则是数据对象的集合，而数据类型则可以分为数值型和非数值型。数值型数据指可以进行数值运算的数据，如年龄、价格等；非数值型数据包括二元数据（如是/否）、分类型数据（如性别、省份等）和序数型数据（如教育程度、产品等级等）。 数据预处理是数据挖掘的重要环节，包括数据清洗、数据集成、数据变换和数据规约等步骤。数据清洗的目的是处理数据中的噪声和不一致数据，提高数据质量。数据集成是将来自不同数据源的数据合并到一起，以提供统一的数据视图。数据变换则是将数据从一种形式转换到另一种形式。数据规约旨在减少数据的规模，但保持数据的完整性。此外，相似度计算在数据挖掘中也是至关重要的，它有助于识别数据间的相似关系，为后续的数据分析提供支持。 数据集具有不同的特性，包括维度、稀疏性等。维度是数据集中对象具有的属性个数总和。由于高维度数据集可能遭遇维度灾难，因此维度规约技术非常关键。稀疏性指的是在某些数据集中，有意义的数据非常少，对象在大部分属性上的取值为零。此外，数据集的类型多种多样，包括事务数据、数据矩阵、文本数据、图形数据、时序数据、序列数据和空间数据等。事务数据是每个记录涉及一个项的集合，如超市零售数据。数据矩阵则是每个数据对象可以看作是多维空间中的点，每个维代表一个不同属性。文本数据通常用词向量表示，而图形数据则可能指网页链接或化合物结构。有序数据如时序数据和序列数据则是根据时间顺序排列的数据。 为什么需要进行数据预处理呢？实际上，现实世界中的数据通常是杂乱无章的。它们可能是不完整的，包含了缺失属性值或者错误值。数据可能含有噪声，也可能不一致，例如在代码或名称上存在差异。这些数据问题都需要通过预处理来解决，以保证数据挖掘结果的准确性和可靠性。 数据挖掘概念与技术涉及从原始数据中提取有用信息的整个过程，包含识别数据、理解数据类型、选择适当的预处理方法等多个步骤。在这一领域，了解数据的基本概念、数据预处理的重要性及方法是进行有效数据挖掘的基础。