Web使用挖掘：数据收集与预处理深度解析

### Web使用挖掘：数据收集与预处理深度解析 在当今数字化时代，Web使用挖掘变得越来越重要，它能为推荐引擎、可视化工具以及Web分析和报告生成工具等应用提供有价值的输入。下面我们将详细探讨Web使用挖掘过程中的数据收集和预处理环节。 #### 1. 数据准备的重要性 在任何数据挖掘应用中，创建一个适合应用数据挖掘和统计算法的目标数据集都是一项重要任务。在Web使用挖掘中，这一点尤为关键，因为点击流数据具有独特的特征，并且与从多个来源和渠道收集的其他相关数据存在复杂的关系。数据准备过程通常是Web使用挖掘过程中最耗时且计算密集的步骤，往往需要使用一些在其他领域不常用的特殊算法和启发式技术。这个过程对于从数据中成功提取有用模式至关重要，它可能包括对原始数据进行预处理、整合来自多个来源的数据，以及将整合后的数据转换为适合特定数据挖掘操作输入的形式。我们将这个过程统称为数据准备。 #### 2. 数据来源和类型 Web使用挖掘中使用的主要数据来源包括服务器日志文件，如Web服务器访问日志和应用服务器日志。此外，还有一些其他重要的数据来源，如站点文件和元数据、运营数据库、应用模板和领域知识。在某些情况下，对于某些用户，还可以通过客户端或代理级（互联网服务提供商）的数据收集，以及来自外部点击流或人口统计数据源（如ComScore、NetRatings和Acxiom提供的数据聚合服务）获取额外的数据。这些通过各种来源获得的数据可以分为以下四个主要类别： - **使用数据**：Web和应用服务器自动收集的日志数据代表了访问者的细粒度导航行为，是Web使用挖掘的主要数据来源。每个对服务器的命中（对应一个HTTP请求）都会在服务器访问日志中生成一个单独的条目。每个日志条目（取决于日志格式）可能包含请求的时间和日期、客户端的IP地址、请求的资源、调用Web应用程序时可能使用的参数、请求的状态、使用的HTTP方法、用户代理（浏览器和操作系统类型及版本）、引用的Web资源，以及（如果可用）用于唯一标识重复访问者的客户端cookie。例如，一个典型的服务器访问日志条目可能显示一个IP地址为“1.2.3.4”的用户访问服务器（maya.cs.depaul.edu）上的资源“/classes/cs589/papers.html”。在Web使用挖掘中，最基本的数据抽象级别是页面视图，它是由单个用户操作（如点击）导致在用户浏览器上显示的一组Web对象的聚合表示。在用户级别，最基本的行为抽象级别是会话，即单个用户在一次访问期间的一系列页面视图。 - **内容数据**：网站中的内容数据是传达给用户的对象和关系的集合，主要由文本材料和图像的组合组成。用于传递或生成这些数据的数据源包括静态HTML/XML页面、多媒体文件、通过脚本动态生成的页面段，以及运营数据库中的记录集合。网站内容数据还包括嵌入在网站或单个页面中的语义或结构元数据，如描述性关键字、文档属性、语义标签或HTTP变量。网站的底层领域本体也被视为内容数据的一部分，例如产品类别、通过本体语言（如RDF）对语义内容和关系的显式表示，或运营数据库中数据的数据库模式。 - **结构数据**：结构数据代表了网站设计者对内容组织的视图，通过页面之间的超链接反映的页面间链接结构来捕获。它还包括页面内内容的页面内结构，例如HTML和XML文档可以表示为页面标签空间上的树结构。网站的超链接结构通常由自动生成的“站点地图”捕获。对于动态生成的页面，站点映射工具必须结合对生成HTML内容的底层应用程序和脚本的内在知识，或者能够使用传递给此类应用程序或脚本的参数样本来生成内容段。 - **用户数据**：网站的运营数据库可能包含额外的用户配置文件信息，如注册用户的人口统计信息、用户对各种对象（如产品或电影）的评分、用户的过去购买或访问历史，以及其他显式或隐式表示用户兴趣的信息。只要能够区分不同用户，其中一些数据可以匿名捕获，例如客户端cookie中包含的匿名信息可以被视为用户配置文件信息的一部分，用于识别网站的重复访问者。许多个性化应用程序需要存储先前的用户配置文件信息。 以下是一个表格总结这些数据类型： | 数据类型 | 描述 | 示例 | | --- | --- | --- | | 使用数据 | 服务器自动收集的日志数据，反映用户导航行为 | 服务器访问日志中的条目，记录用户请求的时间、IP地址、请求资源等 | | 内容数据 | 网站传达给用户的对象和关系集合 | 静态HTML页面、多媒体文件、运营数据库记录等 | | 结构数据 | 网站内容组织的视图，通过超链接和页面内结构体现 | 站点地图、HTML和XML文档的树结构 | | 用户数据 | 运营数据库中包含的用户配置文件信息 | 用户人口统计信息、评分、购买历史等 | #### 3. Web使用数据预处理的关键要素 Web使用数据预处理所需的高级任务包括融合和同步来自多个日志文件的数据、数据清理、页面视图识别、用户识别、会话识别（或会话化）、事件识别，以及将点击流数据与其他数据源（如内容或语义信息，以及运营数据库中的用户和产品信息）进行整合。下面我们详细探讨其中一些关键任务： - **数据融合和清理** - **数据融合**：在大型网站中，用户访问的内容通常来自多个Web或应用服务器。数据融合是指合并来自多个Web和应用服务器的日志文件，这可能需要对这些服务器进行全局同步。在没有共享嵌入式会话ID的情况下，可以使用基于服务器日志中“引用者”字段的启发式方法，以及各种会话化和用户识别方法来执行合并。这一步在“跨站点”Web使用挖掘中至关重要，因为在这种情况下需要对多个