构建网页用户画像：非侵入式学习方法解析

### 构建网页用户画像：非侵入式学习方法解析 在当今数字化时代，了解用户在网页上的行为和兴趣对于提供个性化的服务和体验至关重要。本文将深入探讨构建网页用户画像的相关技术和方法，包括用户兴趣近似、页面表示、网页访问图以及用户画像的应用等方面。 #### 1. 用户兴趣近似 在网页浏览中，用户在一个页面上停留的时间是衡量其兴趣的一个重要指标。通常，若用户在一个页面上停留超过 15 分钟，且时间间隔超过上限，则会被视为不同的会话。浏览器一般有历史记录，但缺乏访问日志（访问日志本质上是更详细的历史记录），因为历史记录足以用于在会话中浏览页面并维护链接过期的时间戳。访问日志通常存在于 HTTP 服务器中。为了为浏览器客户端维护访问日志，有以下两种方法： - **修改浏览器源代码**：这种方法需要对复杂的软件进行更改，并且依赖于具体的浏览器。 - **使用 Web 代理服务器**：代理服务器作为浏览器客户端和 Web 之间的中继，常用于安全（防火墙后的客户端）、性能（外部页面的系统级缓存）和/或过滤（屏蔽不良网站），它可以记录 HTTP 请求。 基于上述信息，我们可以设计一种衡量用户对页面兴趣的方法： - **简单衡量方法**：Interest(Page) = Frequency(Page)，其中 Frequency(Page) 是用户访问页面的频率，我们将访问次数视为兴趣的主要指标。 - **复杂衡量方法**： ```plaintext Interest(Page) = Frequency(Page) × (1 + IsBookmark(Page)+ Duration(Page) + Recency(Page) + LinkVisitPercent(Page)) ``` 其中： - `IsBookmark(Page)`：若页面是书签则为 1，否则为 0。 - `Duration(Page)`：`TotalDuration(Page)/Size(Page)` 与 `maxPage∈VisitedPages(TotalDuration(Page)/Size(Page))` 的比值。 - `Recency(Page)`：`(Time(LastVisit) - Time(StartLog)) / (Time(Now) - Time(StartLog))`。 - `LinkVisitPercent(Page)`：`NumberOfLinksVisited(Page) / NumberOfLinks(Page)`。 `Interest(Page)` 的最大值为 `Frequency(Page) × 5`。 所有被访问的页面在不同程度上都可以被认为是有趣的，因为用户访问了它们。然而，如何找到用户不感兴趣的页面呢？一种方法是考虑访问页面中用户未点击的链接。相关工作在文本分类方面，通常将文档映射到多个已知的类别中，而我们的任务是将页面分为有趣和不有趣两类，并且不能假设所有网页都是已知的。 目前，在公式 2 中，我们基于访问频率对每个因素进行了同等的赋值。后续需要通过一些实验来验证这个模型，并采用加权方案，使用回归技术来调整模型中的权重。 #### 2. 页面表示 网页的各种表示方法已被广泛研究，大多数研究人员使用由 Salton 开创的向量空间模型。在这个模型中，每个文档由一个权重向量表示，每个权重对应一个特征，大多数情况下是一个单词，这种方法被称为“词袋模型”，因为它通常不保留文档中的单词顺序信息。 很多研究聚焦于将单个单词（一元语法）作为特征，部分原因是可能的多词短语组合数量巨大，另一个原因是早期“句法”和“统计”短语的结果参差不齐。统计工作在构建多词特征时主要关注共现情况，例如互信息： ```plaintext MI(a, b) = log(P(a, b) / (P(a)P(b))) ``` 该指标衡量了在已知单词 a 存在的情况下，单词 b 在窗口中出现的不确定性的降低程度。然而，它没有考虑到任一或两个单词在窗口中缺失的影响。预期（或平均）互信息（EMI）可以捕捉单词缺失的影响： ```plaintext EMI(A, B) = ∑(a,a∈A) ∑(b,b∈B) P(A, B) log(P(A, B) / (P(A)P(B))) ``` 为了更好地结合正反两方面的证据，我们引入了增强预期互信息（AEMI）： ```plaintext AEMI(A, B) = ∑((A=a,B=b),(A=a,B= ```