信息检索与网页搜索技术解析

# 信息检索与网页搜索技术解析 ## 1 文本预处理 ### 1.1 停用词移除 在对文档进行索引和存储之前，需要移除一些特定的词汇，这些词汇通常被称为停用词。在执行检索操作前，查询中的停用词也会被移除。停用词的移除可以减少索引的大小，提高检索效率。 ### 1.2 词干提取 在许多语言中，一个单词会根据使用的上下文呈现出不同的语法形式。例如，在英语里，名词有复数形式，动词有动名词形式（通过添加 “ing”），动词的过去式和现在式也有所不同。这些都被视为同一词根形式的语法变体。这种变体可能会导致检索系统的召回率降低，因为相关文档可能包含查询词的变体，而不是查询词本身。 词干提取是将单词还原为其词干或词根的过程。词干是去除前缀和后缀后剩下的部分。在英语中，大多数单词的变体是通过添加后缀产生的，因此英语中的词干提取通常意味着去除后缀。例如，“computer”、“computing” 和 “compute” 会被还原为 “comput”；“walks”、“walking” 和 “walker” 会被还原为 “walk”。词干提取可以让检索系统考虑单词的不同变体，从而提高召回率。 常见的词干提取算法有多种，其中最流行的可能是 Martin Porter 的词干提取算法，它使用一组规则进行词干提取。不过，词干提取也有缺点，它可能会降低检索的精度，因为许多不相关的文档可能会被视为相关。例如，“cop” 和 “cope” 都会被还原为 “cop”，但如果用户在寻找关于警察的文档，只包含 “cope” 的文档可能并不相关。在实际应用中，需要对文档集合进行实验，以确定词干提取是否有帮助。 ### 1.3 其他文本预处理任务 - **数字处理**：在传统的信息检索系统中，除了一些特定类型（如日期、时间等通过正则表达式指定的类型），包含数字的术语通常会被移除。但在搜索引擎中，它们通常会被索引。 - **连字符处理**：连字符的使用可能存在不一致性，例如 “state-of-the-art” 和 “state of the art”。为了解决这个问题，可以去除连字符。但有些单词中的连字符是其组成部分，如 “Y - 21”。一般来说，系统可以遵循一个通用规则（如去除所有连字符），同时设置一些例外情况。连字符的去除有两种方式：一是用空格替换每个连字符；二是直接去除连字符而不留下空格。在某些系统中，两种形式都会被索引，因为很难确定哪种形式是正确的。 - **标点符号处理**：标点符号的处理方式与连字符类似。 - **字母大小写处理**：通常会将所有字母转换为大写或小写。 ### 1.4 网页预处理 网页与传统文本文档不同，因此需要额外的预处理步骤。 - **识别不同文本字段**：在 HTML 中，有不同的文本字段，如标题、元数据和正文。识别这些字段可以让检索系统对不同字段中的术语进行不同的处理。例如，在搜索引擎中，页面标题字段中出现的术语通常比其他字段中的术语更重要，会被赋予更高的权重，因为标题通常是页面的简洁描述。在正文中，那些被强调的术语（如在标题标签 <h1>、<h2> 等或粗体标签 <b> 下的术语）也会被赋予更高的权重。 - **识别锚文本**：与超链接相关的锚文本在搜索引擎中会被特殊处理，因为锚文本通常更准确地描述了链接指向页面所包含的信息。当超链接指向外部页面时，锚文本尤其有价值，因为它是其他人而不是页面作者/所有者给出的页面摘要描述，因此更值得信赖。 - **去除 HTML 标签**：去除 HTML 标签的处理方式与标点符号类似，但需要注意的是，这可能会影响邻近查询和短语查询。HTML 是一种可视化呈现语言，在典型的商业页面中，信息以许多矩形块的形式呈现。简单地去除 HTML 标签可能会导致不应该连接的文本连接在一起，从而给短语查询和邻近查询带来问题。 - **识别主要内容块**：典型的网页，尤其是商业页面，包含大量不属于主要内容的信息，如横幅广告、导航栏、版权声明等，这些可能会导致搜索和挖掘结果不佳。识别主要内容块可以显著提高搜索和数据挖掘的结果。以下是两种识别主要内容块的技术： - **基于视觉线索的分区**：该方法利用视觉信息来帮助找到页面中的主要内容块。可以从网页浏览器中获取页面中每个 HTML 元素的视觉或渲染信息，例如 Internet Explorer 提供的 API 可以输出每个元素的 X 和 Y 坐标。然后可以基于位置和外观特征构建机器学习模型来识别页面的主要内容块。当然，需要手动标记大量的训练示例。 - **树匹配**：该方法基于大多数商业网站页面使用固定模板生成的观察结果，旨在找到这些隐藏的模板。由于 HTML 具有嵌套结构，因此可以为每个页面构建标签树。通过对同一网站的多个页面进行树匹配，可以找到这些模板。一旦找到模板，就可以根据以下观察结果识别哪些块可能是主要内容块：同一模板的不同页面中，主要内容块的文本通常差异较大，而非主要内容块通常非常相似。可以使用 shingle 方法来确定对应块（子树）的文本相似度。 ### 1.5 重复检测 在传统的信息检索中，重复文档或页面不是问题，但在网络环境中，这是一个重要问题。网页和内容的重复有不同类型，复制页面通常称为复制或复制，复制整个网站称为镜像。重复页面和镜像网站常用于提高全球浏览和文件下载的效率，但也有一些重复页面是抄袭的结果。检测这些重复页面和网站可以减小索引大小，提高搜索结果。 检测重复信息的方法有多种，最简单的方法是对整个文档进行哈希处理（如使用 MD5 算法）或计算聚合数（如校验和），但这些方法只能检测完全相同的重复。在网络上，很少能找到完全相同的重复。一种有效的重复检测技术基于 n - 元组（也称为 shingles）。n - 元组是固定窗口大小为 n 的连续单词序列。例如，句子 “John went to school with his brother” 可以表示为五个 3 - 元组短语 “John went to”、“we