网页清理与分布式航空运输环境优化研究

### 网页清理与分布式航空运输环境优化研究 在当今数字化时代，网页内容挖掘和航空运输管理是两个重要的领域。网页内容挖掘旨在从海量网页中提取有价值的信息，而航空运输管理则需要在动态复杂的环境中实现高效的资源分配和流量控制。本文将介绍网页清理技术以及分布式航空运输环境的优化框架。 #### 网页清理技术 网页清理是网页内容挖掘的重要前置步骤，其目的是去除网页中的噪声信息，将网页分类问题转化为纯文本分类问题，同时不丢失页面的代表性信息。 ##### 网页清理系统模块 - **块提取模块**：从网页中获取语义内容块。 - **块重要性检索模块**： - 按内容对块进行排序，使相似内容的块相邻。 - 计算相邻块对的相似度级别（SimilarLevel）。 - 根据相似度级别、链接百分比（LinkPer）和块位置（PosLevel）计算每个块的重要性级别（ImLevel），公式为：ImLevel = 1 −(1/2 SimilarLevel + 1/3 LinkPer + 1/6 PosLevel)，其中 0 ≤ ImLevel ≤ 1。 - **清理文件生成模块**：从每个网页中选择最多 N 个具有最高重要性级别的相关块记录，生成一组清理文件。N 通常表示每个网页中信息块的平均数量，可以通过观察各种网页的 VIPs 分区结果、经验或固定在合理水平（如 3）来确定。 以下是具体的操作步骤： 1. **排序**：根据 BlockText 属性对表格按升序排序，使相似内容的块相邻。 2. **计算相似度级别**：对于相邻的块对，通过计算相同单词的数量和总唯一单词的数量来确定相似度级别。如果新的相似度级别大于旧的相似度级别，则更新该值；否则，保持旧值。 3. **计算重要性级别**：根据相似度级别、链接百分比和块位置计算每个块的重要性级别。 4. **生成清理文件**：选择具有最高重要性级别的块记录，提取其内容生成纯文本文件。 ##### 实验与性能分析 实验包括网页清理和对清理后记录的分类两部分。 - **网页清理实验**：比较模板检测方法（TPL）和 WebPageCleaner（WPC）的执行速度。从 4 个商业产品网站下载 2500 个网页，这些网页包含 5 个类别的产品。设置 TPL 的分区粒度 k 为 3，WPC 的 PDoC 为 6，N 值设置为 3。实验结果如下表所示： | 网站 | 页面数量 | TPL 执行时间（秒） | WPC 执行时间（秒） | | ---- | ---- | ---- | ---- | | Best Buy | 585 | 107 | 61 | | CNet | 838 | 230 | 150 | | Future Shop | 752 | 143 | 92 | | Amazon | 325 | 100 | 54 | 从表中可以看出，WPC 的执行时间明显短于 TPL。 - **网页分类实验**：使用朴素贝叶斯文本分类方法对三种不同的数据集进行分类：未清理的网页（NC）、使用模板检测方法清理的网页（TPL）和使用 WebPageCleaner 清理的网页（WPC）。设置两种实验情况： - **情况 1：训练数据自动均匀选择**：使用少量文档（少于 20%）进行训练，设置 6 个子情况，分别使用 25、50、75、100、250、500 个文档进行训练，其余文档用于测试。平均准确率和标准误差如下表所示： | 情况 | 训练文档数量 | 测试文档数量 | 方法 | 平均准确率（%） | 标准误差 | | ---- | ---- | ---- | ---- | ---- | ---- | | 1 - 1 | 25 | 2475 | NC | 79.41 | 2.13 | | | | | TPL | 88.63 | 1.41 | | | | | WPC | 91.10 | 0.69 | | 1 - 2 | 50 | 2450 | NC | 90.52 | 1.01 | | | | | TP