67、网页抓取与讨论总结方法解析

网页抓取与讨论总结方法解析

1. 网页抓取分析

在网页抓取过程中，不同阶段的收获率会有所变化。在抓取周期开始时，从相关网站段能找到许多相关网页，这会使收获率上升。但经过一段时间的抓取后，爬虫会从低概率网站段找到更多不相关网页，导致收获率下降，在图表上呈现出波动下降的趋势。

有几种不同的抓取方法，分别是 TFLC - ENS、TFLC - L 和 TFLC - S。实验表明，TFLC - ENS 的抓取性能略优于 TFLC - L 和 TFLC - S。这是因为基于分类器集成的段预测器能比仅使用基于链接的分类器更准确地预测相关网站段。而且，经过多次抓取迭代后，TFLC - ENS 的收获率也会逐渐提高，这说明它能更好地从抓取经验中学习。因此，对于大规模抓取，TFLC - ENS 是更优的选择；而对于小规模抓取，TFLC - S 可能更合适，因为在每个抓取周期的分类器更新过程中，它比 TFLC - L 和 TFLC - ENS 消耗的资源更少。

下面是不同抓取方法收获率的对比表格：
| 抓取方法 | 适用场景 | 优势 |
| ---- | ---- | ---- |
| TFLC - ENS | 大规模抓取 | 抓取性能好，能从经验中学习提高收获率 |
| TFLC - L | 无明显优势 | 略逊于 TFLC - ENS |
| TFLC - S | 小规模抓取 | 资源消耗少 |

其抓取过程的流程图如下：

graph LR
    A[开始抓取] --> B[找到相关网页，收获率上升]
    B --> C{抓取