自然语言处理数据集与词嵌入的运用

# 自然语言处理数据集与词嵌入的运用 ## 1. 自然语言处理数据集基础概念 在自然语言处理（NLP）中，数据集的构成有几个关键概念。一个实例通常从数据集中的一条记录创建而来，不过并非总是如此。例如，在检测句子中所有名词的任务里，每个单词会成为一个实例，因为预测是针对每个单词进行的（判断是否为名词）。而标签则是附加在数据集中某个语言单元上的信息，像垃圾邮件过滤数据集的标签表明每条文本是否为垃圾邮件，树库可能为每个单词标注词性标签。这些标签在有监督的机器学习中常作为训练信号。 ### 1.1 斯坦福情感树库（SST） 为构建情感分析器，我们将使用斯坦福情感树库（SST），它是目前广泛使用的情感分析数据集之一。可从“Train, Dev, Test Splits in PTB Tree Format”链接下载该数据集。SST 的独特之处在于，它不仅为句子分配情感标签，还为句子中的每个单词和短语都标注了标签。 以下是数据集中的一些示例： ``` (4 (2 (2 Steven) (2 Spielberg)) (4 (2 (2 brings) (3 us)) (4 (2 another) (4 masterpiece)))) (1 (2 It) (1 (1 (2 (2 's) (1 not)) (4 (2 a) (4 (4 great) (2 (2 monster) (2 movie))))) (2 .))) ``` 这些树状结构采用 S - 表达式编写，对人类来说很难阅读（除非你是 Lisp 程序员）。需要注意的是： - 每个句子都有情感标签（如 4 和 1）。 - 每个单词也有标注，例如 (4 masterpiece) 和 (1 not)。 - 每个短语同样有标注，例如 (4 (2 another) (4 masterpiece))。 这个特性使我们能够研究单词和短语之间复杂的语义交互。例如，对于句子 “The movie was actually neither that funny, nor super witty.”，整体来看它是负面的，但如果仅关注单个单词（如 funny, witty），可能会误判为正面。简单的基于单词“投票”的分类器难以正确分类这样的句子，因为需要理解“neither... nor”这种否定词的语义影响。因此，SST 被用作能够捕捉句子句法结构的神经网络模型的标准基准。在后续操作中，我们将忽略内部短语的标签，仅使用句子的标签。 ### 1.2 训练集、验证集和测试集 在使用 SST 数据集构建情感分析器之前，了解机器学习中的几个重要概念很有必要。在 NLP 和机器学习中，通常会使用不同类型的数据集来开发和评估模型，广泛采用的最佳实践是将数据集划分为训练集、验证集和测试集。 | 数据集类型 | 作用 | 特点 | | --- | --- | --- | | 训练集 | 用于训练 NLP/ML 模型，实例直接输入到机器学习训练管道中，用于学习模型的参数 | 通常是三者中规模最大的 | | 验证集 | 用于模型选择和超参数调整 | 由与训练集类似方式收集的独立实例组成，可评估模型在训练集之外的泛化能力 | | 测试集 | 用于使用全新的、未见过的数据评估模型 | 由与训练集和验证集独立的实例组成，能反映模型在实际应用中的表现 | 下面详细解释为什么需要这三个数据集： - **训练集**：是训练模型的主要数据来源，模型通过学习训练集中的实例来调整参数。 - **验证集**：主要用于模型选择和超参数调整。在选择模型时，如果仅在训练集上评估不同模型的性能，可能会选择到过拟合的模型。过拟合是指模型在训练集上表现良好，但在新数据上泛化能力差。例如，假设算法 B 非常强大，能记住所有训练过的实例和标签，在训练集上评估时，它的准确率可达 100%，但在实际应用中，面对与训练数据稍有不同的新数据，它将无法做出准确判断。而验证集由与训练集独立的实例组成，在验证集上评估模型可以了解模型的泛化能力。此外，验证集还用于调整超参数，超参数是关于机器学习算法或模型的参数，如训练循环的次数、神经网络的层数等。通过在验证集上评估不同超参数的模型，可以选择最优的超参数组合。 - **测试集**：用于最终评估模型在全新数据上的性能。不能仅依赖训练集和验证集来衡量模型的泛化能力，因为模型可能会对验证集产生过拟合。例如，多次尝试不同的算法和超参数组合，可能会有一些模型在验证集上表现良好，但在新数据上表现不佳。因此，需要一个独立的测试集来评估模型的实际性能。 通常，公共数据集会预先划分为训练集、验证集和测试集。如果只有一个数据集，也可以自行划分，常见的划分比例是 80:10:10。 ```mermaid graph LR A[数据集] --> B[训练集 80%] A --> C[验证集 10%] A --> D[测试集 10%] B --> E[训练算法 1] B --> F[训练算法 2] B --> G[训练算法 N] E --> H[模型 1] F --> I[模型 2] G --> J[模型 N] H --> K[模型选择] I --> K J --> K C --> K K --> L[评估] D --> L L --> M[最佳模型] ``` ### 1.3 使用 AllenNLP 加载 SST 数据集 接下来，我们将介绍如何使用代码加载 SST 数据集。假设你已经安装了 AllenNLP（版本 2.5.0）和相应版本的 allennlp - models 包，可以通过以下命令进行安装： ```bash pip install allennlp==2.5.0 pip install allennlp - models==2.5.0 ``` 并导入必要的类和模块： ```python from itertools import chain from typing import Dict import numpy as np import torch import torch.optim as optim from allennlp.data.data_loaders import MultiProcessDataLoader from allennlp.data.samplers import BucketBatchSampler from allennlp.data.vocabulary import Vocabulary from allennlp.models import Model from allennlp.modules.seq2vec_encoders import Seq2VecEncoder, PytorchSeq2VecWrapper from allennlp.modules.text_field_embedders import TextFieldEmbedder, BasicTextFieldEmbedder from allennlp.modules.token_embedders import Embedding from allennlp.nn.util import get_text_field_mask from allennlp.training import GradientDescentTrainer from allennlp.training.metrics import CategoricalAccuracy, F1Measure from allennlp_models.classification.dataset_readers.stanford_sentiment_ tree_bank import \ StanfordSentimentTreeBankDatasetReader ``` 需要注意的是，截至目前，AllenNLP 官方不支持 Windows 系统，但所有代码都可以在 Google Colab 笔记本中运行和修改（http://www.realworldnlpbook.com/ch2.html#sst - nb）。 同时，需要定义以下两个常量： ```python EMBEDDING_DIM = 128 HIDDEN_DIM = 128 ``` AllenNLP 提供了 `DatasetReader` 抽象类，用于从原始格式（如纯文本或特殊的 XML 格式）读取数据集并返回实例集合。我们将使用 `StanfordSentimentTreeBankDatasetReader` 来处理 SST 数据集： ```python reader = StanfordSentimentTreeBankDatasetReader() train_path = 'https:/./s3.amazonaws.com/realworldnlpbook/d ```