训练数据集大小对神经答案选择模型的影响

### 训练数据集大小对神经答案选择模型的影响 #### 1. 引言 深度学习在计算机视觉、音频语音转文本和自然语言处理（NLP）等领域带来了显著的性能提升，这也促使人们将其应用到信息检索（IR）等其他领域。然而，与传统机器学习方法相比，深度学习的性能提升依赖于更高的计算能力、更大的数据集以及算法和架构层面的发展。其中，获取大规模数据集可能是将深度学习应用于新领域时面临的最棘手挑战，尤其是对于监督学习，高质量的训练数据需要投入大量精力进行准备。 问答（QA）是IR和NLP领域交叉的一类任务，即针对语法正确的自然语言问题返回正确的答案句子。本文主要关注问答任务中的一个特定变体——答案选择，即匹配单句问题和单句答案。该任务就是给定一个问题和一组候选答案，从中选择正确答案，近年来它已被作为一个神经IR问题进行研究。 本文采用一种实用的方法来研究训练数据集大小对各种深度神经架构在答案选择任务中性能的影响。具体做法是，通过将训练数据截断为原始训练数据集的不同比例子集，来量化不同训练数据量下训练模型的性能差异。令人惊讶的是，大多数模型在训练数据集增大时，并未表现出预期的性能提升。 #### 2. 相关工作 - **训练数据集大小对卷积神经网络（CNNs）的影响**：已有研究对在图像数据上训练的CNNs进行了探讨，发现模型性能大致随训练数据的增加呈对数增长。Hestness等人的研究进一步从经验上证实了性能与数据集大小之间的对数关系。 - **深度神经网络的泛化问题**：Zhang等人的研究表明，深度神经网络具有“记忆”训练数据的能力。他们证明了对于任何有限的n个d维输入样本，存在一个具有2n + d个权重的两层ReLU神经网络，可以表示该样本上的任何函数。尽管实际中深度神经网络的学习方式可能并非如此，但这一定理揭示了有限数据集可能给深度学习模型的泛化能力带来的挑战。 #### 3. 研究方法 本文通过操纵数据集大小，并使用MatchZoo项目中实现的多个神经IR模型和单一原始数据集来评估效果。答案选择被视为一种问答形式，即问题文本与正确答案文本进行匹配。训练、验证和测试使用的原始数据集是经典的WikiQA数据集，模型在给定数据集上的性能通过平均精度均值（MAP）来衡量。 ##### 3.1 数据准备 训练数据集经过筛选，以确保为训练的模型提供有意义的标记数据。筛选规则是，如果一组候选答案句子中不同时包含正确和错误的候选答案，则忽略该问题及其相关的候选答案句子。 | 数据集类型 | 10% | 25% | 50% | 75% | 100% | 验证集 | 测试集 | | --- | --- | --- | --- | --- | --- | --- | --- | | #问题数量 | 78 | 209 | 414 | 639 | 857 | 122 | 237 | | #问答对数量 | 823 | 2256 | 4321 | 6537 | 8651 | 1126 | 2341 | 验证集和测试集在整个实验过程中保持不变，而训练数据集则系统地在原始（筛选后）训练集的10%、25%、50%、75%和100%之间变化。这些部分训练集是通过对原始（筛选后）训练集中的问题进行无放回随机抽样得到的。每个选定的问题及其对应的所有候选答案和标签都被包含在相应的部分训练集中。这些百分比代表每个问题被包含在每个部分数据集的概率，抽样完成后，这些部分训练集就固定下来。每个模型在每个数据集大小上独立训练五次。 ##### 3.2 模型 本文研究的模型包括： - **深度结构化语义模型（DSSM）**：通过深度架构扩展了潜在语义分析，是神经IR领域的