论文阅读汇总（2）-【篇数：50】

最新推荐文章于 2024-10-16 23:32:31 发布

原创

最新推荐文章于 2024-10-16 23:32:31 发布 · 855 阅读

CC 4.0 BY-SA版权

文章标签：

博主分享了从2021年2月到5月阅读的50篇论文，涵盖问答系统、自然语言处理、信息检索和模型预训练等多个领域。论文关注点包括数据增强、模型统一性、推理方法、多跳问答、信息检索、开放域问答等，探讨了如何提高模型的准确性和泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本人学习所有系列：汇总帖

这一篇文章作为精读/泛读论文的一个汇总贴。

2021-2-3开始，期待刷到100篇的那一天。

主要内容：引入了一个逻辑引导的数据增强和基于一致性的正则化框架，以实现准确和全局一致的质量保证，特别是在有限的训练数据设置下。我们的方法在三个不同的质量保证数据集上显著改进了最先进的模型。

主要内容：使用语言建模的最新进展来构建一个单一的预先培训的质量保证模型UNIFIEDQA，该模型在跨越4种不同格式的20个质量保证数据集上表现良好。UNIFIEDQA的性能与8个不同的模型相当，这些模型是在单独的数据集上进行训练的。即使面对12个未见过的观察格式数据集，UNIFIEDQA的表现也令人惊讶地好，显示出来自其外部训练数据的强大泛化能力。

主要内容：介绍了MTMSN，这是一个多类型、多跨度的阅读理解网络，需要对段落内容进行离散推理。我们增强了一个支持逻辑否定的多类型答案预测器，提出了一种产生多个答案的多跨度抽取方法，并设计了一个算术表达式重排机制来进一步确认预测。我们的模型在DROP隐藏测试集上实现了79.9 F1，创造了新的最先进的结果。

主要内容：将回答多跨度问题的任务转换为一个序列标记问题，并给出了一个简单的相应的多跨度体系结构。我们表明，用我们的多跨度体系结构替换标准的单跨度体系结构可以显著提高多跨度问题的结果，而不会损害单跨度问题的性能，从而在QUOREF上获得最先进的结果。

主要内容：过生成大量数据并在多任务设置中进行训练，将这一技能注入经过预先训练的LM中。我们证明，根据该数据对模型GenBERT进行预训练，可以显着提高DROP的性能（49.3 →72.3 F1），在使用简单通用的编码器-解码器体系结构的同时，达到与可比尺寸的最新模型相匹配的性能。

主要内容：编译了一个包含八种不同类型数据的多面数据集，并定义了一个任务来解决多任务环境中的数据集。我们介绍需要外部知识、常识知识和领域知识的数值推理题。根据结果，我们推断，在所有八项任务中表现良好比现有任务更具挑战性。

主要内容：提出了一种新的基于上下文注意的深度神经网络，SDNet，来处理会话式问答任务。通过在文章和会话历史上利用相互注意和自我注意，该模型能够理解对话流并将其与文章内容的消化相融合。此外，我们整合了NLP、BERT的最新突破，并以创新的方式利用它。与以前的方法相比，SDNet取得了更好的结果。在公共数据集CoQA上，SDNet在整体F1指标上比以前最先进的模型高出1.6%。