【论文泛读57】SDNet：基于上下文的基于注意力的深度网络，用于对话式问答

贴一下汇总贴：论文阅读记录

论文链接：《SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering》

一、摘要

会话问答（CQA）是一项新颖的QA任务，需要了解对话上下文。与传统的单转机阅读理解（MRC）任务不同，CQA包括段落理解，共指解析和上下文理解。在本文中，我们提出了一种创新的基于情境的，基于注意力的深度神经网络SDNet，以将情境融合到传统的MRC模型中。我们的模型利用注意力和自我注意力来理解会话上下文并从段落中提取相关信息。此外，我们展示了一种集成最新BERT上下文模型的新颖方法。经验结果表明我们的模型是有效的，该模型在CoQA排行榜中设置了新的最新状态，比之前的最佳模型高出1.6％F1。

二、结论

在这篇文章中，我们提出了一种新的基于上下文注意的深度神经网络，SDNet，来处理会话式问答任务。通过在文章和会话历史上利用相互注意和自我注意，该模型能够理解对话流并将其与文章内容的消化相融合。此外，我们整合了NLP、BERT的最新突破，并以创新的方式利用它。与以前的方法相比，SDNet取得了更好的结果。在公共数据集CoQA上，SDNet在整体F1指标上比以前最先进的模型高出1.6%。

我们未来的工作是将这一模型应用到具有大规模语料库或知识库的开放领域多类问答问题中，在这些问题中，目标段落可能不直接可用。这将是一个更现实的人类问题回答设置。

三、model