贴一下汇总贴:论文阅读记录
论文链接:《Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents》
一、摘要
对多个文档的可解释性多跳阅读理解(RC)是一个具有挑战性的问题,因为它需要对多个信息源进行推理并通过提供支持证据来解释答案预测。在本文中,我们提出了一个有效且可解释的选择,回答和解释(SAE)系统,以解决多文档RC问题。我们的系统会首先过滤掉与答案无关的文档,从而减少干扰信息的数量。这是通过使用新颖的成对逐级学习损失训练的文档分类器来实现的。然后将选定的与答案相关的文档输入模型,以共同预测答案和支持语句。该模型已在令牌级别(用于答案预测)和句子级别(用于支持句子预测)上通过多任务学习目标进行了优化,以及这两个任务之间基于注意力的交互。通过在具有挑战性的多跳RC数据集HotpotQA上进行评估,与排行榜上的其他现有系统相比,拟议中的SAE系统在牵张器设置方面实现了最高的竞争性能。
二、结论
我们提出了一种新的有效的可解释系统来解决多文档的多跳RC问题。我们的系统首先准确地过滤掉不相关的文档,然后对答案和支持证据进行联合预测。提出了几种训练文档过滤模型和答案支持句预测模型的新思路。与现有系统相比,我们提出的系统在HotpotQA盲测试集上取得了有竞争力的结果。感谢斯坦福大学的彭奇对我们提交的模型进行评估。这项工作得到了北京人工智能研究院(BAAI)的部分支持。
- 1.我们设计了一个文档选择模块来过滤掉与答案无关的文档,并移除分散注意力的信息。该模型基于对文档嵌入的多头自我关注,以考虑文档之间的交互。我们提出了一种新的成对学习排序损失,以进一步提高准确定位排名靠前的答案相关黄金文档的