本文介绍了一篇典型的 PRF (
Pseudo-relevance feedback
)思路的论文,用于利用LLM来做query改写,提升召回率,召回效果。
一、PRF的流程
如下图所示,先用原始的query,进行一次召回。然后基于找回的10条文档,喂给模型,让模型生成5个答案。然后在用模型生成的答案做我新的query再做一次召回。最终得到最终的结果。
其中与模型交互的prompt如下
Give a question “{q}” and its possible answering passages (most of these
passages are wrong) enumerated as: \n 1.{cq
1} \n 2.{cq2} \n 3.{cq3} . . .
please write a correct answering passage.
二、论文中给出的结论
图a,是第一次检索召回的top文档数据,从图上可知,召回10条数据,效果最好。
图b,是验证了每次让模型生成的答案数量。论文给出的结论是,模型每次生成5个答案,效果趋向于稳定和最高。