Rerank模型哪款最强？详解如何轻松集成到你的项目中！

今天，我们动手在项目中实现Rerank。

Rerank的目的是通过重新排序检索结果，提升文档与查询的相关性。其优势在于能够进一步提高检索准确性，确保最相关的文档排在前列，从而显著提升系统的整体性能和用户体验，如下图所示。

因为在搜索的时候存在随机性，就是我们在RAG中第一次召回的结果往往不太满意的原因。但是这也没办法，如果你的索引有数百万甚至千万的级别，那你只能牺牲一些精确度，换回时间。

这时候我们可以做的就是增加top_k的大小，比如从原来的10个，增加到100个。

然后再使用更精确的算法来做rerank，使用一一计算打分的方式，做好排序。比如100次的遍历相似度计算的时间，我们还是可以接受的。

有朋友问我，Rerank如何集成到项目中呢？

答案就是：Rerank模型的方式集成到项目中。

在HuggingFace上面搜索，发现有很多Rerank模型，如下图。

新的reranker模型：发布跨编码器模型 BAAI/bge-reranker-base 和 BAAI/bge-reranker-large ，它们比嵌入模型更强大。

我们建议使用/微调它们来重新排名嵌入模型返回的前 k 个文档。

如何使用bge-reranker-large 模型呢？https://huggingface.co/BAAI/bge-reranker-large和bge-reranker-base下载模型。

下面，我们以 BAAI/bge-reranker-large 这个模型为例进行说明，我个人推荐的、最简单的方案是使用 FlagEmbedding 这个库：

第一种方式：FlagEmbedding 库

pip install -U FlagEmbedding

获取获取相关性分数（分数越高表明相关性越高）：

from FlagEmbedding import FlagReranker
reranker = FlagReranker('BAAI/bge-reranker-large', use_fp16=True) # Setting use_fp16 to True speeds up computation with a slight performance degradation

score = reranker.compute_score(['query', 'passage'])
print(score)

scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']])
print(scores)

第二种方式：HuggingFace库

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('BAAI/bge-reranker-large')
model = AutoModelForSequenceClassification.from_pretrained('BAAI/bge-reranker-large')
model.eval()

pairs = [['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']]
with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)    
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()    
    print(scores)

所以，当在RAG 项目中，使用Embedding 求出topN的时候，N可以大一点儿，然后重新组织问题和检索出来的答案。

比如，question是问题，top_n_answers是Embedding返回的结果，得到Rerank的新数据结构。

new_rerank_pairs = [[question, answer] for answer in top_n_answers]

目前rerank模型里面，最好的应该是cohere，不过它是收费的。

开源的是智源发布的bge-reranker-base和bge-reranker-large。bge-reranker-large的能力基本上接近cohere，而且在一些方面还更好。

几乎所有的Embeddings都在重排之后显示出更高的命中率和MRR，所以rerank的效果是非常显著的。

embedding模型和rerank模型的组合也会有影响，可能需要开发者在实际过程中去调测最佳组合。

下面是一个使用Huggingface和Faiss进行Rerank的Python代码示例。这个示例将展示如何从一个初始的文档集合中检索文档并通过Rerank优化排序，以提升检索结果的相关性。

在没有使用Rerank之前，只通过Embedding，检索Top3。

from langchain.vectorstores import FAISS
from langchain_core.documents import Document
from langchain.text_splitter import CharacterTextSplitte
from langchain.embeddings import HuggingFaceEmbeddings

texts = [
    '哪个快递公司最好？',    
    '我该选哪家快递？',    
    '哪个快递最快？',    
    '哪家快递服务最可靠？',    
    '我应该用哪个快递寄包裹？',    
    '哪家快递性价比最高？',    
    '发货用哪个快递公司比较好？',    
    '哪个快递公司收费最合理？',    
    '选择哪个快递更安全？',   
    '哪个快递公司的客户服务最好？',    
    '发顺丰快递'
]

documents = []
for idx, text in enumerate(texts):
    metadata = {"idx": idx}    
    doc = Document(page_content=text, metadata=metadata)   
    documents.append(doc)
    
text_splitter = CharacterTextSplitter(separator="\n", chunk_size=512)
texts = text_splitter.split_documents(documents)

local_model_name = 'shibing624_text2vec-base-chinese'
embeddings = HuggingFaceEmbeddings(model_name=local_model_name)

db = FAISS.from_documents(texts, embeddings)
faiss_index = "vectors_db/hln_tb_faiss_index"
db.save_local(faiss_index)

question = "发什么快递？"
answers = db.similarity_search(question, k=3)
print(answers)

得到的结果是：

[Document(page_content='哪个快递最快？', metadata={'idx': 2}), Document(page_content='发货用哪个快递公司比较好？', metadata={'idx': 6}), Document(page_content='我应该用哪个快递寄包裹？', metadata={'idx': 4})]

加入Rerank 之后，Top改成Top10。

from FlagEmbedding import FlagReranker

# 构造一个 FlagReranker 实例，设置 use_fp16 为 true 可以加快计算速度
reranker = FlagReranker('BAAI/bge-reranker-large', use_fp16=True)

new_rerank_pairs = [[question, answer.page_content] for answer in answers]
# 计算多对文本间的相关性评分
scores = reranker.compute_score(new_rerank_pairs)
print(scores)

最后讲一下Rerank的微调。

准备数据：

{"query": "Five women walk along a beach wearing flip-flops.", "pos": ["Some women with flip-flops on, are walking along the beach"], "neg": ["The 4 women are sitting on the beach.", "There was a reform in 1996.", "She's not going to court to clear her record.", "The man is talking about hawaii.", "A woman is standing outside.", "The battle was over. ", "A group of people plays volleyball."]}
{"query": "A woman standing on a high cliff on one leg looking over a river.", "pos": ["A woman is standing on a cliff."], "neg": ["A woman sits on a chair.", "George Bush told the Republicans there was no way he would let them even consider this foolish idea, against his top advisors advice.", "The family was falling apart.", "no one showed up to the meeting", "A boy is sitting outside playing in the sand.", "Ended as soon as I received the wire.", "A child is reading in her bedroom."]}

运行微调脚本：

torchrun --nproc_per_node {number of gpus} \
-m FlagEmbedding.reranker.run \
--output_dir {path to save model} \
--model_name_or_path BAAI/bge-reranker-base \
--train_data ./toy_finetune_data.jsonl \
--learning_rate 6e-5 \
--fp16 \
--num_train_epochs 5 \
--per_device_train_batch_size {batch size; set 1 for toy data} \
--gradient_accumulation_steps 4 \
--dataloader_drop_last True \
--train_group_size 16 \
--max_len 512 \
--weight_decay 0.01 \
--logging_steps 10

参数：

per_device_train_batch_size：训练中的批量大小。

train_group_size：训练中查询的正数和负数。总有一个正数，所以这个参数将控制负数的数量 （#negatives=train_group_size-1）。注意到否定的数量不应大于数据 “neg”:List[str] 中的否定数量。除了此组中的底片外，批次内的底片也将用于微调。

讲完了Rerank，再来看看大模型最新消息：

Llama 3.1 405B 已正式开源！

Llama 3.1 405B 在性能上可与 GPT-4 等闭源模型相媲美，在通用知识、可控性、数学、工具使用和多语言翻译上表现出色。

支持 128K 上下文长度， 405B、8B 、70B 三个型号。

同时还发布了 Llama Guard 3 和 Prompt Guard 等安全工具，及 Llama Stack API，以促进第三方项目更容易地使用 Llama 模型。

Llama 3 将会集成图像、视频和语音的功能，能够识别图像和视频并支持通过语音进行交互，此功能目前正在开发中。

Meta 使用了超过 16,000 个 H100 GPU 来训练 Llama 3.1 405B，为了支持大规模生产推理，Meta 对模型进行了量化，使其能够在单个服务器节点上运行。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。