动手学习RAG
关注
分享
扫一扫
文章平均质量分 82
https://github.com/LongxingTan/open-retrievals
YueTann
个人记录, 毫无章法
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
动手学习RAG: 大模型向量模型微调 intfloat/e5-mistral-7b-instruct
这里直接将query_instruction和document_instruction写进了text里。由于trainer中可以使用多种方式使用多GPU，因此retrievals也都支持。微调后，map从0.651上升到0.699，mrr从0.758上升到0.808。数据还是按照惯例采用t2-ranking。原创 2024-09-18 10:39:50 · 890 阅读 · 0 评论 -
动手学习RAG：大模型重排模型 bge-reranker-v2-gemma微调
微调后map从0.637上升至0.706，mrr从0.734上升至0.816。在C-MTEB中进行评测。微调前保留10%的数据集作为测试集验证。原创 2024-09-18 10:40:39 · 4438 阅读 · 1 评论 -
动手学习RAG: moka-ai/m3e 模型微调deepspeed与对比学习
主要是修改了导入为包的导入，而不是相对引用。这里稍微修改了open-retrievals。数据仍然采用之前介绍的。原创 2024-09-13 20:27:07 · 1723 阅读 · 0 评论 -
动手学习RAG: 向量模型
在世界百年未有之变局与个人自暴自弃的间隙中，我们学一点RAG。RAG是一种独特的应用，“一周写demo，优化搞半年”，我甚至听说它能破解幻术。为了理解其优化中的关键一环，我们先看下文本向量。文本向量除了是RAG检索的重要模块外，也应用在信息检索、排序、分类、聚类、语义相似度中。原创 2024-09-07 16:55:09 · 1503 阅读 · 0 评论 -
动手学习RAG: 迟交互模型colbert微调实践 bge-m3
本文我们来进行ColBERT模型的实践，按惯例，还是以中的代码为蓝本。在RAG兴起之后，ColBERT也获得了更多的关注。ColBERT整体结构和双塔特别相似，但迟交互式也就意味着比起一般ranking模型，交互来的更晚一些。原创 2024-09-12 15:42:16 · 2750 阅读 · 0 评论