文章目录
https://noworneverev.github.io/graphrag-visualizer-legacy
RAG技术相关简述
文档读取:
文档切分:
文档的切分,分别是
换行符切分、按句号进行切分、固定长度切分、滑动窗口切分(可以减少信息的截断)、按照token并结合滑动窗口切分
采用换行符进行切分
按句号进行拆分
按固定长度进行切分
滑动窗口切分
按照token并结合滑动窗口拆分
token的计算
对编码后的token进行拆分:
文本嵌入
RAG相似度问题
查询
大模型回复
代码封装
web可视化
Langchain方式实现RAG
Streamlit界面展示
运行界面效果:
RAG的Rerank模块
传统方法:
rerank方法: