自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 大模型微调理论问题

在2019年transform之后,大模型在美国飞速发展,在2022年,gpt2.5问世,引起社会的广泛关注,真正的"大"模型开始进入了人们的视野中,在2025年以前,很多企业用的都是国外的GPT等闭源大模型,收到诸多限制,使用国外的大模型就要被国外企业牵着鼻子走,如果国外企业遭遇不测,那么自己的项目也会随之倒闭,使用闭源大模型是不能微调的,限制了其在自己的垂直领域的发展,同时自己的数据安全也得不到保证,还会产生不俗的接口调用费用。

2025-06-04 10:11:32 871

原创 原生func_calling加prompt实现简单的,自然语言查询mysql数据库

这篇文章介绍了一个Python数据库交互工具的实现。该工具通过PyMySQL连接数据库,提供两个核心功能:1) 获取所有表结构信息(get_table_structures),2) 执行任意SQL语句(execute_sql)。工具集成OpenAI API,采用函数调用方式智能处理用户查询请求。系统首先获取数据库结构,然后根据用户问题自动选择合适SQL操作,最后返回处理结果。代码支持参数化查询防止SQL注入,并提供了.env环境变量配置示例。该工具可作为数据库管理助手,通过自然语言交互完成查询操作,适合需要

2025-05-30 10:36:59 466

原创 langchain_agent的应用讲解以及demo-结合数据库记忆历史信息

本文介绍了使用LangChain集成工具和构建Agent的方法。主要内容包括:1) 工具集成方式,如Tavily搜索工具和自定义工具;2) Agent的优势,可自动调用工具并返回结果,避免了手动判断的繁琐;3) 结合数据库实现记忆功能的demo,包括向量存储和对话历史记录。特别强调了Agent类型选择的重要性,ZERO_SHOT_REACT_DESCRIPTION类型无记忆能力,需使用CONVERSATIONAL_REACT_DESCRIPTION才能保留对话历史。最后展示了完整代码实现,包括PDF文档处理

2025-05-29 20:55:38 546

原创 langchain框架的进一步应用

本文介绍了使用LangChain处理PDF文件并进行向量检索的流程。首先创建自定义嵌入器,支持阿里云DashScope模型或本地HuggingFace模型(nlp_gte_sentence-embedding_chinese-large)。然后通过PyPDFLoader加载PDF文件并分割文本,使用RecursiveCharacterTextSplitter进行切片处理。最后将处理后的文档存入Chroma向量数据库,创建检索器进行信息查询,可设置返回结果数量(k=2)。完整流程实现了从PDF解析到向量检索的

2025-05-28 20:06:26 391

原创 从0开始认识langChain

本文介绍了LangChain框架的基本使用方法和特点。LangChain是一个简化大型语言模型(LLM)集成的框架,支持创建对话、处理文本向量等操作。作者通过代码示例展示了: 创建LLM对话的基本流程,包括提示模板、模型初始化和链式调用; 文本向量处理的不同实现方式,比较了OpenAI和阿里云DashScope的嵌入服务; 结合爬虫获取数据、文本分割和向量存储(FAISS)的实际应用案例。 文章还说明了RecursiveCharacterTextSplitter的分割原理,并演示了基于向量相似度的内容检索。

2025-05-26 23:46:13 325

原创 本地持久化向量 以及 混合检索的实现讨论

本文介绍了在RAG项目中实现向量持久化的方法。通过numpy的save/load方法保存和读取embeddings向量,并使用chromadb实现向量数据库的本地持久化存储。文章详细展示了代码实现流程,包括向量存储、检索以及与大模型的交互。同时探讨了混合检索(BM25+向量检索)的局限性,分析了数据量过大和结果不一致等问题。最后介绍了LangChain的EnsembleRetriever实现方案,以及通过DocumentCompressorPipeline进行结果压缩的方法。文末还提到了使用ragas进行R

2025-05-25 11:49:21 368

原创 RAG检索向量特性以及常见异常

简单RAG特性以及理解和常见报错

2025-05-22 22:58:04 785

原创 大模型通过tool_calls调用外部方法

该代码展示了如何通过OpenAI API调用大模型,并结合自定义工具(如求和函数)进行交互。首先,加载环境变量并初始化OpenAI客户端。用户发送问题后,大模型识别出需要使用的工具(如求和函数),并返回工具调用信息。用户执行工具并将结果与工具调用ID一起发送回大模型,完成二次调用。若未正确附加工具调用ID,会抛出异常。此过程可扩展为多工具调用,每次工具调用都会与大模型进行一次交互。

2025-05-21 15:08:59 465

原创 只用permpt创建大模型连接数据库自然语言生成sql(python)

本文介绍了如何利用Python代码与大语言模型(如Qwen)结合,实现数据库结构分析及SQL生成的功能。首先,通过QwenClient类与大模型进行交互,发送消息并获取响应。接着,使用pymysql库连接数据库,获取表结构信息,并通过Streamlit构建用户界面,允许用户输入数据库连接信息和具体需求。最后,将表结构和用户需求发送给大模型,生成相应的SQL语句并返回结果。文章还提出了优化建议,包括将数据库结构保存在大模型的system中、使用单例模式、将对话内容存储在外部文件或数据库中,以及优化获取表结构的

2025-05-21 09:29:25 434

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除