- 博客(9)
- 收藏
- 关注
RSS订阅原创 大模型微调理论问题
在2019年transform之后,大模型在美国飞速发展,在2022年,gpt2.5问世,引起社会的广泛关注,真正的"大"模型开始进入了人们的视野中,在2025年以前,很多企业用的都是国外的GPT等闭源大模型，收到诸多限制，使用国外的大模型就要被国外企业牵着鼻子走，如果国外企业遭遇不测，那么自己的项目也会随之倒闭，使用闭源大模型是不能微调的，限制了其在自己的垂直领域的发展，同时自己的数据安全也得不到保证，还会产生不俗的接口调用费用。
2025-06-04 10:11:32
1372
原创 原生func_calling加prompt实现简单的,自然语言查询mysql数据库
这篇文章介绍了一个Python数据库交互工具的实现。该工具通过PyMySQL连接数据库，提供两个核心功能：1) 获取所有表结构信息(get_table_structures)，2) 执行任意SQL语句(execute_sql)。工具集成OpenAI API，采用函数调用方式智能处理用户查询请求。系统首先获取数据库结构，然后根据用户问题自动选择合适SQL操作，最后返回处理结果。代码支持参数化查询防止SQL注入，并提供了.env环境变量配置示例。该工具可作为数据库管理助手，通过自然语言交互完成查询操作，适合需要
2025-05-30 10:36:59
466
原创 langchain_agent的应用讲解以及demo-结合数据库记忆历史信息
本文介绍了使用LangChain集成工具和构建Agent的方法。主要内容包括：1) 工具集成方式，如Tavily搜索工具和自定义工具；2) Agent的优势，可自动调用工具并返回结果，避免了手动判断的繁琐；3) 结合数据库实现记忆功能的demo，包括向量存储和对话历史记录。特别强调了Agent类型选择的重要性，ZERO_SHOT_REACT_DESCRIPTION类型无记忆能力，需使用CONVERSATIONAL_REACT_DESCRIPTION才能保留对话历史。最后展示了完整代码实现，包括PDF文档处理
2025-05-29 20:55:38
547
原创 langchain框架的进一步应用
本文介绍了使用LangChain处理PDF文件并进行向量检索的流程。首先创建自定义嵌入器，支持阿里云DashScope模型或本地HuggingFace模型(nlp_gte_sentence-embedding_chinese-large)。然后通过PyPDFLoader加载PDF文件并分割文本，使用RecursiveCharacterTextSplitter进行切片处理。最后将处理后的文档存入Chroma向量数据库，创建检索器进行信息查询，可设置返回结果数量(k=2)。完整流程实现了从PDF解析到向量检索的
2025-05-28 20:06:26
391
原创 从0开始认识langChain
本文介绍了LangChain框架的基本使用方法和特点。LangChain是一个简化大型语言模型(LLM)集成的框架，支持创建对话、处理文本向量等操作。作者通过代码示例展示了： 创建LLM对话的基本流程，包括提示模板、模型初始化和链式调用； 文本向量处理的不同实现方式，比较了OpenAI和阿里云DashScope的嵌入服务； 结合爬虫获取数据、文本分割和向量存储(FAISS)的实际应用案例。 文章还说明了RecursiveCharacterTextSplitter的分割原理，并演示了基于向量相似度的内容检索。
2025-05-26 23:46:13
325
原创 本地持久化向量 以及 混合检索的实现讨论
本文介绍了在RAG项目中实现向量持久化的方法。通过numpy的save/load方法保存和读取embeddings向量，并使用chromadb实现向量数据库的本地持久化存储。文章详细展示了代码实现流程，包括向量存储、检索以及与大模型的交互。同时探讨了混合检索(BM25+向量检索)的局限性，分析了数据量过大和结果不一致等问题。最后介绍了LangChain的EnsembleRetriever实现方案，以及通过DocumentCompressorPipeline进行结果压缩的方法。文末还提到了使用ragas进行R
2025-05-25 11:49:21
369
原创 大模型通过tool_calls调用外部方法
该代码展示了如何通过OpenAI API调用大模型，并结合自定义工具（如求和函数）进行交互。首先，加载环境变量并初始化OpenAI客户端。用户发送问题后，大模型识别出需要使用的工具（如求和函数），并返回工具调用信息。用户执行工具并将结果与工具调用ID一起发送回大模型，完成二次调用。若未正确附加工具调用ID，会抛出异常。此过程可扩展为多工具调用，每次工具调用都会与大模型进行一次交互。
2025-05-21 15:08:59
467
原创 只用permpt创建大模型连接数据库自然语言生成sql(python)
本文介绍了如何利用Python代码与大语言模型（如Qwen）结合，实现数据库结构分析及SQL生成的功能。首先，通过QwenClient类与大模型进行交互，发送消息并获取响应。接着，使用pymysql库连接数据库，获取表结构信息，并通过Streamlit构建用户界面，允许用户输入数据库连接信息和具体需求。最后，将表结构和用户需求发送给大模型，生成相应的SQL语句并返回结果。文章还提出了优化建议，包括将数据库结构保存在大模型的system中、使用单例模式、将对话内容存储在外部文件或数据库中，以及优化获取表结构的
2025-05-21 09:29:25
435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人