- 博客(326)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 梯度下降在大模型训练中的作用与实现
梯度下降是大模型训练的核心优化算法，通过计算损失函数的梯度并迭代更新参数来实现优化。本文系统介绍了梯度下降的原理、数学推导（更新公式θ_{t+1} = θ_t - η·∇L(θ_t)）、三种主要变体（Batch GD/SGD/Mini-Batch GD）及其在大模型训练中的应用实践，包括常用的Adam优化器和交叉熵损失函数。通过Python代码实现了梯度下降的1D/3D可视化演示，并对比了不同优化器的性能。文章包含完整的PyTorch训练示例，展示了从理论到实践的完整知识链条，为理解大模型优化机制提供了直观
2025-07-31 14:01:44
606
原创 深入解析 Hugging Face Evaluate：全面指南与实战
Hugging Face推出了Evaluate库，旨在简化NLP和CV任务中的模型评估流程。该库提供了统一的标准评估指标（如准确率、BLEU等），通过简单API即可调用，并与Transformers和Datasets库无缝集成。Evaluate支持自定义指标、批量计算和缓存优化，既可与Trainer结合实现训练过程实时评估，也能独立用于离线评估。其底层基于Datasets和Apache Arrow实现高效数据处理，同时提供参数化配置和流式评估等高级功能，大幅提升了模型评估的效率和标准化程度，适用于各类机器学
2025-07-31 09:57:19
392
原创 基于C-MTEB/CMedQAv2-rerankingv的Qwen3-1.7b模型微调-demo
本文介绍了一个基于Qwen3-1.7B模型的医疗问答微调项目。使用C-MTEB/CMedQAv2-rerankingv数据集，通过GPT-4生成多轮对话数据，转换为JSONL格式后采用LoRA方法进行参数高效微调。项目包含数据处理脚本、模型训练代码和推理测试脚本，支持FP16/FP32混合精度训练。通过配置Lora参数(r=8,alpha=32)和梯度检查点技术，在保持模型性能的同时显著减少训练参数（仅训练可训练参数）。训练完成后可保存LoRA adapter，便于后续部署使用。项目依赖已整理至requir
2025-07-30 23:35:10
1211
原创 NLU 语义解析评测实践：基于函数调用的 ACC、ROUGE 与 BLEU 综合指标
本文提出了一套针对自然语言理解（NLU）任务中语义解析的评估指标体系，主要包括意图准确率、整体解析准确率、ROUGE和BLEU四个维度。意图准确率衡量模型识别用户意图的能力，整体解析准确率要求函数名和所有参数完全正确，ROUGE评估生成文本与参考文本的覆盖程度，BLEU衡量n-gram层面的一致性。文章还提供了实现代码方案，包括中文分词处理、异常保护等功能，支持输出标准化的JSON评估结果。该方案适用于需要结构化输出的NLU任务评估，能够全面反映模型在意图识别、参数填充和文本生成三个关键维度的性能。
2025-07-30 22:35:01
501
原创 如何在n8n中突破Python库限制，实现持久化虚拟环境自由调用-升级版
本文介绍了如何基于官方 n8n 镜像构建自定义 Docker 镜像，使其包含 Python 3 及虚拟环境，解决容器重启后环境丢失的问题。关键步骤包括：1) 编写 Dockerfile 安装 Python 及相关工具；2) 创建启动脚本自动挂载配置目录；3) 验证 Python 环境是否生效。最终实现"一次构建，多次使用"的效果，避免重复安装依赖的麻烦。该方法适用于需要在 n8n 容器中稳定运行 Python 脚本的场景。
2025-07-28 15:01:17
326
原创 基于大模型的预训练、量化、微调等完整流程解析
本文系统介绍了大语言模型（LLM）的关键技术流程，包括预训练（数据准备、词表构建、训练目标）、量化（PTQ/QAT方法、精度选择）和微调（全参数/PEFT策略）三个核心环节，以及蒸馏、对齐、部署优化等辅助技术。通过合理设计从数据收集到模型部署的全流程，可以在保证模型性能的同时实现高效、低成本的应用落地。文章还提供了完整的大模型工作流程图，为开发者提供了清晰的技术实施路径。
2025-07-27 18:08:40
484
原创 从模型量化到服务部署：使用 LLM Compressor 实现 Qwen3-8B 的高效推理优化-demo
摘要：LLM Compressor 是一个用于大语言模型量化的工具，能显著降低推理延迟和资源消耗。本文以 Qwen3-8B 为例，详细介绍了模型量化流程：1）配置文件编写（包括模型路径、量化策略等）；2）W8A16 量化实战步骤；3）基于 vLLM 部署量化模型服务；4）通过 API 测试验证效果。项目提供完整的量化方案与可视化展示，支持灵活配置不同精度要求，为高效部署大模型提供实用解决方案。
2025-07-27 17:50:28
647
原创 大模型量化技术全景解读
大模型量化技术解析 大模型量化是将高精度神经网络参数(如FP32)转换为低精度格式(如INT8/INT4)的技术，旨在压缩模型体积并提升推理速度。其核心原理是通过降低权重和激活值的位宽，实现存储需求减少80%、计算能耗降低的效果。典型案例如DeepSeek-V3模型，通过混合1.5bit-6bit量化策略，将6710亿参数模型从720GB压缩至131GB。量化通过提升并行计算效率、缓存利用率和降低带宽需求来加速推理。主流方法包括无需再训练的PTQ(如GPTQ)和精度更高的QAT(如QLoRA)，各具特点：P
2025-07-22 13:46:28
837
原创 Three.js 从零入门：构建你的第一个 Web 3D 世界
本文介绍了使用Three.js创建3D Web应用的基础教程。从环境搭建开始，讲解了如何初始化项目并创建HTML模板。通过一个旋转立方体的示例，详细说明了Three.js的核心概念，包括场景、相机、渲染器、几何体、材质和网格。文章还展示了进阶功能，如添加光照效果、加载3D模型和用户交互控制，并给出性能优化建议和实战案例。最后推荐了进一步学习的方向和参考资料，为开发者提供完整的Three.js入门指南。
2025-07-21 22:29:39
1141
原创 在 Windows上用WSL和VSCode进行Linux开发环境配置
本文介绍了如何在Windows系统上搭建Linux开发环境。通过安装Windows Subsystem for Linux（WSL）和配置VS Code，开发者可以在Windows上实现无缝的Linux开发体验。具体步骤包括：1）启用WSL功能并安装Ubuntu发行版；2）安装VS Code及Remote-WSL插件；3）连接WSL环境进行开发调试。这种方法无需安装双系统或虚拟机，即可获得完整的Linux开发环境，支持多种编程语言和调试功能。文末还提供了详细的图文操作指引，帮助开发者快速完成环境配置。
2025-07-21 22:17:29
819
原创 从入门到精通：全面理解大模型中的 LoRA 技术
摘要：LoRA（低秩自适应）是一种高效的参数微调技术，通过冻结大模型原始参数并注入低秩矩阵来捕捉任务特定变化。该方法显著减少训练参数（可降至原模型的千分之一），降低显存需求，且不影响推理速度。LoRA已成功应用于NLP、CV、多模态等领域，与QLoRA等技术结合进一步提升效率。尽管面临秩选择、多任务干扰等挑战，但因其部署友好、性能优异，成为大模型适配的主流方案。开源工具如Hugging Face PEFT和Axolotl推动了LoRA的广泛应用。
2025-06-18 11:26:53
568
原创 Windows下MySQL安装全流程图文教程及客户端使用指南（付整合安装包）
本文提供了Windows系统下MySQL 5.7版本的详细安装指南。内容包括：从官网或资源链接获取安装包，确认系统架构，卸载旧版本，选择安装类型(推荐Server only)，配置服务器参数(端口3306)，设置root密码，注册系统服务，添加环境变量，以及验证安装。还介绍了两种常用客户端工具Navicat(收费)和Dbeaver(免费版)的基本使用方法。教程适用于MySQL 5.7和8.0版本安装，并附有图示说明各步骤操作。
2025-06-14 12:20:38
1915
原创 一站式搞定n8n自托管：从零开始部署到避坑指南
摘要（150字）： n8n作为开源工作流自动化工具，自托管可带来数据自主权、成本可控和灵活扩展等优势。本文提供3种部署方案：1）npm全局安装适合Node.js开发者；2）Docker run方式推荐大多数用户，强调数据持久化配置；3）Docker Compose为最佳实践，配合OrbStack优化macOS体验。部署需具备基础CLI和Docker知识，注意设置安全认证、时区和加密密钥。不同方案在易用性、隔离性和扩展性上各有侧重，用户可根据技术能力选择。文中包含详细命令示例和配置说明，涵盖从开发测试到生产环
2025-06-11 11:43:01
1385
原创 如何在n8n中突破Python库限制，实现持久化虚拟环境自由调用
摘要：本文介绍了一种在n8n工作流中突破Python限制的解决方案。由于n8n默认的Code节点无法加载第三方库，通过Docker容器挂载和虚拟环境技术实现了持久化Python环境。具体步骤包括：1) Docker部署n8n并配置数据挂载；2) 创建持久化虚拟环境；3) 通过n8n命令执行节点安装所需库；4) 调用外部Python脚本。该方案支持任意Python库安装，且容器升级不会丢失环境，大幅提升了n8n的数据处理能力。文中还提供了详细的操作命令和注意事项。
2025-06-11 11:39:46
1047
2
原创 使用 uv 工具快速部署并管理 vLLM 推理环境
摘要：本文介绍了如何利用Rust编写的Python包管理工具uv高效部署vLLM大模型推理服务。uv凭借其快速安装、依赖锁定和智能缓存等优势，能有效解决传统工具在大型项目中的局限性。文章详细演示了从uv安装、虚拟环境创建到vLLM服务部署的完整流程，并提供了依赖管理建议。通过uv与vLLM的结合，开发者可以获得更稳定高效的LLM推理部署体验，适用于从本地测试到企业级应用的各种场景。（149字）
2025-06-05 17:09:18
893
原创 全面掌握 vLLM Serve：高性能 OpenAI API 兼容推理服务部署实战指南
vLLM是一款高效的大模型推理引擎，提供OpenAI兼容的API接口。文章详细介绍了vLLM服务的启动方式（CLI或Python模块），并分类解析了模型配置、性能优化、批处理等常用参数。特别说明了量化模型使用注意事项、Token-Level Batching的优势，以及YAML配置部署方式。最后总结了不同场景下的最佳实践建议，帮助用户实现低延迟、高吞吐的模型部署。vLLM支持投机采样等高级特性，是提升推理效率的理想选择。
2025-06-05 16:29:59
1932
原创 Java 17 高效开发指南：新语法特性全面实战
摘要：JDK 17作为Java重要的LTS版本，集成了多项现代化语言特性。记录类简化了不可变对象的定义，密封类实现了类型安全的继承控制，模式匹配优化了类型转换流程，文本块改善了多行文本处理。此外，增强switch、var推断、接口私有方法等特性显著提升了代码简洁性和开发效率。这些改变使Java语言更符合现代开发需求，降低了模板代码量，增强了表达力和安全性。从语法到运行时性能，JDK 17标志着Java向现代化编程语言的转型。
2025-05-27 10:14:46
681
原创 别再乱用锁了！这9种Redisson锁的正确打开方式
Redisson提供了多种分布式锁类型，适用于不同业务场景。可重入锁适合普通并发控制，公平锁确保先到先得，联锁用于多资源操作，红锁提供高可用性，读写锁优化读多写少场景，信号量用于限流控制，可过期信号量防止资源泄漏，闭锁实现任务同步，自旋锁适合高频短操作。根据业务特性和性能需求选择合适的锁类型，如金融系统选用红锁，缓存场景选用读写锁。锁的组合使用需注意获取和释放顺序，避免死锁。合理选型既能保证系统可靠性，又能提升性能。
2025-05-27 10:07:40
638
原创 IndexTTS - B 站推出的文本转语音模型，支持拼音纠正汉字发音（附整合包）
B站推出工业级文本转语音系统IndexTTS，支持拼音纠错和多音字优化。该系统采用字符与拼音混合建模，集成了Conformer编码器和BigVGAN2解码器，实现了4.01的高音质评分。具备零样本语音克隆功能，支持中英双语，适用于视频配音、教育朗读等场景。训练数据达3.4万小时，字词错误率低至1.3%。项目已在GitHub开源，技术文档可查阅arXiv论文。
2025-05-26 23:21:57
2108
1
原创 Nuxt.js vs Next.js：Vue 与 React 阵营的 SSR 双雄对比
Nuxt.js和Next.js分别是Vue和React生态中的服务端渲染框架，它们都支持SSR、SSG、文件路由和API路由，提升性能与SEO。Nuxt.js基于Vue，采用Vite构建，适合快速开发；Next.js基于React，支持多种渲染方式，灵活性更强。选择取决于团队技术栈：Vue选Nuxt.js，React选Next.js。两者都代表了现代全栈开发趋势，值得深入学习。
2025-05-26 22:08:30
920
原创 PDF 文档结构化工具对比：Marker 与 MinerU
在当前大模型和自然语言处理应用快速发展的背景下，高效地将PDF等非结构化文档转换为结构化数据成为关键。本文对比了两款开源工具：Marker和MinerU。Marker由Vik Paruchuri开发，支持PDF、EPUB、MOBI等格式转换为Markdown或JSON，具备多语言支持、自动去除冗余信息、表格和代码块识别等功能，适合处理结构简单的文档。MinerU由OpenDataLab开发，支持PDF、网页、电子书等多种格式，集成先进文档解析模型，支持复杂布局解析、多语言OCR、多种输出格式和可视化工具，适
2025-05-21 23:31:41
2017
原创 打造一个支持MySQL查询的MCP同步插件：Java实现
本文介绍了一个基于Java的MCP同步插件的实现，该插件通过JDBC操作本地MySQL数据库，并通过STDIO与上层MCP客户端（如Cursor）进行通信。插件注册了一个名为mysql的同步工具，接收连接参数和SQL查询，执行后将结果以JSON格式返回。文章详细描述了插件的目录结构、依赖配置（包括MCP核心SDK、MySQL JDBC驱动和Jackson JSON库）以及如何在Cursor中配置和使用该插件。通过命令行启动打包后的JAR文件，用户可以在对话中直接调用mysql工具执行任意查询并获取结果。
2025-05-21 23:16:19
1341
原创 Docker run -v 的 rw 和 ro 模式_docker ro
本文详细介绍了 Docker 容器中挂载卷的使用方法及其重要性。通过 -v/--volume 参数，用户可以将宿主机的文件或目录挂载到容器中，便于配置管理、日志持久化和数据保存。文章还解释了挂载权限的两种模式：ro（只读）和 rw（读写），并展示了如何通过 docker inspect 命令查看挂载详情。最佳实践部分建议优先使用目录映射、集中管理配置文件、分离日志文件以及控制权限，以提高容器管理的效率和安全性。本文旨在帮助用户更好地理解和应用 Docker 挂载卷功能。
2025-05-20 22:44:26
1014
原创 多场景静态网站构建利器：从个人博客到企业官网的最佳实践
本文介绍了多种静态网站生成器，适用于不同场景如个人博客、文档站、产品官网等。静态网站生成器具有性能与成本优势、Markdown原生支持和自动化部署等特点，相比传统动态网站如WordPress更为高效。推荐的生成器包括Astro、Hugo、Hexo、VuePress、VitePress、Docusaurus、Nextra和Docsify，每种工具各具特色，可根据具体需求和技术栈选择。部署建议使用GitHub Pages、Vercel、Netlify等平台，国内访问优化则建议使用国内云服务并配置Nginx+HT
2025-05-19 22:52:21
670
原创 从代码到智能：迈向 AI 驱动的 Java 开发新时代
AI技术在软件开发领域的应用日益广泛，涵盖了智能编码、代码质量与安全审查、测试自动化、性能调优以及项目管理与协作等多个方面。在智能编码领域，GitHub Copilot、Amazon CodeWhisperer、Tabnine、通义灵码、Trae和Cursor等工具通过AI模型提供代码补全、生成和优化功能，支持多种编程语言和IDE，并注重安全性和本地化体验。代码质量与安全审查方面，SonarLint AI、DeepCode、Codota和Jabel等工具通过静态分析和深度学习，帮助开发者发现并修复代码中的潜
2025-05-19 11:27:54
759
原创 MCP干货速递~一文梳理15大Model Context Protocol服务器资源
本文介绍了多个与Model Context Protocol（MCP）相关的资源平台和开源项目，涵盖了从社区驱动的目录到企业级服务的广泛内容。主要资源包括GitHub上的awesome-mcp-servers仓库、AwesomeMCP Servers官方网站、阿里云百炼MCP平台、Cursor Directory MCP、Cline MCP Marketplace、Fleur、Glama MCP、mcp.so、Anthropic官方MCP仓库、MCP Hub、mcp.run、Portkey.ai、Pulse
2025-05-15 21:16:27
655
原创 MCP本地高效与云端实时：stdio 与 HTTP+SSE 传输机制深度对比
模型上下文协议（MCP）定义了客户端与服务器之间的通信标准，采用 JSON-RPC 2.0 格式，并支持两种传输机制：stdio 和 HTTP+SSE。stdio 通过操作系统的 stdin/stdout 管道进行同步阻塞通信，适用于本地开发和批处理任务，具有低延迟和简单部署的优势，但不支持并发和跨主机通信。HTTP+SSE 则通过 HTTP 请求和 SSE 推送实现异步通信，适用于云端部署和实时推送场景，支持多客户端并发访问，但网络开销和连接管理复杂度较高。两种机制各有优缺点，适用于不同的应用场景。
2025-05-15 20:53:44
1415
原创 Mac 环境下 JDK 版本切换全指南
在 macOS 上管理多个 JDK 版本时，可以使用系统自带的 /usr/libexec/java_home 工具。首先，通过执行 /usr/libexec/java_home -V 查询已安装的 JDK 版本及其路径。临时切换版本可以通过设置 JAVA_HOME 和 PATH 环境变量实现，而永久切换则需要将这些设置写入 shell 启动文件（如 ~/.zshrc 或 ~/.bash_profile）。此外，可以通过定义别名或使用 SDKMAN! 工具来简化版本切换过程。这些方法帮助用户在不同项目间灵活切
2025-05-15 20:52:15
2320
原创 火爆AI编程圈的 MCP 到底是个什么东西？
MCP（Model Context Protocol）是由Anthropic主导发布的开放、通用的协议标准，旨在为大模型AI提供一个“万能接口”，使其能够与各种数据源和工具无缝对接。MCP通过统一协议，取代多样化的Agent集成，降低开发、测试和维护成本，提升系统可靠性与效率，加速生态构建，并保持跨应用的上下文理解。其核心架构遵循客户端—服务器模式，包含MCP主机、客户端、服务器、本地资源和远程资源等角色。MCP的使用场景广泛，如IDE中的全能助手、班长与AI助理的协作、定制旅行计划等，展示了其在标准化、灵
2025-05-14 11:43:57
955
原创 10分钟让微信公众号成为智能客服
通过前面的学习，您已经能搭建一个大模型 RAG 应用，并且将其以 AI 智能客服的形式添加到微信公众号中来应对客户咨询，整个过程仅需 0 元（免费试用额度内） 10 分钟。应用于生产环境应用评测建议在正式上线 AI 智能客服前，组织业务人员一起参与应用评测，确保大模型应用的回答效果符合预期。如果不符合预期，可以通过优化提示词、完善补充私有知识、调整文档切分策略等方法来改进回答效果。
2025-04-30 09:45:34
1194
原创 为什么说不推荐使用Executors创建线程池？
尽管Executors工厂方法上手快，但其隐藏的无界队列、不可控的线程数、默认拒绝策略和线程工厂，在生产环境中极易埋下资源耗尽与排障难题。手动构造或Builder模式，显式配置核心参数；使用有界队列和自定义拒绝策略，防止系统过载；完善监控与可观测，快速定位瓶颈；关注虚拟线程，在合适场景下平滑迁移。如此，方能让线程池真正为业务保驾护航，而非“暗度陈仓”。
2025-04-30 09:34:57
507
原创 常用JVM参数（基于JDK1.8）
通过本文，我们了解了 JVM 内存分区的调控方法、不同垃圾收集器的选择及其调优参数，以及如何借助 GC 日志和异常转储文件进行问题分析。合理的 JVM 参数设置能有效降低 GC 停顿、减少内存碎片和避免系统宕机，从而保障 Java 应用在高并发、大流量场景下的平稳运行。调优过程中，建议始终以应用性能数据为依据，逐步调整并验证每一项改动的效果。
2025-04-30 09:33:31
980
原创 OpenAI 推出「轻量级」Deep Research，免费用户同享
刚刚，OpenAI 正式上线了面向所有用户的「轻量级」Deep Research 版本，意味着即便没有付费订阅，也能体验这一强大工具的核心功能。
2025-04-25 22:50:57
681
原创 全面解析 Spring 依赖注入：@Autowired、@Inject 与 @Resource 深度剖析
在 Spring 框架中，依赖注入（Dependency Injection，简称 DI）是核心功能之一。通过不同的注解（如@Autowired@Inject@Resource），开发者可以以声明式方式将所需组件引入到业务代码中，解耦模块间的依赖关系。本文将从注解来源、默认注入行为，到底层处理流程以及多候选 Bean 的决策机制，全面剖析 Spring 容器如何解析并注入这些注解。
2025-04-25 13:55:32
907
原创 LatentSync - 字节联合北交大开源的端到端唇形同步框架-附整合包
LatentSync是由字节跳动联合北京交通大学共同打造的端到端唇动同步系统。它摒弃了传统依赖 3D 模型或 2D 特征点的中间表示，直接基于“音频条件下的潜在扩散模型”在潜在空间内生成视频帧，实现高保真度的口型同步效果。利用 Stable Diffusion 的生成实力，精细捕获语音与视觉的时序关联端到端设计，无需额外的后处理或双阶段生成引入 Temporal REPresentation Alignment (TREPA) 机制，显著提升帧间连贯性。
2025-04-25 11:32:03
1009
原创 全面解析九大主流向量数据库：功能、性能与应用场景深度对比
Pinecone 是一款全托管的商业向量数据库服务，专注于企业级相似度检索与推荐系统，提供 REST 和 gRPC 接口、自动扩缩容、高可用 SLA 及 SOC 2/GDPR/ISO 27001/HIPAA 合规保障。API 支持：向量 CRUD、批量插入、命名空间管理、过滤查询等。开源工具：官方 SDK 开源于 GitHub 组织。
2025-04-24 22:10:30
2861
原创 Spring Boot 集成Poi-tl实现动态Word文档生成
在项目开发过程中，遇到了一个需求：将用户输入的数据填充到给定格式的 Word 文档中。简单来说，就是要根据预定义的模板生成一个新的 Word 文档，并自动填充数据。官网：http://deepoove.com/poi-tl/poi-tl（Poi Template Language）是一个强大的 Word 模板引擎，能够根据 Word 模板和数据动态生成新的文档。底层是基于 Apache POI 实现的。
2025-04-20 15:58:48
1000
原创 实战指南：封装Faster-Whisper为FastAPI接口并实现高并发处理-附整合包
环境搭建与依赖安装：确保安装 fastapi、uvicorn 和 faster-whisper 及其依赖。全局模型缓存：利用全局字典缓存不同参数（模型名称、设备、精度）下的模型实例，避免重复加载浪费时间。异步任务与并发：通过线程池将耗时的模型加载和转录任务放入后台线程中执行。文件上传处理：使用 FastAPI 的 UploadFile 完成文件上传，并保存到临时文件以供模型处理。请求参数灵活：支持通过 URL Query 参数设置模型名称、设备、精度以及 beam_size，满足多种使用场景。
2025-04-20 15:32:03
1247
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人