- 博客(194)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【Mermaid.js】从入门到精通：完美处理节点中的空格、括号和特殊字符
你是否在使用 Mermaid.js 绘制流程图时，仅仅因为节点文本里加了一个空格或括号，整个图就渲染失败了？别担心，这几乎是每个 Mermaid 新手都会踩的坑。本文将从 Mermaid 的解析机制出发，为你彻底讲透如何正确处理节点中的空格、括号及各种特殊字符，并提供“ID 与文本分离”的最佳实践，让你的 Mermaid 代码既健壮又易于维护。基础原则：节点文本含空格或特殊字符时，必须用双引号""包裹。最佳实践：使用id["显示文本"]的方式，将节点ID和显示文本分离，让代码更清晰、健壮。特殊情况。
2025-09-11 10:05:35
598
原创 智能体与大模型：从概念到应用的技术解析
智能体是一种能够感知环境、自主决策并执行任务的软件或系统，通常基于人工智能技术（如大模型）。它通过与用户、数据或外部系统的交互，完成特定目标。感知：理解用户指令、数据输入或环境信息。推理：基于大模型的知识和逻辑进行分析和决策。行动：执行任务，如生成内容、调用API或自动化工作流。智能体的典型应用包括聊天机器人、自动化助手和企业级任务处理系统。Coze：字节跳动推出的智能体开发平台，基于大模型，支持低代码方式快速构建聊天机器人、自动化助手等。AppBuilder。
2025-08-29 13:31:12
806
原创 给孩子一个看得见的未来，和一张通往自信的地图
尊敬的家长：您好。我们都一样，都希望孩子能爱上学习，能建立真正的自信，能在未来的竞争中拥有从容的底气。但我们也都见过孩子因为一道题抓耳挠腮的沮丧，见过他们在厚厚的书本前感到的迷茫。这些问题的根源在于，我们沿用至今的教育模式，就像是为所有人设计的“标准尺码”成衣。它高效地传授了成体系的知识，但很难完美贴合每一个孩子独特的“身材”。这，就是我们创造“启思”的初衷。
2025-08-29 00:35:15
936
原创 通往L4之路：构建自我进化的智能驾驶决策大脑（两万字战略版）
我们的方案，是将伦理考量显式地编码在“第三步”MCTS的启发式函数和“第四步”的奖励模型中。让我们想象一个具体的场景：“一个在傍晚时分，夕阳强逆光环境下，骑着一辆经过改装、加装了超宽遮阳伞的电动车的外卖员，在一条湿滑的、刚刚洒过水的路面上，一边看着手机，一边从一辆违停的、遮挡了大部分视线的公交车后方，以一个不规则的S形轨迹突然横穿马路。取而代DEZHI的，是构建一个强大的、具备底层推理和泛化能力的决策大脑，让它在虚拟与现实的交织中，通过亿万公里的自我博弈和学习，最终掌握那门名为“驾驶”的、深奥的艺术。
2025-08-28 14:35:42
436
原创 超越“小作文”：大模型指令设计的进阶之路——优化知识信噪比
你是否认为，给大模型的指令（Prompt）写得越详细越好？真的是信息越多，模型就越懂你吗？本文将深入探讨一个反直覺的觀點：初級的指令設計專注於資訊的堆砌，而高階的指令設計則追求極致的「知識信噪比」。我们将揭示如何通过精准判断模型的知识边界，区分“通用知识噪声”与“垂直知识信号”，并利用RAG等手段实现高效的知识干预，从而让你的指令“更值钱”。
2025-08-18 19:57:01
808
原创 一次荒谬的面试：当技术热情被视为“不务正业”
我最近经历了一场令人啼笑皆非的面试。我应聘的是滴滴国际的一个技术岗位，一切进展顺利，直到我被问到个人爱好。我坦诚地回答：“我喜欢写知乎，分享技术心得。本以为这会是加分项，能证明我热爱技术、乐于分享，并且具备良好的沟通能力。然而，面试官的反应出乎我的意料。
2025-08-18 18:17:15
338
原创 深入剖析 GRPO：从数学原理到范式对比，这才是面试官想听的深度
理解 GRPO 的“群体奖励均值作基线”只是入门。本文将从 PPO 的 Loss 出发，推导 GRPO 的核心机制，剖析其在方差缩减（Variance Reduction）与隐式探索（Implicit Exploration）上的理论优势，并与另一热门算法 DPO 进行范式对比。目标是构建一个超越“省显存”层面的立体 GRPO 知识体系，并附上面试中可能的深度追问。
2025-08-11 11:33:17
737
原创 分析报告：基于字节连续匹配技术的KV缓存共享实施可能性及其扩展
在大型语言模型（LLM）推理系统中，KV缓存（Key-Value cache）是加速自回归生成的关键机制，它存储注意力计算中的键（Key）和值（Value），避免重复计算先前令牌的注意力分数。然而，对于序列如“12345”和“34567”，标准系统如vLLM仅支持精确前缀共享（prefix sharing），无法直接复用重叠的后缀部分“345”，因为KV值依赖于整个上下文序列，而非局部子串。：Hydragen系统支持共享前缀，但强调重叠上下文（如系统提示）导致冗余存储，建议扩展到连续子串。
2025-08-09 18:55:31
1047
原创 金融通用智能体（Financial General Agent, FGA）的端到端解决方案
其技术路线覆盖了从多源异构数据融合、基于ReAct框架的工具增强认知，到创新的蒙特卡洛推理路径模拟，最终通过前沿的**组级别奖励策略优化（Group-wise Reward Policy Optimization, GRPO）**算法实现持续的自我进化。海量的结构化市场数据与非结构化的新闻、研报、社交媒体信息交织，要求分析系统不仅能处理数据，更能理解语境、执行复杂推理并评估风险。FGA的构建遵循一个四阶段的闭环架构，确保系统从数据基础到顶层决策的连贯性，并形成自我优化的正反馈循环。👤 人类反馈/专家标注。
2025-08-09 12:38:21
1038
原创 从Transformer到Llama 3的技术演进路线
大语言模型技术演进经历了四大核心领域的竞争与融合：注意力机制从近似计算优化为全量注意力+GQA；位置编码从固定编码发展为RoPE+Scaling外推技术；基础模块通过RMSNorm和SwiGLU实现计算效率提升；模型对齐从简单SFT演进为混合策略（RLHF+DPO）。这些并行突破推动模型从早期Transformer发展为Llama3的高效架构，展现了技术路线的动态优化过程。
2025-08-08 11:26:55
826
原创 彻底搞懂 LlamaIndex、LangChain、LangGraph、AutoGen
我们已经详细剖析了四大主流框架。现在，是时候将它们放在一起，进行一次全面的横向对比，并为你提供一份清晰的决策指南。我们正处在一个激动人心的技术拐点。AI Agent 不再是科幻小说里的概念，而是我们手中真实可触的工具。LangChain 的广度、LlamaIndex 的深度、LangGraph 的控制力，以及 AutoGen 的协作模式，共同构成了当今智能体开发的基石。理解这些框架的设计哲学，远比记住它们具体的 API 更重要。
2025-08-08 11:13:17
675
原创 2025年生成式大模型部署与推理优化全景解析
【大模型推理优化：2025年关键技术全景】随着生成式AI进入商业化落地阶段，推理成本正成为制约应用边际价值的关键瓶颈。本文系统剖析了当前推理优化的五大核心技术：1）vLLM的PagedAttention内存管理革命；2）投机性解码的并行加速机制；3）KVCache动态量化与滑动窗口优化；4）多卡异构部署策略；5）涵盖延迟/吞吐/成本的评估体系。特别指出，现代推理系统已从单纯工程问题演变为算法-硬件-业务的协同优化挑战，其中vLLM的连续批处理可实现60%-80%的GPU利用率，投机解码可提升4.8倍Toke
2025-08-07 22:21:20
1257
原创 通往L4之路：构建自我进化的智能驾驶决策大脑
摘要：本文提出一种突破性的自动驾驶决策系统方案，旨在解决行业核心的"长尾场景"难题。通过构建动态驾驶世界模型(DDWM)，在仿真环境中生成对抗性极限场景，并基于蒙特卡洛树搜索(MCTS)进行多模态行为规划，最终利用GRPO等离线强化学习技术，训练出能权衡安全、舒适和效率的端到端驾驶策略。该系统采用"仿真优先、数据驱动"的技术路线，通过影子模式部署实现人机共驾，建立包含系统冗余、伦理编码和可解释性的完整体系。文章阐述了从理论到实践的完整技术栈，描绘了通过持续自我进化实现
2025-08-04 21:15:27
620
原创 滴滴国际化安全征途：从ReAct到GRPO，构建自优化的决策智能体
沟通方式的“高低语境”： 在日本这样的高语境文化中，乘客感到不安时，可能只会说一句“啊，这里我好像没来过”，这种极度委婉的表达，对于一个习惯了直接关键词匹配的模型来说，几乎是无效信号。它评估一个路径的“希望”，不仅要看“成功解决风险的概率”，还要综合考量：运营成本（动用人工客服或线下团队的成本）、用户体验（干预措施对正常用户的打扰程度）、法律风险（该路径中是否存在法律模糊地带的动作）、公共关系风险（该路径是否可能引发负面舆论）。这意味着，安全智能体与用户交互的语气、措辞、时机，都必须进行精细的本地化定制。
2025-08-04 20:54:27
1098
原创 【万字长文深度剖析】从0到1，我们如何构建金融投研大模型智能体（Agent）？——ReAct、数据合成与工程优化全景实践
在金融投研这个信息爆炸的领域，分析师的每一天都像是在与海量数据进行一场没有硝烟的战争。传统的工作流不仅效率低下，更容易错失关键的Alpha信息。为了彻底改变这一现状，我们团队从0到1构建了一个由大模型驱动的投研分析智能体（Agent）。本文将毫无保留地分享该项目的核心技术路径与关键决策，从为什么我们判定传统RAG架构已到瓶颈，到自研ReAct Agent框架的设计哲学与Prompt工程细节，再到我们实现Agent智能的“核武器”——大规模Agentic数据合成的完整流程与挑战，以及最终实现生产落地所需的。
2025-07-28 15:38:18
869
原创 深入解析：GRPO决策优化与动态规划在先进RAG系统中的应用
传统的RAG在面对复杂问题（如：“对比一下A和B产品在C场景下的优劣，并结合最新的市场反馈给出建议”）时，往往会显得力不从心。一个简单的、贪心（Greedy）的执行策略，可能会在第一步就走错方向，导致后续步骤错漏百出，或者陷入一个计算量巨大的无效路径。我们之前提到的GRPO（生成式奖励偏好优化），在这里扮演的角色不再是简单地生成文本，而是。而“计划优化”的目标，就是在正式执行前，在一个巨大的“可能性空间”中，找到一条。相结合，是将RAG系统从一个被动的“工具”提升为主动的“规划者”的关键一步。
2025-07-21 20:09:10
995
原创 面试完教育方向的科技公司，我决定不跳了，自己干——因为“升学率”正在杀死真正的学习
【摘要】"路人与大师"团队拒绝迎合应试教育逻辑，推出创新AI教育产品"启思引擎"。该产品摒弃传统"升学率"指标，独创"个人成长斜率"评估体系，通过动态知识地图、AI领航员和苏格拉底式引导三大模块，致力于培养学生自主构建知识体系的能力。不同于市面上强化应试的大模型应用，"启思引擎"旨在激发思考过程而非提供标准答案，面向大学生和职场人士开放共建者招募，挑战教育市场的功利化现状，探索真正的个性化成长路径。（149字
2025-07-17 16:23:17
359
原创 K-12教育创业新蓝图：告别“刷题”，拥抱“千人千面”个性化学习
在豆神教育等传统教育巨头的大模型应用仍聚焦于标准化解题步骤的当下，一位对教育怀有深刻见解的创业者，在被拒之门外后，决心另辟蹊山，以“千人千面”的个性化教育理念为核心，打造一个真正以学生为中心的K-12教育解决方案。该方案将深度整合用户基础画像、动态知识点图谱、个性化内容生成、自适应课后练习以及智能查缺补漏五大模块，旨在破解当前K-12教育中“因材施教”的古老难题。
2025-07-15 20:55:18
937
原创 【万字长文】从“先搜再答”到“自主思考”：一文看懂生成式语言模型检索增强（RAG）的进化全景
朴素 RAG (Naive RAG)</b><br/><i>核心: 检索-拼接-生成</i>]endsubgraph "阶段二：高级RAG"B[🛠️ <b>高级 RAG (Advanced RAG)核心: 优化检索与重排
2025-07-07 14:33:43
788
原创 我为什么引入ReAct 在数据源多的情况下引入ReAct精细化构建指令
在复杂的企业环境中，数据往往散落在多个异构数据库中（如关系型数据库、向量数据库、知识图谱、文档库等），传统的固定流程（Fixed Workflow）在处理需要跨库协作的复杂查询时，会迅速遇到“上下文爆炸”的问题。“查询上个季度购买了A产品、且在CRM中有‘高价值’标签的用户的产品反馈，并结合知识图谱分析这些用户所在公司的行业归属。从A、B、C三个数据源检索到的原始信息，与用户的初始问题拼接在一起，形成一个巨大的Prompt喂给大语言模型（LLM）。我们用同样的复杂查询，来看ReAct代理是如何工作的。
2025-07-06 15:23:54
496
原创 2025年 6月面试 经验总结 生成式语言模型岗位
本文摘要： PyTorch Dataset深度解析：从基础到高级实践 设计哲学 核心价值在于数据加载与模型训练的解耦 支持懒加载机制，节省内存资源 为PyTorch生态系统提供标准化接口 Map-Style实现 详细演示图像分类任务的数据集构建 重点讲解__init__索引设计、__getitem__懒加载机制 强调transform参数化设计和异常处理机制 Iterable-Style应用 对比Map-Style的随机访问特性 适用于流式数据和大规模数据集场景 多进程实现的关键技巧解析 150字版本： P
2025-06-18 12:12:05
874
原创 大模型Agent的八种核心模式解析
本文探讨了8种大型语言模型（LLM）智能体的核心应用模式。反思模式通过用户反馈优化输出质量；工具使用模式整合外部API扩展功能；ReAct模式结合推理与行动形成闭环；规划模式将复杂任务分解执行；多智能体模式通过分工协作完成任务。这些模式展示了LLM从基础文本生成向复杂问题解决的演进路径，为构建高级AI应用提供了方法论框架。
2025-06-04 13:20:18
797
原创 面试经验 对常用 LLM 工具链（如 LlamaFactory）的熟悉程度和实践经验
我理解它主要是一个集成了从数据处理、模型预训练（PT）、有监督微调（SFT）、奖励模型训练（RM）、人类偏好对齐（如 DPO、PPO、KTO）到模型推理和导出等全流程的命令行工具。这个统一的接口，配合配置文件或者直接的命令行参数，就能方便地调用和管理各种复杂的 LLM 操作，大大简化了开发和实验的流程。这样导出的模型就是包含 LoRA 权重的完整模型，可以直接用于推理，并且如果配置了量化，模型体积和推理延迟也会有所优化。通过这样的准备，可以更好地应对技术面试中关于 LLM 工具链的提问。
2025-06-03 18:20:59
1300
原创 对 `llamafactory-cli api -h` 输出的详细解读
是 LlamaFactory 项目提供的命令行接口工具，它允许用户通过命令行参数来配置和运行大型语言模型的各种任务，如预训练（PT）、有监督微调（SFT）、奖励模型训练（RM）、基于人类反馈的强化学习（PPO、DPO、KTO）以及模型推理和导出。首先，命令输出的第一行是一个启动时的信息日志，表明程序已检测到并设置使用 CUDA（NVIDIA GPU）作为 DeepSpeed 加速器。这不是一个可配置的 API 参数，而是环境检测的结果。接下来是usage部分，展示了命令的基本用法和所有可选参数。
2025-06-03 17:53:02
1588
原创 越来越多的算力公司、越来越多的芯片公司、可是你们对抗不过周期。
融入了“从传统算力租赁到高级封装接口服务”这一关键市场转变后，整个预测逻辑链更加丰满和具有说服力。这一系列预测描绘了从2025年下半年开始，在AI算力应用效率提升和市场供给模式演进（从传统租赁到高级封装接口）的双重驱动下，叠加潜在的市场滞胀环境，将如何像多米诺骨牌一样，逐层冲击现有市场格局，引发从行业巨头估值调整到新兴企业深陷流动性危机，再到整个芯片市场深度洗牌的连锁反应。：它极大地提高了市场对算力服务成熟度、易用性、集成度和综合解决方案能力的要求，同时也加剧了头部集中效应。
2025-06-03 15:04:22
688
原创 KAG进化论：从知识增强到Ai agent超级智能体+MOE大模型将如何引爆下一代AI？（开源预告解读）
KAG描绘的“超级智能体 + MOE专家模型”的蓝图，以及其即将到来的重磅开源，无疑为我们揭示了AI未来发展的一个激动人心的方向。这不仅仅是代码的开放，更是思想的碰撞和创新的催化。当然，从愿景到现实，挑战依然巨大。但正是这种勇于探索未知、敢于开放共享的精神，驱动着人工智能一次又一次地突破想象的边界。让我们共同关注KAG的后续进展，期待这场由知识增强、超级智能体和MOE大模型引领的AI新浪潮，将如何塑造我们的未来！你认为KAG的这一开源计划，最有可能在哪个行业率先掀起变革？欢迎在评论区留下你的看法！
2025-05-30 12:44:15
1026
原创 KAG进化论：从知识增强到Ai AGENT超级智能体+MOE专家模型将如何引爆下一代AI？
今天，我们就来聊聊一个可能引爆下一代AI的开源项目——KAG (Knowledge Augmented Generation)，以及它那令人热血沸腾的进化蓝图：一个超级智能体，搭载一颗MOE（Mixture of Experts）的强大“心脏”，并且，这套从数据到模型的完整解决方案，即将开源！这不仅仅是代码的开放，更是思想的碰撞和创新的催化。想象一下，一个由MOE大模型驱动的KAG超级智能体，它既有宏观的自主规划和适应能力，又有微观的专业化、高效率处理能力，这将是解决复杂知识密集型任务的“梦幻组合”。
2025-05-30 12:26:16
783
原创 打破认知壁垒重构科技驱动美好生活 大模型义务传播计划
fill:#333;color:#333;color:#333;fill:none;编写 CUDA Kernel (.cu)C编写 C++ 接口代码 (.cpp)编写 setup.py (使用 torch.utils.cpp_extension)编译生成 .so / .pyd 库Python 代码调用自定义 CUDA 函数PyTorch/TensorFlow 文档, Numba/CuPy/Triton 文档。阶段四是硬核的工程阶段，需要动手实践和对底层原理的深刻理解。
2025-05-28 14:05:59
1517
原创 AI算法工程师大厂面试宝典 (2025图文完整版)：LLM/RAG简历+前沿技术深度剖析
大家好，我是你们的AI技术伙伴！🚀 2025年的AI浪潮比以往任何时候都更加汹涌！大模型（LLM）不再仅仅是语言的天才，它们正朝着**多模态理解、自主智能体（AI Agent）乃至模拟世界（World Models）**的方向飞速发展。对于有志于投身AI事业、冲击大厂的算法工程师来说，不仅要掌握核心的NLP、RAG技术，更要对这些前沿领域有所洞察。本文将基于一份优秀的AI算法工程师简历（已脱敏），模拟大厂面试场景，不仅覆盖核心技能，更会。
2025-05-26 18:43:24
1250
原创 2025年开源大模型技术全景图
迈向2025年，开源大型语言模型（LLM）生态系统已不再仅仅是闭源模型的补充，而是成为推动AI创新与民主化的核心引擎。其技术全景展现了一个高度模块化、协作共生且快速演进的复杂网络。
2025-05-23 14:46:19
3344
4
原创 用算法实现 用统计的方式实现 用自然语言处理的方法实现 用大模型实现 专利精益化统计分析
我们可以从算法、统计、自然语言处理（NLP）和大型语言模型（LLM）这四个方面，探讨如何实现对专利社区、作者重要性以及共同作者贡献度的分析。
2025-05-23 10:29:33
1173
原创 构建基于全面业务数据的大数据与大模型企业护城河战略
在数字化浪潮和人工智能技术飞速发展的今天，对于“专精特新”型企业而言，如何利用自身积累的深厚行业知识和独特的业务数据，结合大数据分析与大模型能力，构建难以被复制的竞争壁垒（即“护城河”），是实现可持续增长和行业领导地位的核心议题。通过将企业独特的业务数据与这些通用能力相结合，进行针对性的微调和优化，可以打造出真正解决行业痛点、提升核心竞争力的“专有大模型”。基于企业全面的专精业务数据，通过预训练、微调或从头训练等方式，构建的针对特定行业问题或业务场景的大规模人工智能模型（如LLM、多模态模型等）。
2025-05-22 18:52:43
783
原创 构建基于全面业务数据的大数据与大模型企业护城河战略
在数字化浪潮和人工智能技术飞速发展的今天，对于“专精特新”型企业而言，如何利用自身积累的深厚行业知识和独特的业务数据，结合大数据分析与大模型能力，构建难以被复制的竞争壁垒（即“护城河”），是实现可持续增长和行业领导地位的核心议题。通过将企业独特的业务数据与这些通用能力相结合，进行针对性的微调和优化，可以打造出真正解决行业痛点、提升核心竞争力的“专有大模型”。基于企业全面的专精业务数据，通过预训练、微调或从头训练等方式，构建的针对特定行业问题或业务场景的大规模人工智能模型（如LLM、多模态模型等）。
2025-05-22 18:41:19
737
原创 国内互联网大厂大模型工程师面试指南 (含参考答案、公式、流程图 - 基于Qwen3架构技术)
“预归一化 (Pre-Normalization)”相比“后归一化 (Post-Normalization)”在训练大型Transformer时有何优势？: Qwen3 MoE模型的设计中，明确指出“不包含共享专家”并采用了“全局批次负载均衡损失”。: 请手写SwiGLU的数学表达式，并解释其门控机制如何帮助模型学习更复杂的模式。用户输入_query_plus_mode_flag_plus_budget。这样的门控激活函数，而不是传统的ReLU/GeLU？对每对_x_2j_x_2j_plus_1。
2025-05-21 12:20:20
411
原创 详细介绍Qwen3技术报告中提到的模型架构技术
详细介绍Qwen3技术报告中提到的一些主流模型架构技术，并为核心流程配上相关的LaTeX公式。这些技术都是当前大型语言模型（LLM）领域为了提升模型性能、训练效率、推理速度或稳定性而采用的关键组件。
2025-05-21 11:44:53
1032
原创 Qwen3 技术报告硬核解读：不止更大，更会“思考”！阿里新一代大模型亮出哪些绝活？
它不仅在传统性能指标上达到了新的高度，更通过创新的“思考模式”与“思考预算”机制，为我们展现了大型语言模型在“智能涌现”和“可控性”方面的新可能。以前你可能需要针对不同任务切换不同的模型（比如聊天用A模型，推理用B模型），现在 Qwen3 一个模型就搞定了，它能根据你的问题或者你给的模板动态切换“大脑模式”！Qwen3 这次依然是“全家桶”模式，发布了一系列不同参数规模的模型，从 **0.6B 6亿 ** 到 **235B 2350亿 ** 参数，应有尽有。模型的“后天培养”同样重要。
2025-05-21 10:40:07
631
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人