- 博客(1741)
- 收藏
- 关注
RSS订阅
原创 LLM大模型学习：LLM大模型推理加速
文 Mia / 叶娇娇 推理优化部署、推理加速技术是现在，尤其在大模型时代背景之下，消费级 GPU 和边端设备仍为主流的状况下。推理加速是实际工程落地的首要考虑因素之一，今天笔者来聊聊涉及到的可以实现大模型推理加速的技术。
2024-09-08 09:15:00
2350
1
原创 必备收藏！大模型高频面试题汇总及答案解析
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A ，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是 0 矩阵。
2024-08-09 10:49:42
1594
1
原创 传统产品经理VS现在AI产品经理，你要学习的太多了，超详细收藏我这一篇就够了
传统产品经理想要转行成为AI产品经理，需要经历一系列的学习和实践过程。下面是一份详细的学习路线图，旨在帮助你顺利转型。学习路线图了解AI基础知识AI概览：阅读《人工智能：一种现代的方法》这样的书籍，以获得对AI领域的整体理解。在线课程：通过Coursera、edX等平台上的课程，学习AI的基础概念，例如机器学习、深度学习等。掌握核心技能编程基础：熟悉Python编程，这是AI开发中最常用的编程语言之一。数据处理：学习如何使用Pandas、NumPy等工具处理数据。
2024-08-01 11:51:04
1326
1
原创 AI大模型入门宝典：全面知识点解析，新手必备干货大全！
当我们提及大模型时，通常指的是大语言模型（Large Language Model，简称LLM），即文字问答模型，其典型代表便是OpenAI的GPT系列。然而，随着技术的日新月异，大模型已经不单单局限于自然语言处理（Natural Language Processing）领域的发光发热，而是逐渐渗透到了其他多个领域。
2024-07-13 10:41:51
2037
原创 清华博士带你掌握 Llama 大模型 40 节课助你涨薪 120%
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
2024-06-07 17:48:23
1777
原创 2025年就业市场新变局：就业者应该怎么提升自身核心竞争力？
2025年上半年就业市场呈现“总量平稳运行，结构矛盾凸显”的复杂态势。国家统计局数据显示，全国城镇新增就业695万人，已完成全年目标任务的58%，6月份全国城镇调查失业率稳定在5.0% 的低位，就业优先政策的托底效应持续显现。从经济基本面看，上半年GDP同比增长5.3%，第二产业投资增长10.2%，制造业投资增长7.5%，为就业市场提供了坚实支撑
2025-09-12 16:09:22
500
原创 【万字探讨】AI产品经理进阶指南：如何成为5%的顶尖人才，附实用工具与思维方法！
文章解析了AI产品经理的三种类型及核心职责，强调成为AI产品经理的关键是先用AI构建产品展示作品集。要成为顶尖的5%，需避免盲目跟风，专注于解决真正问题，在用户体验上下功夫。文章分享了作为个体贡献者产品经理的成功要素：保持精力，在不确定性中"游走"，放大信号做决策，以及享受过程的重要性。AI时代，产品经理角色更加重要，是连接技术与用户需求的桥梁。
2025-09-12 13:50:53
679
原创 【万字长文】程序员必学！收藏必备的大模型实战指南： 强化学习训练深度研究系统！
文章是一篇关于强化学习在深度研究系统中应用的综述，论证了RL相比SFT和DPO在实现闭环交互、探索恢复、长周期信用分配方面的优势。文章系统性地梳理了数据构建、算法设计、系统框架、架构协调和评估基准等方面的最新进展，为训练强大AI研究代理提供了全面的技术路线图，是研究者和工程师的必读指南。
2025-09-12 13:45:37
691
原创 【AI+医疗】中医舌诊大模型：智能诊断新突破，推动中医现代化进程！
中医舌诊客观化在智能网联、大数据时代迎来全新发展契机。借助先进图像采集技术，可精准获取舌诊生理与病理图像并高效传输存储于云端。基于海量数据，运用数据挖掘技术深入剖析舌象特征与疾病关联，构建人工智能（AI）大模型，整合多源信息，实现舌象自动识别与疾病智能诊断，推动中医诊断规范化、标准化。
2025-09-12 10:10:28
358
原创 智能体VS工作流：别再混淆！揭秘两者本质区别，AI转型不走弯路！
很多朋友把工作流误认为智能体，今天就来专门聊聊他们的区别，你是否经常听到这样的宣传："用AI智能体自动化你的工作"？但是当你真正使用时，却发现效果并不理想？问题很可能在于——你错把工作流当成了智能体，或者反过来。事实上，这两者有着本质的区别。理解这个区别，不仅能帮你选择正确的工具，更能避免在AI转型路上走弯路。
2025-09-12 10:08:33
448
原创 技术转AI产品经理：2年经验如何拿下40万年薪？收藏这份转岗攻略！
我是2年技术岗，纯纯的产品外行，对这个岗位也一知半解。后来，因为参加了《AI大模型学习训练营》，体系化的了解和AI大模型0-1建设全流程。才真正意义上落地了一套较为系统的产品经理工作方法！这套方法最后也帮我**成功转岗AI产品经理，拿到了年包40W的offer。如果你正想转岗/跳槽产品经理，我的故事或许能给你一些启示👇
2025-09-11 13:55:18
642
原创 大模型岗位面试大全：24个LLM-RAG面试问题详解，助你轻松掌握大模型核心技术！
本文全面介绍检索增强生成(RAG)技术，通过24个从初级到高级的面试问题，系统阐述了RAG的基本概念、与传统语言模型的区别、应用场景、技术优势、训练方法及系统架构。RAG结合检索与生成技术，提高AI响应准确性和上下文意识，广泛应用于问答系统、对话代理和内容生成领域，同时讨论了其局限性与伦理考量，为AI爱好者和求职者提供了全面学习资源。
2025-09-11 13:45:10
700
原创 美团也开源了大模型，560B参数LongCat，极速推理+超强Agent！
美团开源560B参数MoE模型LongCat-Flash-Chat，以极速推理能力和强大Agent性能为特点。美团战略定位打造"通用生活Agent"，服务C端用户日常生活场景，利用丰富的商户数据和用户交易优势，形成AI与真实场景的正向循环。不同于追求AGI的厂商，美团聚焦解决用户日常痛点，以快、强、廉的AI能力重构本地生活服务，展现从外卖平台向智能生活服务提供商的转型决心。
2025-09-11 13:40:36
470
原创 医生+AI大模型：人机协同诊疗新范式，医疗诊断准确率显著提升！
研究提出混合集体智能(HCI)方法，结合医生临床推理与LLM信息处理能力，对2,133个病例进行加权融合。结果显示混合集体诊断准确率显著优于人类或AI单独决策。关键在于错误互补性：AI漏诊时医生能补上，医生失误时AI能捕捉细节。多模型集成优于单模型，人机混合集体表现最佳，为医疗诊断提供更精准、安全的解决方案。
2025-09-11 10:53:08
593
原创 500篇参考文献100页综述！大语言模型的进化之路，从文本生成到自主决策的五大跃迁与六大核心能力！
本文系统梳理了智能体强化学习(Agentic RL)如何让大语言模型从"文本生成器"进化为"自主决策智能体"。通过五大维度的范式跃迁和六大核心能力(规划、工具使用、记忆、自我改进、推理、感知)，Agentic RL使LLMs能在搜索、代码开发、数学推理等真实场景中自主解决问题。尽管面临可信度、训练规模化和环境规模化三大挑战，Agentic RL正引领大模型向通用人工智能伙伴迈进，是通往AGI的关键一步。
2025-09-11 10:51:26
723
原创 如何成为 AI产品经理 ？深入剖析AI产品经理岗位技术方向、业务场景与核心能力要求！
在人工智能技术加速渗透千行百业、大模型等前沿技术推动产业智能化升级的当下，AI产品经理作为衔接技术研发、业务需求与用户体验的核心纽带，其职能边界正随着技术迭代不断拓宽。相较于传统互联网产品经理更侧重用户体验与功能落地，AI产品经理需要在技术可行性与商业价值之间找到精准平衡点。由于技术路径、应用场景及业务发展阶段的差异，这一岗位已逐渐分化出多个细分方向，不少从业者对自身定位也常感模糊。
2025-09-10 14:32:44
917
原创 AI大模型发展全解析：从DeepSeek到Manus，从L1到L2.5时代的演进与普通人入局指南！
文章解析了AI从L1到L2.5的发展历程，重点介绍了2025年DeepSeek和Manus的里程碑意义。详细阐述了AI智能体架构：大模型负责规划调度，RAG解决幻觉，工具链处理多模态。通过Coze工具实现类Manus产品的案例，揭示了AI编程(AI Code)将成为未来趋势。文章指出，普通人在AI领域的最佳策略是避开巨头锋芒，选择垂直细分赛道，深耕行业知识，构建产品护城河。
2025-09-10 13:54:42
924
原创 英伟达发布Rubin CPX：专为长上下文AI设计，每1亿美元投资换50亿美元收益！
英伟达推出Rubin CPX专用GPU，配备128GB GDDR7内存，30PFLOPS算力，专为长上下文推理和视频生成设计。Vera Rubin NVL144 CPX平台提供8EFLOPS性能和100TB内存，性能达前代7.5倍。该平台实现30-50倍投资回报率，每1亿美元投资可获50亿美元token收益，将显著提升AI编程助手和视频生成应用性能，为开发者提供强大算力支持。
2025-09-10 11:06:22
870
原创 小白学大模型：FlashAttention--大模型处理长序列的高效利器，解决计算瓶颈必备技术！！
FlashAttention通过I/O感知、Tiling和Recomputation技术，将注意力机制的内存占用从平方关系降低为线性关系。FlashAttention-2优化了工作划分和并行化，FlashAttention-3进一步利用现代硬件特性和低精度计算，实现比标准实现快10倍以上的性能提升，同时保持数值稳定性，使大模型能够高效处理超长文本。
2025-09-10 10:45:39
587
原创 数据标注：大模型训练的基石与完整指南！！大模型基础知识
数据标注是大模型训练的基石，为机器提供学习范本、赋予数据语义、决定模型性能。其实施流程包括数据准备、标签体系设计、标注执行、质量控制和数据交付。最佳实践包括由简到繁设计标签、强化标注员培训、小规模试标验证、确保数据多样性和遵守隐私法规。高质量数据标注是大模型成功的关键，决定模型性能和可靠性。
2025-09-10 10:43:36
773
原创 40 岁大龄程序员，2025年彻底迷茫了！
【摘要】文章探讨了程序员面临的中年职业危机问题，指出30岁后流体智力（学习创新能力）下降会带来职业瓶颈。作者提出两种应对方案：一是转向依赖晶体智力（经验积累）的职业路径（如技术培训）；二是趁年轻时培养"作品思维"，开发个人产品实现被动收入。文章强调AI时代掌握大模型技术的重要性，并推荐了一套包含104G学习资源的AI大模型课程包，涵盖从入门到进阶的全套教程，由业内专家团队开发，适合各阶段学习者提升竞争力。（149字）
2025-09-09 15:53:02
1179
原创 【拿下高薪Offer】AI大模型部署面试指南：从基础概念到TensorRT优化，一文掌握核心知识！
这篇文章是关于大模型部署的面试资料，包含16个核心问题及解答。内容涵盖基础概念（如模型量化、批处理、计算图等）和深度优化技术（如TensorRT、KV Cache、PagedAttention等）。详细解释了部署关键因素、常用框架、Kubernetes实践、监控策略和性能优化方法，为技术面试提供全面参考。
2025-09-09 15:46:21
463
原创 深入理解AI Agent记忆模块：短期记忆与长期记忆的完美结合！
AI Agent的记忆模块分为短期记忆(对话历史)和长期记忆(RAG检索增强生成)。短期记忆维持当前对话连贯性，长期记忆通过向量数据库存储和检索历史经验。两者协作使AI具有状态，能够跨越多次交互保留信息。文章详细介绍了记忆模块的架构、实现技术和优化方案，包括记忆摘要、合并和淘汰机制等，确保系统在高频使用场景下长期稳定运行。
2025-09-09 09:33:44
656
原创 【干货收藏】英伟达颠覆认知：小语言模型如何成为智能体架构的未来？
英伟达论文提出"SLM-first"理念，指出小语言模型在大多数企业智能体任务中已足够，且在成本、性能上优于大模型。文章分析了LLM-Only架构的成本黑洞、性能瓶颈和适配困境，提出SLM+LLM混合架构，通过任务路由、专业分工和记忆优化实现成本降低80%以上、响应速度提升3-5倍。工至科技AIE平台实践证明，这种"小而精"的专业化智能体生态比盲目追求"大而全"更具商业价值，为企业提供了更可持续的智能化转型路径。
2025-09-09 09:29:00
683
原创 大模型部署框架选型指南：从Ollama到DeepSpeed，一文读懂7种主流方案！大模型部署
文章对比了7种主流大模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang和DeepSpeed）的技术架构、优缺点及适用场景，针对个人开发、企业高并发、边缘计算和分布式部署等不同需求提供具体选型建议，帮助开发者根据业务需求选择合适框架，最大化发挥大模型性能潜力。
2025-09-09 09:27:08
1124
原创 AI大模型时代，为什么年轻产品经理和程序员就业困难，反而资深产品经理越来越吃香？
AI大模型发展导致年轻产品经理和程序员就业困难，而30岁以上、5年以上经验的资深产品经理反而更稀缺、更易就业。资深产品经理在产品框架理解、业务知识、用户行为路径、产品架构设计和需求判断等方面拥有AI难以替代的经验优势。AI虽能辅助完成基础工作，但无法替代资深人士对业务逻辑、系统架构和需求本质的深度把握。
2025-09-08 15:17:54
991
原创 【保姆级教程】RAG技术全解析：从原理到落地，手把手教你搭建大模型知识库！
RAG技术通过"检索外部知识+增强模型生成"模式，解决大模型知识过时、易产生幻觉、隐私难保障问题。文章详解核心原理（数据预处理、检索、生成）、关键技术选型（Embedding模型、向量数据库），提供两个实战案例（本地PDF知识库、医疗辅助诊断系统）和优化技巧。RAG不取代大模型，而是通过"检索+增强"模式，让大模型在专业领域、实时场景和隐私敏感场景中更实用。
2025-09-08 11:43:33
1054
原创 斯坦福最新研究：ResearchCodeBench：评估LLM实现前沿ML代码能力的权威基准！
ResearchCodeBench是一个新基准，评估LLM实现前沿机器学习研究代码的能力。该基准包含从20篇最新论文中提取的212个编码任务，通过专家编写的测试用例评估代码正确性。评估显示，即使是顶尖LLM(如Gemini 2.5 Pro)成功率也不到40%，表明在将前沿科学idea转化为功能正确代码方面，LLM仍有巨大提升空间。
2025-09-08 11:37:47
892
原创 AI模型开发全景图：15大主流框架深度对比，常用的训练、微调、推理、部署框架，你的最佳选择是哪个？
本文全面对比分析了15个主流大模型开发框架，包括训练框架(PyTorch、DeepSpeed、Megatron)、推理引擎(vLLM、ONNX Runtime)、微调工具(PEFT、Unsloth)和部署服务(Ollama、Xinference)等。从定位、核心功能、优缺点、易用性到适用场景进行系统梳理，帮助开发者根据自身需求选择合适的工具链，构建从模型开发到生产部署的全流程解决方案。
2025-09-08 11:36:02
738
原创 【大模型入门必读书籍】一图胜千言：《图解大模型》，值得每个程序员收藏的AI入门到精通实战手册
《图解大模型》是一本通过300幅全彩插图以视觉化方式呈现大模型核心原理与工程实现的实战指南。书中系统讲解Transformer、embedding、提示工程、RAG、LangChain、多模态、模型微调等关键技术，结合图示与代码示例，从底层机制到应用开发全覆盖。无论小白还是开发者，都能通过本书理解大模型原理并掌握实际应用，是拥抱AI时代不可错过的实用手册。
2025-09-08 11:24:35
687
原创 告别提示词工程：AI Agent五大核心架构深度解析，收藏这篇就够了！
AI技术已从提示词工程发展到构建自主AI Agent。文章详解了AI Agent五大核心架构：认知与推理层实现智能决策；语言与理解层处理人类沟通；自动化与执行层实现任务执行；记忆与知识层提供持久学习；协作与环境层实现多智能体协作。掌握这些架构，可帮助开发者从"会用"AI升级到"会造"AI，构建真正的下一代智能系统。
2025-09-06 08:00:00
1694
原创 程序员深夜沸腾！这个63.5K星认证的开源项目，LLM大模型应用开发圣经！！
Awesome LLM Apps是一个开源的LLM应用开发资源库，已有39K星支持。项目包含50+实战案例，覆盖旅行规划、金融分析、法律助手等场景，支持OpenAI、Anthropic等商业模型及DeepSeek、Qwen等开源模型。整合Agentic RAG、多代理协作等前沿技术，提供从入门到进阶的完整学习路径，适合企业用户和开发者快速构建大模型应用，大幅提升开发效率。
2025-09-06 07:00:00
1347
原创 大龄程序员生存困境：技术精湛，为何机会难求？
大龄程序员面临就业困境的核心原因是角色定位与企业需求不匹配。企业需要的不是"技术字典"而是能解决实际问题的价值创造者。35+程序员若仍停留在"写代码快"的维度，难以与年轻程序员竞争。企业真正需要的是资深人才在技术方案选型、架构设计、团队管理和业务理解方面的能力。解决之道在于成为领域专家、转向管理、做复合型人才或独立创业，保持成长心态，将个人价值转化为企业能理解的语言。
2025-09-05 11:39:54
916
原创 【AI必学】自进化Agents技术综述：通往超级智能的三维进化框架，一篇收藏必读！！
本文系统综述自进化智能体研究进展，围绕"什么要进化"、"何时进化"、"如何进化"三大核心问题展开。涵盖模型、上下文、工具和架构的进化机制，测试时与测试间进化的时机选择，以及基于奖励、示范、种群的进化方法。这种从静态模型到动态自适应智能体的范式转变，为实现人工超级智能(ASI)提供理论框架和实践指导，是AI领域的重要发展方向。
2025-09-05 11:31:16
878
原创 大模型微调完全指南：从基础概念到方法选择，小白必看，一文掌握FFT与PEFT区别！
本文全面解析大模型微调技术，从基础概念到方法选择。详细对比全量微调(FFT)与参数高效微调(PEFT)两大策略，重点介绍LoRA、Prompt-tuning等主流PEFT方法。根据数据量、计算资源和任务类型提供微调方法选择指南，并对比分析LLaMA-Factory、Unsloth等四个主流微调框架特点与适用场景，帮助开发者根据实际需求选择最优方案。
2025-09-05 11:29:19
793
原创 大模型学习路线分享：从后端开发到AI专家，帮你少走3年弯路，刷到就是赚到！
本文分享了一位从后端开发成功转型为大模型开发者的经验，为有意转型的程序员提供了一套为期三个月的系统学习路径。学习分为三个阶段：1个月筑基（理解原理、掌握API调用），1个月进阶（Prompt工程、微调、Agent架构、RAG技术），1个月实战（完成智能客服、办公助手等项目）。文章强调大模型开发门槛已降低，重点在于工程应用能力而非模型训练，并提供了面试准备建议和50道高频问题。最后指出成功转型的关键在于坚持实践，而非天赋，鼓励读者立即行动把握AI时代机遇。
2025-09-04 13:33:48
721
原创 35岁程序员危机：科技行业快速变化，如何应对年轻竞争者的挑战？
【摘要】35岁程序员面临技术更新快、年龄歧视和薪资要求高等多重职业危机。在AI时代，掌握大模型技术成为关键竞争力，不会使用AI工具的人将被职场淘汰。程序员需通过持续学习、掌握提示词工程、RAG系统等技术转型发展。文章提供了4个阶段的大模型学习路径：从初阶应用到模型训练，再到商业闭环，帮助程序员提升AI应用能力。资料含思维导图、案例手册等，免费分享助力职业转型。
2025-09-04 11:54:43
939
原创 传统RAG vs Agentic RAG：哪个更牛？
本文详细介绍Agentic RAG如何突破传统RAG的局限，引入自主推理和决策能力。通过推理引擎、记忆系统和工具系统三大核心组件，结合ReAct框架，实现从被动检索到主动思考的转变。文章提供了使用LangGraph构建Agentic RAG的实战案例，并深入探讨多代理协作、自适应查询改写、动态工具选择等高级技术，帮助开发者构建更智能、可靠的AI应用。
2025-09-04 11:44:42
862
原创 美团开源560B参数MoE模型LongCat：速度碾压DeepSeek，瞄准通用生活Agent!
美团开源560B参数MoE模型LongCat，速度远超同类竞品。美团战略目标是打造"通用生活Agent"，已在搜索、订座等场景落地AI功能，解决用户日常痛点。凭借真实商户和用户数据优势，美团构建了"场景养AI"的正向循环。其模型设计注重速度、Agent能力和低成本，完美契合即时生活服务需求，旨在让用户享受更贴心的生活服务体验。
2025-09-04 11:41:37
709
原创 AI Agent技术揭秘：无人驾驶的AI如何自主决策与执行任务？大模型学习
文章介绍了基于大模型的AI Agent技术，这是一种能在无人干预下自主决策和执行任务的系统。相比传统AI的"辅助驾驶"，AI Agent已能"自己开车"。文章阐述了Agent的四大核心能力：信息处理能力、推理/规划能力、工具使用能力和记忆/知识能力，并介绍了OpenAI等公司推出的Agent产品及相关开发框架，为开发者提供了学习路径和实践指导。
2025-09-04 11:33:05
975
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人