- 博客(486)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 【系列10】端侧AI：构建与部署高效的本地化AI模型 第9章：移动端部署实战 - iOS
它与苹果自研的芯片（如A系列和M系列）深度集成，能够高效利用神经引擎（Neural Engine）进行硬件加速。本章将引导你如何在Xcode中部署一个模型，并讨论相关的输入输出处理与模型管理策略。通过 Core ML，开发者可以高效地在 iOS 设备上部署 AI 模型。结合合理的模型管理策略，可以确保你的应用始终使用最新、最优的模型，从而为用户提供卓越的 AI 体验。：在你的 Swift 文件中，你可以直接通过生成的类来加载模型并进行预测。在应用发布后，如果需要更新模型，你有多种管理策略可以选择。
2025-08-30 15:59:17
222
原创 【系列09】端侧AI：构建与部署高效的本地化AI模型 第8章：移动端部署实战 - Android
本章将通过一个简单的图像分类应用，带你了解如何在Android Studio中构建、部署和优化一个端侧AI模型。：如果设备不支持NNAPI，TFLite会自动回退到使用CPU进行推理，从而保证应用的兼容性。通过遵循上述步骤和最佳实践，你可以在Android设备上构建一个高效、稳定且用户体验良好的端侧AI应用。我们将创建一个简单的应用，使用预训练的TFLite模型来识别用户拍摄或选择的图片中的物体。：解析输出数组，找到概率最高的类别，并将其与标签文件中的类别名称进行匹配，最终显示给用户。
2025-08-30 15:56:34
175
原创 【系列08】端侧AI：构建与部署高效的本地化AI模型 第7章：架构设计与高效算子
因此，研究人员设计了一系列轻量级、高效的网络架构，它们在保证性能的同时，极大地减少了计算开销。要将AI模型成功部署到端侧，除了对现有模型进行压缩和优化，更根本的方法是在设计之初就考虑其在资源受限环境下的运行效率。通道混洗（Channel Shuffle）：在分组卷积之后，将不同组的通道进行混洗，使得信息能够在不同通道组之间流动，从而避免了信息的隔离，提高了模型性能。通过设计高效的网络架构和深入理解并优化核心算子，开发者可以从根本上解决端侧部署的挑战，构建出体积小、速度快、功耗低，且性能优越的AI模型。
2025-08-30 15:48:31
1142
原创 【系列07】端侧AI：构建与部署高效的本地化AI模型 第6章：知识蒸馏（Knowledge Distillation
知识蒸馏的核心思想是转移知识。它不是简单地让学生模型去学习标注好的“硬标签”（hard labels），而是让它去学习教师模型的“软标签”（soft labels）。硬标签：指数据集中明确的类别标签，例如一张图片是“猫”或“狗”。学生模型的目标是尽可能地预测出正确的硬标签。软标签：指教师模型对每个类别的预测概率分布。例如，教师模型不仅会预测图片是“猫”，还会给出“狗”的概率是0.05，“老虎”的概率是0.02。这个概率分布包含了比单一硬标签更丰富的知识，因为它体现了不同类别之间的相似性和关系。
2025-08-30 15:47:34
142
原创 【系列06】端侧AI：构建与部署高效的本地化AI模型 第5章：模型剪枝（Pruning）
结构化剪枝移除的是模型中的整个结构，比如一个完整的神经元、一个卷积核或一个通道。修剪后的模型权重矩阵仍然是稠密的，因此能够充分利用现代硬件和软件的并行计算优势，从而显著提升推理速度。非结构化剪枝是最细粒度的剪枝方法。对于需要极致压缩但对推理速度要求不高的场景，非结构化剪枝是好的选择。它就像修剪一棵树，通过移除模型中不必要的“枝叶”，让模型变得更精简、更高效，从而适应资源受限的设备。，开发者可以方便地对模型的不同层进行剪枝，并根据需求进行微调，从而在不影响太多性能的前提下，获得一个更轻量、更高效的模型。
2025-08-30 15:46:20
94
原创 【系列05】端侧AI：构建与部署高效的本地化AI模型 第4章：模型量化（Quantization）
量化的基本思想是减少模型中用于表示参数和激活值的比特数。在模型训练时，参数通常使用32位浮点数（FP32）进行存储，这提供了高精度，但也消耗大量的内存和计算资源。量化则将这些32位浮点数转换成低比特数表示，通常是8位整数（INT8）。量化的原理可以概括为：对浮点数范围进行校准，并将其映射到更小的整数范围内。例如，将一个FP32的权重（如-1.5到1.5）映射到INT8的范围（-128到127）。在推理过程中，模型将使用这些低精度的整数进行计算，从而大大减少了所需的计算量。量化带来的主要收益减少模型大小。
2025-08-29 20:57:51
833
原创 【系列04】端侧AI：构建与部署高效的本地化AI模型 第3章：端侧AI软件栈概览
要将AI模型成功部署到端侧设备，仅仅了解硬件是不够的。开发者还需要掌握一系列软件工具和框架，它们构成了端侧AI的“软件栈”。这个软件栈负责将训练好的模型从复杂的开发环境，转换成能在资源受限设备上高效运行的格式。总而言之，端侧AI的软件栈是一个由框架、格式和硬件加速库组成的复杂生态系统。理解它们各自的角色和协作方式，是构建和部署高效端侧AI模型的关键。端侧AI的软件栈主要由以下几个核心框架构成，它们各自支持不同的模型格式和部署平台。为了在端侧设备上运行，AI模型需要被转换成特定的轻量级格式。
2025-08-29 20:57:10
599
原创 【系列03】端侧AI：构建与部署高效的本地化AI模型 第2章：端侧AI硬件入门
要成功地将AI模型部署到端侧设备，了解底层的硬件至关重要。不同的硬件在处理AI任务时各有优劣，选择合适的硬件平台是项目成功的关键第一步。总而言之，没有“最好”的硬件平台，只有最适合你项目的平台。开发者需要根据性能、功耗、成本和生态系统等因素进行权衡，做出明智的决策。
2025-08-29 20:55:27
247
原创 【系列02】端侧AI：构建与部署高效的本地化AI模型 第1章：为什么是端侧AI？
人工智能已经渗透到我们生活的方方面面，但其主流形态——云端AI，正在暴露出它的局限性。这就是为什么端侧AI（On-device AI）正迅速崛起，成为AI发展的新趋势。
2025-08-29 20:54:12
253
原创 【系列01】端侧AI：构建与部署高效的本地化AI模型
这本小书旨在为AI开发者、嵌入式系统工程师和对端侧AI感兴趣的技术人员提供一个全面的指南，帮助他们掌握从模型训练、优化到部署的全流程。书中将重点讲解如何在资源受限的设备上，实现高性能、低功耗的AI推理，并提供丰富的代码示例和实际项目案例。
2025-08-29 20:53:01
367
原创 LLM实践系列：利用LLM重构数据科学流程08 - 未来展望与趋势
LLM与数据科学的结合正从“代码生成”的初级阶段，走向“自主决策”和“多模态理解”的高级阶段。在未来，LLM将不仅仅是提高效率的工具，更是推动数据科学走向更高层次的驱动力。我们相信，未来的数据科学家将不再纠结于如何编写复杂的脚本，而是专注于如何提出有价值的问题，如何与智能体高效协作，以及如何将复杂的模型洞察转化为真正的商业价值。
2025-08-24 06:52:03
310
原创 LLM实践系列：利用LLM重构数据科学流程07 - 工程化实践与挑战
在前面文章中，我们已经看到了LLM如何在单一项目中作为“智能助手”的巨大潜力。但要将这种能力从一次性的实验，转化为可规模化、可重复的生产力，就必须将LLM集成到**MLOps（机器学习运维）**的工程化流程中。这不仅关乎效率，更关乎项目的可靠性、可维护性和安全性。本章，我们将探讨如何将LLM驱动的数据科学流程融入MLOps管道，并直面在实践中可能遇到的挑战，提供相应的应对策略。
2025-08-24 06:51:20
456
原创 LLM实践系列：利用LLM重构数据科学流程06 - 从“黑盒”到“透明”：用LLM增强模型可解释性
综上所述，模型的核心发现与我们的直觉相符：客户的近期活跃度和历史消费是预测其流失的最重要指标。我们建议业务团队优先关注那些长时间未消费或历史消费金额较低的客户群体。这些洞察为我们提供了更精准的客户挽留策略，有望显著降低流失率，提升客户生命周期价值。LLM可以快速生成报告的结构和内容，让你只需进行简单的校对和润色，就能得到一份专业的文档。这极大地提高了工作效率，也让数据科学的价值更容易被业务方理解和接受。
2025-08-24 06:49:09
459
原创 LLM实践系列：利用LLM重构数据科学流程05 - 模型选择与超参数调优的“智能副驾驶”
当你的数据集经过精心清洗，并注入了富有洞察力的新特征后，下一个挑战随之而来：如何选择最佳模型，并调整其参数以达到最佳性能？在传统流程中，这通常是一个漫长的试错过程，依赖于数据科学家的经验和直觉。本章，我们将继续利用LLM，把它当作一个经验丰富的“智能副驾驶”，帮助你高效地完成模型选择与超参数调优。
2025-08-24 06:48:03
1019
原创 LLM实践系列：利用LLM重构数据科学流程04 - 智能特征工程
它不仅可以作为特征构思的灵感来源，还可以作为代码生成的引擎，将你的想法迅速变为现实。构思出新特征后，你需要手动编写复杂的Python代码来计算这些值，例如处理日期、分组聚合等，这不仅耗时，还容易出错。LLM的回答不仅提供了特征名称，还详细解释了其背后的业务逻辑，这极大地加速了从业务理解到特征构思的转化过程。项目，展示如何利用LLM，将特征工程从一门依赖人工的“艺术”，转变为一个高效、可自动化的过程。这正是LLM重塑数据科学流程的强大力量，它将原本复杂的、依赖经验的特征工程，变成了一个。
2025-08-22 22:41:25
1229
原创 LLM实践系列：利用LLM重构数据科学流程03- LLM驱动的数据探索与清洗
在传统的数据科学流程中，数据探索与清洗是耗时最长、最依赖人工的环节。通过这一系列交互，LLM成为了一个高效的协作伙伴，不仅提供了解决方案，还帮助你验证了结果。你不需要记住复杂的API语法，只需要用最自然的语言告诉LLM你的需求。在执行完清洗代码后，你需要再次运行 df.info() 和 df.isnull().sum() 来验证结果。的电商数据集为例，演示如何利用LLM作为你的“智能数据管家”，高效地完成数据探索与清洗。LLM的分析不仅全面，而且充满了“人情味”，它知道数据科学家通常会遇到的问题。
2025-08-22 22:40:13
800
原创 LLM实践系列：利用LLM重构数据科学流程02
它们不再仅仅是回答问题的聊天机器人，而是理解、生成和推理的强大工具。本章将简要介绍LLM的核心能力，并着重阐述这些能力如何成为解决数据科学痛点、开启新工作流程的钥匙。通过将LLM融入数据科学的每个环节，我们可以将重心从繁琐的编程和试错中转移，投入到更具价值的问题定义和结果分析上。LLM正在成为数据科学家的“超级助手”，引领我们进入一个更加高效、智能和协作的时代。这三项能力的结合，让LLM从一个被动的信息库，变成了能够主动分析、创造和解决问题的智能伙伴。LLM的核心能力与传统数据科学的挑战形成了完美的互补。
2025-08-22 22:39:08
338
原创 LLM实践系列：利用LLM重构数据科学流程01
在人工智能的浪潮中，数据科学已成为推动业务增长的核心引擎。然而，在这个看似光鲜的领域背后，数据科学家们正面临着一系列根深蒂固的挑战。在传统流程中，从技术模型到业务洞察的转化，需要大量的人工解读和沟通，这道鸿沟是横在数据科学与业务应用之间的一大障碍。这个过程高度依赖人工，需要耗费大量时间编写和调试代码，而这些工作往往是重复性的。数据科学项目的第一步，往往也是最漫长的一步。在特征准备好之后，数据科学家面临另一个挑战：如何选择最佳的模型，并找到最优的超参数组合？的瓶颈，这直接制约了模型性能的上限。
2025-08-22 22:37:05
533
原创 LLM实践系列：利用LLM重构数据科学流程
将LLM融入数据科学流程不再是理论，而是可以落地的实践。利用LLM重构后的数据科学工程流程，将从一个。
2025-08-22 22:34:57
308
原创 揭秘大模型 Agent：从科幻到现实，我们走到了哪一步？
Agent 技术代表了 AI 应用的下一个前沿，但它离大规模、通用化的商业落地还有很长的路要走。目前，Agent 的真正价值在于其作为智能的自动化执行器，在受控的、垂直化的场景中，将人类从繁琐、重复的工作中解放出来。我们可以预见，未来的 Agent 将会与 RAG 深度融合，具备更严谨的知识基础和更强的容错能力。在工程化手段的约束下，Agent 将逐步拓展其商业应用边界，最终成为企业不可或缺的自动化工具。
2025-08-15 15:17:48
804
原创 【成本评估】一文读懂选择Qwen做RAG应用的全过程（4）
最低成本方案：使用 Qwen-7B 模型，利用开源 RAG 框架，部署在云上的 GPU 弹性实例。主要成本是云服务费用和少量的人力投入。中等投入方案：在最低成本方案的基础上，投入更多人力优化数据分块和嵌入模型，并使用 Kubernetes 等工具进行生产部署。成本增加在人力和更稳定的云服务。最高投入方案：拥有专业团队，自建 GPU 集群，并对嵌入模型和 Qwen 模型进行深度微调。这种方案适合有长期规划和充足预算的大型项目。在做决策时，请结合你的预算、团队能力和产品上线时间表。
2025-08-14 15:53:51
928
原创 【微调】一文读懂选择Qwen做RAG应用的全过程（3）
对嵌入模型进行调优是一个非常值得投入的优化方向。它能直接提升 RAG 系统的检索精度，解决通用模型在特定领域表现不佳的问题。如果你的知识库是通用知识，那么直接使用像 BGE-M3 这样的开源嵌入模型就足够了。如果你的知识库是高度垂直的、包含大量专业术语，那么投入时间去调优嵌入模型会是一个非常明智的决定。调优后，你得到的嵌入模型会更懂你的数据，从而让 RAG 系统的整体效果更上一层楼。
2025-08-14 15:52:04
533
原创 【微调】一文读懂选择Qwen做RAG应用的全过程（2）
这种情况下，是否选择对 Qwen模型，进行微调。：这取决于你的具体情况，但通常来说，在 RAG 架构中，微调 Qwen 模型并非首要任务，但可以作为后续优化的一个手段。
2025-08-14 15:49:46
245
原创 一文读懂选择Qwen做RAG应用的全过程（1）
Qwen 系列模型因其在中文领域的出色表现和开源开放的特性，成为了 RAG 架构中一个非常实用的选择。
2025-08-14 15:44:25
492
原创 关于模型选择，给你一个务实的决策路径
如果你只是想快速验证一个想法，或者对模型能力要求极高且预算充足，直接使用商业模型 API是最快的选择。如果你的项目需要长期运营，对成本、数据安全和模型定制有要求，那么从一个适度规模的开源模型入手，并进行微调，是性价比最高的选择。如果你的应用场景对速度和设备有严格限制，考虑使用小型模型。记住，模型选择不是一步到位，而是一个不断迭代优化的过程。先从一个最适合当前需求的模型开始，然后在实践中根据反馈和数据进行调整。
2025-08-14 15:24:03
658
原创 大模型工程化落地：从模型选择到性能优化的实战指南
大模型工程化落地是一个系统性的过程，它要求我们从业务需求出发，设计合理的模型选择和部署策略。通过软硬件协同容器化部署以及持续的性能优化，才能最终将强大的AI模型转化为稳定、高效且具备成本效益的生产力。
2025-08-14 15:14:41
923
原创 提示词增强工程（PEE）框架,从原始提示词到结构化增强、LLM执行、评估和数据持久化的完整自动化流程
提示词增强工程（PEE）框架是一个模块化的原型系统，旨在将“提示词增强工程”的理念付诸实践。它将一个复杂的任务分解为六个相互独立又协作的模块，实现了从原始提示词到结构化增强、LLM执行、评估和数据持久化的完整自动化流程。我们开发的PEE-Core框架是一个模块化的 Python 库，旨在将提示词从一个简单的文本字符串升级为可管理、可优化和可自动化的“软件资产”。它通过一个完整的工作流，将用户的原始提示词自动增强为更具鲁棒性、更明确的提示词，从而提高大型语言模型（LLM）的输出质量和稳定性。
2025-08-02 12:15:34
942
原创 为什么我们需要提示词增强工程PEE(Prompt Enhancement Engineering )
如果说“提示词工程”解决了“从 0 到 1”的问题，让大模型能用起来；那么“提示词增强工程”则致力于解决“从 1 到 100”的问题，让大模型能够用得更好、更稳定、更智能。它将提示词从一个简单的输入字符串，提升为一个可管理、可优化、可适应的“软件资产”，是AI应用迈向成熟和大规模商业化的必经之路。
2025-08-01 08:58:12
821
原创 动手搭建“提示词增强工程（PEE）”的原型系统，
基于，我们开发了一个原型系统，利用大语言模型（LLM）自动优化用户输入的原始提示词。本系统采用和实现，因其简洁高效且功能强大。
2025-08-01 08:55:28
440
原创 【基于BERT 的词嵌入 自定义模型】MAP - Charting Student Math Misunderstandings
【代码】【基于BERT 的词嵌入 自定义模型】MAP - Charting Student Math Misunderstandings。
2025-08-01 07:52:18
144
原创 Kaggle竞赛提交环境无法联网，下载模型和 tokenizer 到本地，后续从本地加载/或上传到对应环境
在 自己的机器上运行以下代码，将 tokenizer 和模型保存到本地文件夹中，例如。下面是如何下载并保存模型的步骤，适用于 Kaggle 无网络环境。这样你就不再依赖联网资源了，提交代码不会报错。这一步会在本地创建一个包含以下内容的文件夹。，并在推理（提交）代码中。
2025-08-01 07:51:54
433
原创 提示词增强工程（Prompt Enhancement Engineering）白皮书草稿
*提示词增强工程（Prompt Enhancement Engineering，简称 PEE）**是一种工程化实践，它在传统提示词工程的基础上，通过自动化、系统化的手段，提升提示词的性能、适应性、鲁棒性及上下文感知能力，以确保大型语言模型在多元任务和不同模型中都能输出高质量、精确且结构化的结果。
2025-07-31 21:19:27
1629
1
原创 AutoGluon目标列中NA值作为标签的处理方案
AutoGluon要求目标列不能包含NA/缺失值，但在某些应用场景中，NA本身可能代表一种有意义的标签类别。
2025-07-31 08:17:34
257
原创 【特征工程】一文读懂如何在ML项目如何开展特征工程
特征工程指的是：从原始数据中提取、转换、构建有意义的输入特征，以增强机器学习模型的表达能力与泛化能力。
2025-07-31 08:17:09
1145
原创 【 建模分析回顾】[MultiOutputClassifier]MAP - Charting Student Math Misunderstandings
输入 X：自然语言文本（问题和学生回答）输出 Y：离散的标签值（概念分类，误解分类）目标：学习一个映射函数或任务类型：多类文本分类（Multiclass Text Classification）
2025-07-30 20:45:00
479
原创 [AutoGluon]MAP - Charting Student Math Misunderstandings
【代码】[AutoGluon]MAP - Charting Student Math Misunderstandings。
2025-07-30 20:30:00
342
原创 [MultiOutputClassifier]MAP - Charting Student Math Misunderstandings
【代码】[MultiOutputClassifier]MAP - Charting Student Math Misunderstandings。
2025-07-29 22:40:49
235
原创 【AutoML】MAP - Charting Student Math Misunderstandings
autogluon的TabularPredictor 不支持多标签任务。
2025-07-29 22:37:45
131
原创 【神经网络】一个多任务的模型 MAP - Charting Student Math Misunderstandings
【代码】【神经网络】一个多任务的模型 MAP - Charting Student Math Misunderstandings。
2025-07-25 08:29:14
315
原创 【XGBoost】两个单任务的模型 MAP - Charting Student Math Misunderstandings
【代码】【XGBoost】两个单任务的模型 MAP - Charting Student Math Misunderstandings。
2025-07-24 18:26:53
228
Excel【办公软件应用】Excel 2016快速入门指南：基础功能介绍与高效办公技巧汇总了文档的主要内容
2025-07-05
大模型实战系列-08 开发一个基于 MCP 协议的多 Agent 协作系统
2025-07-03
鸿蒙分析报告，大模型 也许成为鸿蒙跨越应用“鸿沟”的契机
2025-04-12
这份报告对 YC 2023 年和 2024 年队列中的 417 家人工智能公司进行了广泛的分析
2024-08-17
世界各地很多服务提供商采纳了TM论坛的TOM2.1业务架构模式，TOM已经成为服务提供商运营管理的工业标准。但是。。。。
2022-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人