掌握可扩展和高效的AI模型部署艺术

资源下载链接为： https://pan.xunlei.com/s/VOYs5NiPnW_IXYJcjbLysecbA1?pwd=a6j7 本存储库收录了 O'Reilly《部署 GPT 与大型语言模型》实时在线培训的代码。该课程面向软件工程师、数据科学家及机器学习专业人员，旨在帮助他们掌握在生产环境中高效部署 AI 模型所需的技能与知识。当前人工智能正深刻变革各行业，大规模部署、管理和优化 AI 应用的能力愈发关键。 课程涵盖部署全流程要点，既包括运用 Kubernetes、llama.cpp、GGUF 等前沿工具，也涉及成本管控、计算优化与模型量化等核心内容。具体包含基础笔记本（LLM 简介、第三方提供商提示介绍，如借助 Together.ai、HuggingFace、Groq 运行 LLM；提示注入示例，解析三种提示注入攻击方式）、数据处理与漂移监控（用 AUM 和余弦相似性清理数据，通过在线学习应对 AI 漂移）、AI 代理评估（任务自动化与工具集成相关评估，如工具选择准确性案例研究、代理响应的位置偏差分析、多 LLM 位置偏差识别评估）、高级部署技术（推测解码、提示缓存 Llama 3、提取 BERT 优化速度与内存、动态量化 Llama-3、在有无 GPU 环境下用 Llama.cpp 处理 GGUF 格式模型及嵌入模型，还有 Llama 3 的 K8s 演示，更多内容可查看对应目录）、LLM 微调（用 OpenAI 和 BERT 微调 app_reviews，含 BERT 模型冻结操作）、提示工程（基础与高级提示工程知识）、RAG（语义搜索、基于 GPT 和松果体的基础 RAG Bot 构建）等模块。 课程讲师 Sinan Ozdemir 是 LoopGenius 创始人兼首席技术官，致力于用先进 AI 助力人们创办和运营企业。他曾担任约翰・霍普金斯大学数据科