AI大模型
学习路径
AI 及 LLM 基础
AI 领域基础概念
OpenAI API 调⽤ API Key
AI, NL/NLU/NLG
机器学习: 学习方法, 拟合评估
神经网络: CNN, RNN, Transformer
Transformer, BERT 架构简介
LLM, Generative AI
OpenAI 及其他常用大模型介绍演示
参数详解:max_tokens, temperature, n, top_p,
presence_penalty, frequency_penalty
OpenAI 开发
带会话⻓度管理的控制台 Chatbot ⽰例
OpenAI API 参数, Token, 计费
Rest API 调用(Postman): Model, Chat, Audio,
Images, Embedding
Python API 调用
Tool calls
调用具有视觉的 GPT-4o
使用本地图片
JSON 模式
seed 可重现输出
使用代码统计token 数量
开发控制台循环聊天
管理对话 token:实现基于最大 token 数量的消
息列表限制
带会话长度管理的控制台循环聊天
支持多模态输入的 AI Chatbot App
基于 Streamlit 的 Web UI 多模态 Chatbot
开发基于 Streamlit 和 OpenAI 大模型的 Chatbot App
支持图片的多模态输入
Python 项目代码结构优化
Prompt Engineering 提示词工程
Prompt engineering 介绍
最佳实践
Zero-shot, Few-shot
CoT, ReAct, Reflexion
Prompt Chaining
结构化输出
Prompt 应用: 数据, 代码, 函数, 分类, 创意, 生成, 汇总
风险与安全
gpt-4-version 图像提示工程技术
LangChain 开发
LangChain 基础
LangChain 模块和体系
LLM & Chat models
PromptTemplates, OutputParses
Chains
LCEL & Runable interface
LLM apps debug: Verbose, Debug Mode &
LangSmith Tracing
LangChain Chat Model
Prompt templates: Few shot
LangServe
为 Chain 添加 Message history (Memory)
单行初始化 chat model
基于 LangChain 的 Chatbot: Chat History
Track token usage
Cache model responses
LangChain Tools & Agent
Multimode 集成
Ouput parsers: JSON, XML, YAML
自定义 Tools, 调用 Tools
集成内建 Tools
创建和运行 Agent
Embedding 与向量数据库
Embedding models
Vector stores 向量数据库: Chroma, Weaviate,
Qdrant, Milvus, Pinecone, FAISS, Lance
Similarity search
向量检索: Docuemnts, Retrievers
基于 LangChain 构建向量存储和查询:
开发基于 Embedding 的意图匹配和问答实例
RAG 专题
RAG 简介
Document loaders: CSV, HTML, JSON,
Markdown, PDF
Text splitters: recursively, HTML, code,
Markdown, JSON, semantic chunks, tokens
Loader, Splitter, Embedding, Vector Store,
Retrievers 的综合应用
自定义组件专题
Callback 处理
自定义 callback handlers
自定义 Chat model
自定义 RAG: Retriever, document loader
基于 LangChain 的常用案例实战
PDF 文档问答
基于 Web URL 的问答
基于 SQL 的 CSV 数据分析问答
Web Search 集成
带 RAG 的 Chatbot 实战
带 RAG 的 Chatbot
Chatbot Memory
RAG
Tools
大对话记录处理
LangGraph
LangGraph 核心组件: Graphs, State, Nodes,
Edges, Send...
LangGraph 实现:可控性 Agent 框架, 持久化,
Human-in-the-loop, streaming, React agent
Agent 使用案例: Chatbots, Multi-Agent
Systems, RAG, Planning Agent...
LlamaIndex 开发
LlamIndex 框架
核心模块介绍: Models, Prompts, Loading,
Indexing, Storing, Quering, Agent,
Evaluation
RAG pipeline 构建: Loading, Indexing,
Querying, Evaluating
Agent 构建
基于 LlamIndex 框架的应用
大规模文本数据搜索
内容推荐
AI 问答
LlamaIndex 与 LangChain 集成
LlamaIndex RAG CLI 工具
AutoGen 开发
AutoGen studio
AutoGen studio UI
AutoGetn studio workflow
Python 集成 workflow
AutoGen 基础
LLM 配置
Agent 类型:UserProxy, Assistant, Conversable Agent
Code Executors 自动化代码
Tool Use
GroupChat 多 Agent 对话
LLM 大模型开发
模型即服务共享平台
Hugging Face, ModelScope 平台功能
加载在线模型, 离线模型
模型推理调用
Transformers 使用
利用模型完成任务:文本,语音,Embedding Models
本地大模型
硬件配置分析
常用大模型选型: LlaMA 3, Gemma, Mistral...
本地大模型安装部署
本地大模型调用
本地大模型与对话 APP 应用集成
训练自己的大模型
Transformer 模型详解, Encoder, Decoder
加载数据集
模型训练Train (单卡, 多卡)
模型评估
模型量化: AWQ, GPTQ, GGUF
模型部署
API 调用
大模型微调
构建专属行业模型: 基于预训练大模型 Fine-tune
微调对比: 提示工程, RAG, Fine-tuning 对比
Prompt Tuning, Prefix-Tuning, LoRA, QLoRA
基于 OpenAI Fine-tuning
本地大模型的 Fine-tuning
特定任务的大模型推理和训练实践: 文本分类, 序
列标注, 文本生成, 图像分割
企业级项目实战
银行 AI Chatbot 智能客服
Rule-base Chatbot vs AI Chatbot
银行 Chatbot 架构解析
基于 Azure OpenAI 和 Google Vertex AI 平台的架构详解
金融行业 Chatbot 实现:Intent + Q&A + 企业服务集成
Code Copilot 编程助手
部署自己的本地编程大模型
实现自己的代码助手
代码生成
代码解释
文件处理
代码仓库处理
代码 Review 与修正
基于 AI 的 CSV 数据分析处理
CSV 数据处理的多种方式: DF, SQL
输入分析及参数提取
基于 Code Agent 的代码生成和执行
数据可视化实现
前沿技术扩展
OpenAI Assistants 开发
Assistant 关键组件
创建 Assistant, Thread, 消息处理
工具集成: Code interpreter, Function calling,
File search
Vector store
Preview
音频模型专题
Large Audio Language Model
中英文语音识别
语音翻译
语音标题生成
带词级时间戳的语音识别
音频场景分类
语音情绪识别
问答
人脸模型专题
Face detection Model
人脸检测
人脸活体
人脸关键点
人脸属性&表情,表情识别
人脸识别,人脸认证、通行等
图片处理模型专题
Text to Image/Stable Diffusion Model
Text-to-Image Diffusion Models 扩散模型
文生图模型的应用场景: 中英文图像生成, 卡通系列,
漫画风, 水彩风, 剪切画生成
抠图
stable video diffusion 视频生成模型
图片生成视频
画质增强, 人像修复, 图像去模糊, 去噪
检测模型应用专题
Object Detection Model
垂直类检测: 安全帽,香烟, 口罩, 人体, 人头
视频目标检测跟踪: 自动驾驶,交通标志, 行人
行为检测
关键点检测: 人脸, 人手, 人体
行业信息处理专题
Structbert Model
零样本学习: 抽取式, 生成式
信息抽取: 分词, 词性标注, 命名实体识别, 关系抽
取, 事件抽取, 关键词抽取, 匹配, 分类, 指代消解,
阅读理解
多模态应用专题
MultiModal
图像描述
视频描述
视觉定位
文本生成图片
文本生成视频
多模态表征
更多前沿技术持续更新中...
学习目标:建立对AI和LLM的基础理解,了解主要
的机器学习和神经网络模型,掌握API调用方法。
学习目标:学会使用OpenAI API开发聊天机器人,
理解API的参数和计费,掌握不同API调用方法。
学习目标:开发支持图片等多模态输入的Chatbot应
用,优化代码结构以提高开发效率。
学习目标:学习如何设计高效的Prompt以获得最佳模
型输出结果,深入掌握Prompt Engineering技巧,
提升与大模型的交互质量。
学习目标:掌握LangChain的基本用法,理解
如何在复杂任务中使用该框架。
学习目标:能够使用LangChain开发具有记
忆功能的Chatbot。
学习目标:深入学习LangChain的工具和
Agent,包括数据处理、任务管理、插件
使用等。
学习目标:掌握如何使用Embedding模型和向
量数据库进行高效的信息检索
学习目标:理解RAG工作机制,学会使用文档加
载器和文本分割器处理数据,学习如何结合检索
和生成模型来处理复杂的任务。
学习目标:掌握LangGraph的应用,理解如何
通过图结构来增强模型的推理能力,学会构建复
杂的多智能体系统。
学习目标:掌握回调处理和自定义模型的开
发。学会自定义组件以满足特定需求,增强
模型的灵活性和功能性。
学习目标:掌握使用LangChain
处理实际问题的方法,包括文档
问答、数据查询和集成网络搜索
功能。
学习目标:构建一个具有复杂对话
记录处理能力的Chatbot。
学习目标:基于LlamaIndex框架开
发大规模文本搜索和内容推荐系统。
学习目标:掌握LlamaIndex的核心模块和
应用构建。
学习目标:学习使用AutoGen
studio进行工作流设计与管理,
理解其核心组件及功能。
学习目标:掌握AI代理的开发与集成,了解如何通过代理
来增强模型的应用场景。使用AutoGen进行自动化代码生
成和多智能体对话。
学习目标:具备大模型的训练与调优能力,能够开发和优化适用于特定领域的AI模型
学习目标:学会使用共享平台和本地环境开发和部署大
型语言模型。
学习目标:掌握本地大模型的安装部署和调用
学习目标:深入理解Transformer模型的工作原
理,掌握大模型的训练流程和评估,量化技术。
从事岗位:AI大模型训练/评测师(40K+)
从事岗位:提示词工程师(15K-30K)
从事岗位:AI大模型应用开发工程师(30K+)
学习目标:掌握LangChain的高级工具与RAG和Agent技术,能够构建复杂的AI应用。
学习目标:掌握基于预训练模型的微调技术,针
对特定领域进行模型的训练与优化,构建专属行
业模型。
学习目标:通过企业级真实项目场景落地,锤炼大模型全栈技术应用
能力。完成AI应用从策划到开发到落地的全过程。
学习目标:了解并掌握AI领域的前沿技术,包括语音识别、图像处理、目标检测和多模态学习。
从事岗位:AI大模型算法工程师(40K+)
AI大模型相关岗位