大模型技术栈全景

前言

本文介绍大模型技术全景图，覆盖从底层硬件到上层应用的技术体系。按照技术栈的层级进行组织，为大模型学习提供参考。

大模型技术全景图（LLM Technology Landscape）

层级逻辑：硬件 → 系统 → 训练 → 模型算法 → 推理优化 → 部署运维 → 应用 → 支撑体系

一、底层硬件基础

二、分布式训练系统

三、模型算法与核心技术

1. 模型架构

• 基础架构：Transformer（Decoder-Only/Encoder-Decoder）
• 核心创新：
  • 注意力机制：FlashAttention（IO优化）、MQA/GQA（显存优化）、RoPE/ALiBi（位置编码）
  • 激活函数：SwiGLU、GeGLU
  • 高效结构：MoE（Switch Transformer/DeepSeek-MoE）、低秩适配

2. 预训练技术

• 目标函数：自回归/掩码语言建模、多模态对比学习
• 数据工程：海量数据清洗/去毒/合成生成、领域平衡
• 训练技巧：AdamW/Sophia优化器、余弦学习率调度、z-loss稳定训练

3. 微调与对齐

• PEFT技术：LoRA/QLoRA（4bit量化微调）、Adapter/Prompt Tuning
• 对齐技术：
  • SFT（监督微调）
  • RLHF（人类反馈强化学习）
  • 新一代对齐：DPO（直接偏好优化）、KTO（行为经济学优化）

4. 推理与优化技术（关键增强）

四、模型部署与运维体系（独立章节）