深度学习计算图学习路线

深度学习计算图学习路线

1. 必须掌握（基础核心）

• 计算图的基本概念
  • 什么是计算图（节点表示操作/变量，边表示数据流）
  • 前向传播（Forward Propagation）和反向传播（Backward Propagation）的流程
• 链式法则（Chain Rule）
  • 如何通过计算图理解反向传播的梯度计算（如标量、向量、矩阵的求导）
• 常见算子的梯度计算
  • 加减乘除、矩阵乘法（MatMul）、激活函数（ReLU/Sigmoid/Tanh）、Softmax的梯度推导
• 计算图的实现方式
  • 静态图（Static Graph，如TensorFlow 1.x） vs 动态图（Dynamic Graph，如PyTorch）的区别
• 自动微分（Autograd）原理
  • 如何通过计算图实现自动求导（如PyTorch的backward()底层逻辑）

2. 掌握后加分（进阶能力）

• 计算图的优化技术
  • 常见图优化：常量折叠（Constant Folding）、算子融合（Operator Fusion）、内存优化
  • 框架如何通过计算图优化性能（如TensorFlow的Grappler、PyTorch的TorchScript）
• 动态图的控制流实现
  • 如何处理条件分支（If-Else）和循环（While-Loop）的反向传播（如PyTorch的torch.cond和torch.while_loop）
• 高阶导数（Higher-Order Derivatives）
  • 如何计算二阶导数（Hessian矩阵）或在元学习（Meta-Learning）中的应用
• 分布式计算图
  • 数据并行（Data Parallelism）和模型并行（Model Parallelism）在计算图中的实现（如Megatron-LM的流水线并行）

3. 深入且有难度（研究方向/框架开发）

• 符号微分（Symbolic Differentiation） vs 自动微分
  • 符号微分的局限性（如表达式膨胀问题）与自动微分的优势
• 计算图的编译技术
  • 如何将计算图编译为高效代码（如TVM、XLA、PyTorch的TorchDynamo）
• 内存管理与计算图
  • 梯度检查点（Gradient Checkpointing）技术，权衡计算与内存
• 可微分编程（Differentiable Programming）
  • 非传统算子的自定义梯度（如PyTorch的torch.autograd.Function）
  • 物理仿真、概率编程语言（如Pyro）中的计算图应用
• 计算图的调试与可视化
  • 如何可视化复杂计算图（如TensorBoard、Netron）
  • 梯度异常（如梯度消失/爆炸）的调试方法

学习建议

1. 基础部分：先通过手推梯度（如用计算图推导LSTM的梯度）和框架实践（PyTorch/TensorFlow的自动微分）巩固。
2. 进阶部分：阅读框架源码（如PyTorch的autograd引擎）或论文（如《AutoDiff》综述）。
3. 深入部分：结合分布式训练（如Horovod）、编译器优化（TVM）等实际场景学习。