增量预训练baichuan-13b-chat遇到的那些坑

增量预训练baichuan-13b-chat遇到的那些坑

原创 AI算法之门 AI算法之门 

前言

资源

单机两4090，如图

在这里插入图片描述

单卡24G，baichuan-13b-chat单卡推理需要至少26G，因此仅用一张卡，我们是无法加载百川13B的模型，所以，无论是推理还是训练，我们都必须并行！

deepspeed

核心思想：GPU显存不够，CPU内存来凑

虽然我们两张卡加起来有48G，按理说显存是足够的，实则不是。

就两张卡而言，分别为GPU0和GPU1，两块GPU上分别有一半模型参数，即6.5B，占用13G，在使用deepspeed的参数并行进行前向传播时，GPU0需要把自己身上的参数传给GPU1临时保存起来，参与前向传播，这时，GPU1身上的参数即为整个模型的参数，即13B，占用26G，超出了单卡显存上限，因此，当只有两块卡时，不使用offload策略的前提下，单卡的显存必须大于 模型大小 * 2，即13B的模型，双卡并行时，必须保证单卡显存大于26G。在使用三卡并行时，单卡显存大小理论上应大于：2 * 13 * 2 / 3 = 17.3G。

第一个2表示：每块GPU上都需要保存一份自己独有的参数和其他卡发送过来的临时参数，共2份 第二个2表示：参数的数据类型是fp16，占两个字节，所以乘2 13表示：13B的模型 3表示：3块GPU

下面的视频展示了 ZeRO（包含所有三个阶段）如何执行训练步骤，包括前向传递、后向传递和参数更新。要用到多卡并行的同学建议一定要看！ ZeRO-deepspeed-new-system-optimizations-enable-training-models-with-over-100-billion-parameters[1]

从上面的分析可以看出，我的硬件资源在不使用offload的情况下，是不足的，我的deepspeed参数配置：

{
  
      "bfloat16": {
  
          "enabled": false    },    "fp16": {
  
          "enabled": "auto",