Deepspeed的zero2和zero3的配置文件Demo

小怪兽会微笑

已于 2025-02-13 00:34:30 修改

阅读量882

点赞数 7

CC 4.0 BY-SA版权

分类专栏：学习笔记 Deep Learning 文章标签：人工智能机器学习深度学习

于 2025-02-09 16:44:54 首次发布

本文链接：https://blog.csdn.net/a1920993165/article/details/145533734

Deepspeed的zero2和zero3的配置文件Demo

Zero2

使用下面这个文件，在8*H100的机器上训练了Qwen2.5-7B模型。上下文窗口8K，参数大小bf16，batch_size = 8（num_gpu）*2（per_gpu_batch_size）*4(gradient_accumulation_steps) =64，deepspeed采用zero2，显存占用约78G，数据量1.4B tokens，训练时长8 hour。

{
   
   
    "fp16": {
   
   
        "enabled": "auto",
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "bf16": {
   
   
        "enabled": "auto"
    },
    "optimizer": {
   
   
        "type": "AdamW",
        "params": {
   
   
            "lr": "auto"<