深度学习模型训练中的batch_size, batch和epoch关系详解

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

训练过程中的批量大小、批次和时期背后的故事

定义

在深度学习中，batch、batch_size和 epoch 是训练过程中的核心概念，其中文专业术语及详细解释如下：

1. Batch Size

• 中文术语：批次大小或批量大小
• 定义：每个批次中包含的样本数量，是训练前需设定的超参数。
• 选择依据：
  • 硬件限制：GPU内存较小需选择较小的batch_size（如32）。
  • 性能权衡：
    • 大批次（如256）：梯度估计更准确，但可能陷入局部最优。
    • 小批次（如16）：训练随机性高，可能提升泛化能力，但收敛慢。
• 常见值：通常为2的幂次（如32、64），以优化硬件计算效率。

2. Batch（批次）

• 中文术语：批次
• 定义：指数据集中数据集大小除以Batch Size。通过将数据集划分为多个批次，可以实现高效的内存利用和并行计算。
• 作用：
  • 计算效率：利用GPU的并行计算能力，加速训练过程。
  • 梯度稳定性：多个样本的平均梯度比单样本梯度更稳定，减少训练震荡。
• 示例：若数据集有1000个样本，batch_size=100，则共有10个批次。

3. Epoch（周期）

• 中文术语：周期或轮次
• 定义：模型完整遍历整个训练数据集一次的过程，为1个epoch。通常我们需要训练多个Epoch来使模型达到收敛。
• 作用：
  • 训练进度衡量：例如10个epoch表示数据集被训练10轮。
  • 学习率调整：通常随epoch增加动态调整学习率以优化收敛。
• 计算关系：
  • 若数据集有1000样本，batch_size=100，则1个epoch需10次迭代。

三者的关系与训练流程

1. 数据划分：数据集 → 多个epoch → 每个epoch划分为多个batch。
2. 参数更新：每个batch计算一次梯度并更新模型参数，完成所有batch即结束一个epoch。
3. 示例：
   • 数据集：60000样本，batch_size=1000 → 每个epoch包含60次迭代，10个epoch共600次迭代。

常见问题

批次如何计算以及权重

如果我们有一个包含1000张图像的图像数据集，在情况1中：假设批量大小为10，在另一种情况下批量大小为100，它们对模型训练的影响是什么，权重会在每个批次或每个epoch后更新吗？

一个包含1000张图片的数据集：

案例 1： 批量为 10

每个epoch的批次数量： 1000/10 = 100 个批次。
权重更新：模型的权重将在每个批次后更新。 这意味着在一个 epoch 内，权重将被调整 100 次。

案例 2： 批量为 100

每个时期的批次数量： 1000/100 = 10 个批次。
权重更新：模型的权重将在每批处理后更新。 在这种情况下，每个 epoch 将有 10 个权重更新。

概念说明

模型训练： 在 一个epoch 期间，模型批量处理训练数据。在每个批次之后，模型计算该批次的损失，并使用它通过反向传播和优化算法（如 Adam 或 SGD）更新模型的权重。

Epoch 结束： 一旦模型处理完训练数据集中的所有批次，则表示一个 epoch 就完成了，通常模型会训练多个epoch。

模型验证（在epoch之后）： 通常在一个epoch训练完成之后，会在验证数据集上进行模型评估验证，以查看模型的性能收敛情况。

下一个 Epoch 的开始： 如果继续训练，模型将在下一个 epoch 中再次遍历训练数据集。 下一个 epoch 中的权重更新将基于在该新 epoch 的训练批次上计算的损失，而不是来自前一个 epoch 的验证步骤的损失。

总结

1. 模型权重的更新是在每个batch之后，而不是每个epoch之后；
2. 批次大小batch_size决定在一个epoch中，权重的更新次数，batch_size越大，权重更新次数越少；
3. 一般情况下，batch_size越大，模型收敛速度越快。

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！