笔记 - 模型训练：监控

扫码参与CSDN“原力计划”作者 | A字头来源 | 数据札记倌(ID:Data_Groom)“模型训练结束后才是业务真正的开始”简述每次模型训练完成后，并不意味着项目的结束，在训练模...

DeepSpeed监控工具使用教程：实时追踪模型训练指标 概述 在深度学习模型训练过程中，实时监控模型和系统指标对于确保硬件资源充分利用至关重要。微软DeepSpeed框架提供了强大的监控功能，可以帮助开发者实时记录和分析训练过程中的各项指标。 为什么需要训练监控 性能优化：通过监控可以识别训练瓶颈，优化资源利用率 故障排查：及时发现训练过程中的异常情况 实验对比：记录不同实验的训练指标，便于横...

每30秒输出GPU的使用情况 方法一、 nvidia-smi -| 30 方法二、 watch -n 30 nvidia-smi

Tensorboard监控模型训练过程时输出每个批次的结果 tensorboard = TensorBoard(log_dir="./logs",update_freq='batch') 要想以每个批次的结果输出，需要设置update_freq参数为batch，查看源码可以看到默认为epoch，所以如果不设置这个参数，每一轮才会输出一次。 def __init__(self, log_dir='./logs', histogram_freq=0,

本章将介绍如何在 PyTorch 中使用 TensorBoardX 对神经网络进行统计可视化，如Loss 曲线、Accuracy 曲线、卷积核可视化、权值直方图及多分位数折线图、特征图可视化、梯度直方图及多分位数折线图及混淆矩阵图等。 TensorBoardX PyTorch 自身的可视化功能没有 TensorFlow 的 tensorboard 那么优秀，所以 PyTorch通常是借助 tensorboard(是借助，非直接使用)进行可视化，目前流行的有如下两种方法，本文仅介绍第二种——Ten...

1. 背景介绍 1.1 为什么需要模型监控 随着人工智能和机器学习技术的快速发展，越来越多的企业和组织开始将这些技术应用于实际业务场景。然而，随着模型的部署和应用，如何确保模型在实际运行过程中的稳定性、准确性和可靠性成为了一个亟待解决的问题。模型监控作为一种实时了解模型运行状况的方法，可以帮助我们

​ MLOPS：最佳的机器学习模型监控工具的简介及其对比(Neptune/Arize AI/WhyLabs/Prometheus和Grafana/Evidently/Qualdo/Fiddler/SageMaker Model Monitor/Seldon Core/Censius) 目录 最佳的机器学习模型监控工具的简介及其对比 如何比较机器学习模型监控工具 结论 最佳的机器学习模型监控工具的简介及其对比 地址 文章原始地址：Best T

了解您的模型是否运行良好的最直接方法是将您的预测与实际值进行对比。您可以在模型训练阶段使用相同的指标，例如：分类的 Precision/Recall、回归的 RMSE 等等。其次，不仅需要跟踪模型质量，还需要跟踪相关的业务 KPI。您可能已经知道要跟踪的一些特定分段（segments），例如：您的高级客户与整体基数的模型准确性。为此，我们需要跟踪合适的指标，例如准确率中的奇偶校验。在本文中，我们建议如何监视您的模型和要使用的开源工具。我们需要确保模型交付。例如，您可以跟踪主要的模型特征和模型预测的分布。

如果您使用不同类型的特征（例如：词嵌入、地理位置坐标），您可能需要将它们解码（例如：分别解码为字符串和城市名称），以便您可以更轻松地分析报表和在绘图中的展示这些特征。这样做的原因是，许多数据问题对样例的某些子集具有关键影响，但它们在整个数据集的影响可能会“消失”，因为当您查看整个数据集的聚合值时，它们的绝对影响不足以感受到。您创建了一些实时警报（电子邮件、移动推送通知等），以在模型以意想不到的方式表现时提醒您，例如奇怪的特征值、缺失的特征、分数太高/太低，等等。监控使用模型做出的决策。

在模型的监控和调试过程中，主要目的是确保模型在实际应用中能够稳定运行并达到预期的性能指标。

《Python金融大数据风控建模实战》 第11章 模型在线监控本章引言Python代码实现及注释 本章引言 第9章介绍了在模型开发阶段的评估指标。模型完成开发后，如果其性能满足基本要求，就可以在生产环境中上线使用。在这个阶段仍然需要对模型指标进行评估，其目的在于判断模型的有效性，通过指标的判断给模型提供更新机制，即模型要使用多久，以及当哪些指标发生恶化后需要终止使用并重新开发新模型。模型评估指标决定了模型上线使用的生命周期。 Python代码实现及注释 # 第11章：模型在线监控 import os im