3、机器学习项目挑战与 MLOps 重要性解析

机器学习项目挑战与 MLOps 重要性解析

1. 现实世界机器学习解决方案的常见挑战

在开发现实世界的机器学习（ML）解决方案时，会面临一系列的挑战，这些挑战会影响模型的性能和应用效果。

1.1 数据质量问题

ML 算法的性能对训练样本的质量非常敏感。少量的异常值、缺失数据或异常场景都可能显著影响模型的质量。因此，在训练任何 ML 算法之前，仔细处理这些情况至关重要。
- 异常值处理 ：有多种识别和处理异常值的方法，最佳方法取决于问题的性质和数据本身。
- 缺失值处理 ：常见的方法包括使用均值、中位数、众数填充缺失数据。如果训练数据量足够大，删除少量包含缺失值的行也是一个不错的选择。

这表明数据预处理在 ML 生命周期中应被高度重视，因为高质量的训练数据集是模型准确学习和提供优质结果的基础。

1.2 欠拟合训练数据集

欠拟合意味着模型过于简单，无法学习训练数据集的内在信息或结构。这可能发生在使用线性 ML 算法（如线性回归）拟合非线性分布时，或者在训练模型时仅使用少量特征（可能对目标分布信息不足）的情况下。欠拟合的模型从训练数据中学到的信息过少，因此在未见过或测试数据集上会出错。

解决欠拟合问题的常见方法有：
- 特征工程 ：添加更多代表目标分布的特征。
- 使用非线性算法 ：如果目标分布是非线性的，切换到非线性算法。
- 去除数据噪声 。
- <