机器学习基础概念：损失函数优化与梯度下降法详解

### 机器学习与深度学习：从基础到复杂关系的探索 #### 机器学习基础：优化与模型评估 在机器学习中，优化是寻找最佳参数值的关键过程。随机梯度下降是常用的优化方法，但在计算负梯度时，如果仅针对小批量数据，会导致其与所有训练数据的“正确”负梯度随机偏离，使得最小化路径出现强烈的随机波动。不过，该方法仍能接近最优解。 当模型的参数向量通过优化调整，以最大化训练数据中观测类别的预测概率后，就可以将模型应用于新的输入。具体操作时，输入数据，模型进行一次预测，选择具有最高类别概率的类作为输出。 为了评估模型的质量，需要计算分类的准确率。准确率是正确分类的样本数据数量除以所有分类样本数据的数量。但要注意，不能在训练数据上确定准确率，因为模型在训练数据上已进行优化，很多训练示例已被正确分类。通常的做法是将可用的标注数据随机分为两个子集：训练集和测试集，一般测试集包含约 20%的数据样本。这样既能保证因训练集变小导致的训练准确率下降幅度不大，又能使准确率估计足够精确。 以 MNIST 数据为例，经过优化的每个周期后，训练集和测试集的准确率变化情况如下：开始时，准确率迅速上升，随后振荡上升，最终训练集准确率达到约 0.924，即每 100 个数字中，略多于 7 个被错误分类。测试集的准确率明显低于训练集，且该计算在笔记本电脑上耗时不到 10 秒。 然而，在某些情况下，准确率可能会产生误导。例如，当应用中只有两个类别，且第二个类别仅适用于 1%的测试示例时，若模型将所有测试示例都分配到第一个类别，可达到 99%的准确率，但该分类模型显然不可用。因此，为每个类别定义了另外两个质量指标：类别 k 的精确率和召回率，类别 k 的 F 值是精确率和召回率的调和平均值。具体定义如下表所示： |指标|定义| | ---- | ---- | |准确率|正确分类的测试示例数量 / 所有测试示例数量| |精确率|正确分配到类别 k 的所有测试示例数量 / 分配到类别 k 的所有测试示例数量| |召回率|正确分配到类别 k 的所有测试示例数量 / 属于类别 k 的所有测试示例数量| |F 值|2 * (精确率 * 召回率) / (精确率 + 召回率)| 精确率和召回率的高低取决于具体应用。如果要尽可能识别出类别的潜在训练示例，召回率应较高；如果要确保类别分配的高度准确性，精确率应较高。许多分类器可以调整精确率和召回率的相对权重。 #### 深度学习：应对复杂关系 对于更复杂的问题，简单的线性模型往往不够用。例如，逻辑回归模型在很多情况下表现良好，但在处理一些问题时无法找到令人满意的解决方案。逻辑回归模型可视为简单的神经网络，早期的感知机就是一种简化的人工神经网络，它有输入向量和单个输出变量，输入向量和输出变量的组件被称为“神经元”，人工神经元之间的连接有权重，输入神经元对输出神经元的兴奋或抑制有各自的贡献，还存在一个简单的学习算法，在出现错误时改变权重。 以 XOR 问题为例，它是一个二维输入向量的分类问题，输出概率需要复杂变化。当输入值变化时，类别概率的变化并非单一方向。而逻辑回归模型只能产生类之间的直线分离超平面，因为它本质上是一个仿射变换，总是将直线变换为直线。对于需要曲线分离超平面的分类问题，逻辑回归无法提供解决方案。这一问题曾使神经网络研究陷入停滞，直到 20 世纪 80 年代中期，解决方法才逐渐明晰。 为了解决此类问题，Rume