山东大学威海2023深度学习期末复习提纲

### 山东大学威海2023深度学习期末复习提纲知识点详解 #### 一、梯度下降法 **知识点1：梯度下降法的基本概念** - **定义**：梯度下降法是一种优化算法，广泛应用于机器学习和人工智能领域中的最优化问题求解。 - **应用范围**：特别适用于求解线性回归、逻辑回归、神经网络等模型参数的最优化问题。 - **基本思想**：通过迭代调整参数，使目标函数（损失函数）的值逐渐减小，直至达到最小值或接近最小值。 #### 二、梯度下降优化方法及其特点 **知识点2：不同类型的梯度下降法** 1. **批量梯度下降法(BGD)** - **特点**：每次迭代使用全部训练集计算梯度。 - **优点**：梯度计算准确，对于凸问题能收敛到全局最小值，非凸问题则可收敛到局部最小值。 - **缺点**：当数据集规模庞大时，计算成本高，训练速度慢；内存需求大，不适合处理大规模数据集。 2. **随机梯度下降法(SGD)** - **特点**：每次迭代仅使用一个随机样本计算梯度。 - **优点**：计算速度快，适合在线更新模型及大规模数据集。 - **缺点**：梯度估计方差大，更新过程波动明显，收敛速度较慢；可能仅收敛到局部最小值。 3. **小批量梯度下降法(MBGD)** - **特点**：每次迭代使用一批随机样本集合计算梯度。 - **优点**：兼具批量梯度下降法和随机梯度下降法的优点，既保证了梯度估计的稳定性，又提高了计算效率。 - **缺点**：需要额外确定批量大小，增加了超参数选择的复杂性。 4. **动量法(Momentum)** - **特点**：引入动量项，利用历史梯度的加权平均值调整梯度方向，加速学习过程并减少震荡。 - **优点**：有助于跳出局部最小值，提高收敛速度，并减少梯度更新过程中的震荡。 5. **自适应学习率方法** - **Adagrad** - **特点**：根据每个参数的历史梯度累积量调整学习率，适合处理稀疏数据。 - **优点**：能自适应地调整学习率，有利于处理稀疏数据集。 - **RMSprop** - **特点**：结合Adagrad思想与动量法，使用梯度平方的滑动平均来调整学习率。 - **优点**：避免了Adagrad学习率过早趋近于零的问题。 - **Adam** - **特点**：结合了RMSprop和动量法的优点，利用梯度的一阶矩和二阶矩估计来动态调整学习率。 - **优点**：性能优秀，在多种情况下都表现出色。 - **AdaDelta** - **特点**：类似于RMSprop，但解决了Adagrad后期学习率不断减小的问题。 - **优点**：不依赖于手动设置学习率，减少了调参的难度。 - **Adamax** - **特点**：Adam的一个变种，对Adam中的矩估计进行了修改，提高算法的稳定性。 - **优点**：在某些特定问题上表现更好。 #### 三、逻辑回归与线性回归的区别 **知识点3：逻辑回归与线性回归的主要区别** 1. **应用场景**： - **线性回归**：适用于预测连续数值输出，例如预测房价、温度等量化指标。 - **逻辑回归**：适用于分类问题，特别是二分类问题，也可以扩展至多分类问题。 2. **输出类型**： - **线性回归**：输出为连续值。 - **逻辑回归**：输出为0到1之间的概率值，表示样本属于某个类别的可能性。 3. **模型形式**： - **线性回归**：模型形式为线性方程 \(y = wx + b\)。 - **逻辑回归**：模型形式为逻辑函数 \(p(x) = \frac{1}{1 + e^{-wx + b}}\)。 4. **损失函数**： - **线性回归**：通常采用均方误差(MSE)作为损失函数。 - **逻辑回归**：通常采用交叉熵损失作为损失函数，衡量预测概率分布与真实标签之间的差异。 5. **解的解释**： - **线性回归**：权重可以直接解释为特征对目标变量的边际影响。 - **逻辑回归**：权重需要通过计算概率的导数来解释特征对预测概率的影响。 **总结**：线性回归主要用于预测连续值，而逻辑回归主要用于分类问题，预测概率。两者在模型结构、损失函数以及应用场景上存在明显差异。 #### 四、Sigmoid函数及其在逻辑回归中的作用 **知识点4：Sigmoid函数** - **定义**：Sigmoid函数是一种S形曲线函数，其数学表达式为 \(\sigma(z) = \frac{1}{1 + e^{-z}}\)。 - **特性**：将任意实数映射到0到1之间，常用于表示概率。 **在逻辑回归中的作用**： - **概率估计**：逻辑回归通过将线性组合 \(wx + b\) 输入到Sigmoid函数中，得到0到1之间的概率值，表示样本属于正类的概率。 - **分类决策**：根据概率值与阈值的比较来进行分类决策。例如，如果概率值大于0.5，则判断为正类；反之，则判断为负类。 通过以上知识点的梳理，可以更好地理解深度学习中的核心算法及其应用场景，为后续的学习打下坚实的基础。