监督学习入门：回归与分类方法详解

本周笔记由骆剑于2017年5月21日撰写，主题是监督学习在机器学习中的基础介绍，特别关注回归和分类两种主要方法。监督学习是数据科学的核心组成部分，其特点是数据带有明确的标签，用于训练模型预测输入的输出结果。 回归（Regression）是监督学习的一种，主要用于处理连续输出值的情况。例如，通过历史销售数据预测未来的销售额。在这个领域，单变量线性回归是最基础的概念，其假设函数形式为hθ(x) = θ0 + θ1x，其中θ0和θ1是需要优化的参数。损失函数J(θ0, θ1)通常选择均方误差作为衡量标准，目标是通过梯度下降算法最小化这个函数。梯度下降算法的迭代过程中，每次迭代会根据损失函数对参数的偏导数进行更新，确保模型性能逐步提升。 具体来说，梯度下降算法的步骤包括： 1. 计算当前参数组合下损失函数的梯度（偏导数）。 2. 使用学习率α调整梯度的大小，更新参数θ0和θ1。 3. 重复步骤1和2直到模型收敛，即损失函数的变化足够小或达到预设的迭代次数。 分类（Classification）则是预测离散输出值的任务，如判断邮件是否为垃圾邮件或图像识别中的物体类别。与回归不同，分类问题通常涉及到决策边界或者概率分布的估计。 非监督学习（Unsupervised Learning）则是在没有标签的情况下，模型学习数据内部的结构和模式，例如聚类分析（如K-means），它试图将数据分组成具有相似特征的群体。非聚类方法如鸡尾酒会算法（如独立成分分析，ICA）则关注的是数据的降维和特征提取。 本笔记概述了监督学习的基本框架、回归与分类的区别，以及单变量线性回归的具体实现，强调了梯度下降算法在优化过程中的核心作用。这对于理解和应用机器学习算法至关重要。