台湾大学林轩田机器学习基石+技法笔记

台湾大学林轩田教授的《机器学习基石》与《机器学习技法》是两门深受学习者欢迎的在线课程，旨在帮助学生深入理解机器学习的基本概念和应用技巧。这些笔记整理了课程中的关键知识点，便于复习和理解。 在《机器学习基石》中，首先会介绍机器学习的定义和分类，包括监督学习、无监督学习、半监督学习和强化学习。其中，监督学习是应用最广泛的形式，如线性回归和逻辑回归，用于预测连续和离散变量。无监督学习则关注数据内在结构的发现，如聚类算法，如K-means。半监督学习和强化学习分别在标记数据有限和交互环境中的学习问题中发挥重要作用。 接着，会讲解基础的统计学概念，如概率论、条件概率、贝叶斯定理，这些都是构建机器学习模型的基础。同时，还会涉及误差分析、过拟合与欠拟合的概念，以及正则化技术来防止过拟合，例如L1和L2正则化。 在模型评估与选择部分，会讨论交叉验证、学习曲线和调参策略，如网格搜索和随机搜索。此外，还会介绍一些基本的优化算法，如梯度下降法及其变种，如批量梯度下降、随机梯度下降和小批量梯度下降，它们在训练模型时用于最小化损失函数。 《机器学习技法》则更侧重于实际应用和高级算法。这部分可能会涵盖决策树、随机森林、支持向量机（SVM）和神经网络等模型。决策树通过分裂节点进行特征选择，而随机森林通过集成多个决策树来提高预测性能。SVM利用最大间隔思想，可以处理高维数据和非线性问题。神经网络，特别是深度学习，是当前的热点，其通过多层非线性变换模拟人脑神经元工作，适用于图像识别、自然语言处理等复杂任务。 在实际应用中，还会涉及数据预处理，包括特征缩放、缺失值处理和异常值检测。特征工程也是提高模型性能的关键步骤，可能涉及特征选择、特征提取和特征构造。 会讨论模型的解释性和可解释性，这是机器学习领域的重要议题，特别是在医疗、金融等领域，模型的决策过程需要透明。同时，还会提及模型的部署和监控，确保模型在实际环境中持续有效。 这些笔记内容丰富，涵盖了机器学习的理论基础与实践技能，是学习者深入理解并掌握机器学习的宝贵资源。通过深入研读，不仅可以系统地学习到机器学习的核心概念，还能提升解决实际问题的能力。