Machine Learning Refined：非线性学习与特征工程导论

Machine Learning Refined：非线性学习与特征工程导论

machine_learning_refined Notes, examples, and Python demos for the 2nd edition of the textbook "Machine Learning Refined" (published by Cambridge University Press). 项目地址: https://gitcode.com/gh_mirrors/ma/machine_learning_refined

函数概念的多元理解

在机器学习领域，"函数"这个概念远比数学公式要丰富得多。我们可以从三个维度来理解函数：

1. 数学函数（Mathematical Functions）

数学函数是我们最熟悉的形式，表现为明确的数学表达式，例如：

• 线性函数：$y = wx + b$
• 二次函数：$y = ax^2 + bx + c$
• 逻辑Sigmoid函数：$\sigma(x) = \frac{1}{1+e^{-x}}$

这类函数的特点是可以用精确的数学公式表示，在机器学习中常用于构建模型的基础结构。

2. 算法函数（Algorithmic Functions）

算法函数是通过程序逻辑实现的功能性规则，例如：

• 排序算法：将无序列表转换为有序列表
• 梯度下降：优化函数的最小化过程
• 词袋模型：将文本转换为词频直方图

这类函数更适合用代码而非数学公式来表达，它们构成了机器学习中许多核心算法的实现基础。

3. 经验函数（Empirical Functions）

经验函数体现为数据集中的输入-输出对应关系，例如监督学习中的训练数据：

| 输入特征 x | 输出标签 y | |------------|------------| | x₁ | y₁ | | x₂ | y₂ | | ... | ... | | xₙ | yₙ |

这种函数形式通过数据点之间的对应关系隐式地定义了映射规则。

三类函数的关系与转换

这三类函数并非相互排斥，而是可以相互转化和结合：

1. 数学→算法：将数学公式实现为代码
2. 算法→经验：通过算法生成数据点
3. 经验→数学：从数据中拟合数学模型

例如，我们可以：

1. 用代码实现一个线性函数（数学→算法）
2. 生成一系列输入输出对（算法→经验）
3. 绘制这些点来可视化函数（经验表达）

非线性学习中的函数应用

在非线性学习场景下，这三类函数的灵活运用尤为重要：

1. 数学函数提供了非线性建模的基础框架
2. 算法函数实现了复杂的特征转换和处理
3. 经验函数为模型提供了学习的目标和依据

理解这三类函数的区别与联系，有助于我们更好地设计和实现机器学习系统，特别是在处理非线性问题时能够灵活选择合适的函数表达方式。

实际应用建议

1. 当问题有明确的数学关系时，优先考虑数学函数表达
2. 对于复杂的数据处理流程，采用算法函数实现
3. 充分利用经验数据来验证和调整前两类函数的表现

这种多角度的函数理解方式，为后续深入探讨非线性学习和特征工程奠定了重要基础。

machine_learning_refined Notes, examples, and Python demos for the 2nd edition of the textbook "Machine Learning Refined" (published by Cambridge University Press). 项目地址: https://gitcode.com/gh_mirrors/ma/machine_learning_refined