李宏毅机器学习笔记regression
时间: 2025-04-17 10:34:22 浏览: 42
### 李宏毅机器学习中的回归笔记
#### 回归的应用场景
回归模型用于预测连续型变量,在实际应用中非常广泛。例如房价预测、股票价格走势分析等都是典型的回归问题实例[^2]。
#### 模型构建
对于线性回归而言,其基本形式为 \(y = w_1x + b\) ,其中\(w_1\)代表权重参数而\(b\)则是偏置项。当面对更复杂的数据分布情况时,则可能采用多项式回归或其他非线性的变换方式来提高拟合效果[^4]。
#### 函数优劣度评估
为了衡量所建立的回归模型的好坏程度,通常会引入损失函数这一概念。均方误差(Mean Squared Error, MSE)是最常用的评价指标之一,它通过计算真实值与预测值之间的平方差之和来进行量化描述。
#### 参数优化算法——梯度下降法
寻找最优解的过程即是对目标函数最小化的过程。在这个过程中,梯度下降扮演着至关重要的角色。该方法基于负梯度方向更新权值向量直至收敛至局部极小点附近停止迭代操作[^3]。
```python
import numpy as np
def gradient_descent(x_data, y_true, learning_rate=0.01, iterations=1000):
m_curr = b_curr = 0
n = len(x_data)
for i in range(iterations):
y_pred = m_curr * x_data + b_curr
cost = (1/n) * sum([val**2 for val in (y_true-y_pred)])
md = -(2/n)*sum(x_data*(y_true-y_pred))
bd = -(2/n)*sum(y_true-y_pred)
m_curr -= learning_rate * md
b_curr -= learning_rate * bd
return m_curr, b_curr, cost
```
#### 结果讨论
经过训练后的回归模型能够较好地捕捉到输入特征与输出标签间的映射关系,但在具体应用场景下还需考虑过拟合等问题的影响因素。
阅读全文
相关推荐














