python人工智能线性回归的变种-岭回归和拉索回归

在 Python 中，岭回归（Ridge Regression） 和 拉索回归（Lasso Regression） 是两种常用的线性回归正则化方法，用于处理多重共线性和防止过拟合。它们通过在损失函数中添加正则化项来实现这一目的。下面详细解释两者的区别及实现方法：

核心区别

Python 实现（使用 scikit-learn）

1. 岭回归 (Ridge)

from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler

# 标准化数据（正则化对尺度敏感）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)

# 训练模型（alpha 控制正则化强度）
ridge = Ridge(alpha=1.0)  # alpha 越大，正则化越强
ridge.fit(X_train, y_train)

# 评估
y_pred = ridge.predict(X_test)
print("MSE:", mean_squared_error(y_test, y_pred))
print("系数:", ridge.coef_)  # 系数接近零但不等于零

2. 拉索回归 (Lasso)

from sklearn.linear_model import Lasso

# 标准化数据
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42)

# 训练模型
lasso = Lasso(alpha=0.1)  # alpha 需精细调整
lasso.fit(X_train, y_train)

# 评估
y_pred = lasso.predict(X_test)
print("MSE:", mean_squared_error(y_test, y_pred))
print("系数:", lasso.coef_)  # 部分系数严格为零（特征选择）

关键参数说明

• alpha（正则化强度）：
  • 值越大 → 正则化越强 → 系数越小（岭回归）/ 更多系数为零（拉索回归）。
  • 通过交叉验证选择最优值（见下文）。
• 标准化：必须标准化特征，因为正则化对特征尺度敏感。

选择最优 alpha（交叉验证）

使用 RidgeCV 或 LassoCV 自动寻找最佳 alpha：

from sklearn.linear_model import RidgeCV, LassoCV

# 岭回归交叉验证
ridge_cv = RidgeCV(alphas=[0.01, 0.1, 1.0, 10.0], cv=5)  # 指定 alpha 候选值
ridge_cv.fit(X_train, y_train)
print("最佳 alpha (Ridge):", ridge_cv.alpha_)

# 拉索回归交叉验证
lasso_cv = LassoCV(alphas=[0.001, 0.01, 0.1, 1.0], cv=5, max_iter=10000)  # 增加迭代次数
lasso_cv.fit(X_train, y_train)
print("最佳 alpha (Lasso):", lasso_cv.alpha_)

何时使用？

• 岭回归：特征间高度相关，且需要保留所有特征（如医学指标分析）。
• 拉索回归：高维数据（特征数 > 样本数），或需要自动特征选择（如基因数据）。

弹性网络（Elastic Net）

结合 L1 和 L2 正则化（alpha 控制总强度，l1_ratio 控制 L1/L2 比例）：

from sklearn.linear_model import ElasticNet

model = ElasticNet(alpha=0.1, l1_ratio=0.5)  # l1_ratio=0.5 表示 L1/L2 各一半
model.fit(X_train, y_train)

总结

通过调整 alpha 和交叉验证，可以显著提升模型泛化能力并解决过拟合问题。