LightGBM的python实现及参数优化

原创 已于 2025-05-28 09:51:19 修改 · 829 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言 #数据分析 #boosting #算法 #pandas

于 2025-05-27 18:00:51 首次发布

文章目录


在之前的文章 Boosting算法【AdaBoost、GBDT 、XGBoost 、LightGBM】理论介绍及python代码实现 中重点介绍了AdaBoost算法的理论及实现，今天对LightGBM 如何实现以及如何调参，着重分析一下。

LightGBM是基于决策树算法的分布式梯度提升框架，属于GBDT(Gradient Boosting Decision Tree)家族，与XGBoost、CatBoost并称为三大主流GBDT工具。

1. LightGBM模型参数介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 核心优势

在这里插入图片描述
与XGBoost相比较
在这里插入图片描述

3. python实现LightGBM

3.1 基础实现

3.1.1 Scikit-learn接口示例

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
import lightgbm as lgb
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix,mean_squared_error
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

#导入数据
data = load_breast_cancer()
X = data.data
y = data.target

# 分割数据集，80%作为训练集，20%作为测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=42)

# 创建Dataset
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

# 设置参数
params = {
    'objective': 'binary', #目标函数，决定了任务的类型(二分类  regression 回归)
    'metric': 'binary_logloss',   #二分类对数损失(Binary Logarithmic Loss)
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9
}

# 训练模型
gbm = lgb.train(params,
                train_data,
                num_boost_round=100,
                valid_sets=[test_data],
                early_stopping_rounds=10)

# 预测
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)

# 评估
rmse = mean_squared_error(y_test, y_pred)
print(f'Test RMSE: {rmse}')

在这里插入图片描述

3.1.2 Python API示例

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
import lightgbm as lgb
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix,mean_squared_error
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

#导入数据
data = load_breast_cancer()
X = data.data
y = data.target

# 分割数据集，80%作为训练集，20%作为测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=42)

model = LGBMClassifier(
    num_leaves=31,
    learning_rate=0.1,
    n_estimators=100
)

model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(f"Accuracy: {accuracy_score(y_test, y_pred)}")

在这里插入图片描述

3.2 模型调优

模型调优也参考之前自己写过的文档
Python模型优化超参寻优过程
GridSearchCV是scikit-learn库中用于超参数调优的重要工具，它通过网格搜索和交叉验证的方式寻找最优的模型参数组合，下面介绍使用GridSearchCV对LGBM参数调优。

3.2.1 GridSearchCV简介

关于GridSearchCV简单再介绍一下
在这里插入图片描述
在这里插入图片描述
机器学习-GridSearchCV scoring 参数设置！

3.2.2 LightGBM超参调优

（三）提升树模型：Lightgbm原理深入探究 这篇文章里的关于Lightgbm优化比较深入，感兴趣的可以仔细阅读。

本部分的实现即对LightGBM介绍的参数使用GridSearchCV进行调优，python代码见下

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
from sklearn.datasets import load_breast_cancer
import lightgbm as lgb
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix,mean_squared_error
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

#导入数据
breast_cancer = load_breast_cancer()
breast_cancer_df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
breast_cancer_df['target'] = breast_cancer.target

daoshu = 20
X = breast_cancer_df.iloc[:,:-1]
y = breast_cancer_df.iloc[:,-1]
XGB_X = X[:-daoshu]
XGB_y = y[:-daoshu]
# 分割数据集，80%作为训练集，20%作为测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

lgb_class = lgb.LGBMClassifier()
# GridSearchCV 参数网格-----------------------------------------------------------
param_grid = {
    'max_depth': [5,7],
    'learning_rate': [0.1, 0.5],
    'n_estimators': [100, 500],
    'num_leaves':[31,51],
    'reg_alpha':[0.5,0.8,1],
    'reg_lambda':[0.5,1]
}

grid_search = GridSearchCV(estimator=lgb_class, param_grid=param_grid, scoring='neg_mean_squared_error', cv=2, verbose=2)
grid_search.fit(X_train, y_train)
#网格查找每个参数时的-MSE
par =[]
par_mses = []
for i, par_mse in zip(grid_search.cv_results_['params'],grid_search.cv_results_['mean_test_score']):
    # print(i, par_mse)
    par.append(i)
    par_data = pd.DataFrame(par) 
    par_mses.append(par_mse)
    par_rmsedata = pd.DataFrame(par_mses) 
search_data = pd.concat([par_data,par_rmsedata],axis=1)
search_data = search_data.rename(columns={0:"neg_mean_squared_error"})
# 输出最优参数信息
best_params = grid_search.best_params_
print('best_score:',grid_search.best_score_)
print(f"best_params: {best_params}")
print('best_index:',grid_search.best_index_)
print('best_estimator:',grid_search.best_estimator_)


# 使用最优参数训练模型
lgb_class_optimized = lgb.LGBMClassifier(**best_params)
lgb_class_optimized.fit(XGB_X, XGB_y)  
# 预测
y_pred_optimized = lgb_class_optimized.predict(X)
rmse_optimized = np.sqrt(mean_squared_error(y, y_pred_optimized))
print(f"Optimized RMSE: {rmse_optimized:.4f}")   #最终预测结果的 RMSE 

#可视化展示
pre_target = pd.DataFrame(y_pred_optimized)
predata= pd.concat([breast_cancer_df,pre_target],axis=1)
plt.figure(figsize=(6,3))
plt.plot(range(len(predata['target'])),predata['target'],c='blue')
plt.scatter(range(len(predata['target'])),predata.iloc[:,-1:],ls=':',c='red',lw=3)
plt.title('预测值与真实值对比', size= 20)
plt.legend(['真实目标值','预测值'])
plt.show()

predata.tail()

部分结果展示
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
红色框为最优组合。
在这里插入图片描述
绘制 LightGBM 的树图并保存为 PDF 文件

# 方法一
try:
    tree_idx = lgb_class_optimized.best_iteration - 1 if lgb_class_optimized.best_iteration else lgb_class_optimized.num_trees() - 1
    ax = lgb.plot_tree(lgb_class_optimized, tree_index=tree_idx)
except AttributeError:
    ax = lgb.plot_tree(lgb_class_optimized, tree_index=-1) 

plt.gcf().set_size_inches(20,10)  
plt.savefig('lgb_tree.pdf', format='pdf', dpi=600,bbox_inches='tight')
plt.show()
plt.close()

在这里插入图片描述

booster = lgb_class_optimized.booster_
lgb.plot_tree(booster, tree_index=booster.num_trees() - 1)

在这里插入图片描述

3.2.3 GridSearchCV寻优结果解读

在这里插入图片描述

# 最佳参数组合的详细信息
best_idx = grid_search.best_index_  # 即search_data表里的索引为 3
print(f"最佳参数组合: {grid_search.cv_results_['params'][best_idx]}")
print(f"平均验证分数: {grid_search.cv_results_['mean_test_score'][best_idx]:.4f}")
print(f"各折验证分数: {grid_search.cv_results_['split0_test_score'][best_idx]:.4f}, "
      f"{grid_search.cv_results_['split1_test_score'][best_idx]:.4f}, ...")

在这里插入图片描述

best_results = pd.DataFrame(grid_search.cv_results_).sort_values('rank_test_score')

print("Top 5参数组合:")
print(best_results[['params', 'mean_test_score', 'std_test_score', 'rank_test_score']].head(5))

print("\n训练时间分析:")
print(f"平均总训练时间: {best_results['mean_fit_time'].sum():.2f}秒")
print(f"最快组合训练时间: {best_results['mean_fit_time'].min():.2f}秒")
print(f"最慢组合训练时间: {best_results['mean_fit_time'].max():.2f}秒")
best_results.head(4)

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Python实战： LightGBM
weixin_47362565的博客
12-04 1212
使用 lgb.train 函数来训练模型，传入设置好的参数 params、训练集数据的 Dataset 格式 lgb_train 以及训练轮数 num_round（这里设置为 100，表示模型将进行 100 次迭代训练），同时传入验证集数据（lgb_test），这样在训练过程中可以观察模型在验证集上的性能表现，以便及时发现过拟合等问题。接着通过一个简单的列表推导式，以 0.5 为阈值将预测概率转换为具体的类别（0 或 1），代表预测用户是否购买商品的结果。
python机器学习案例系列教程——LightGBM算法
qq_44995210的博客
05-07 1173
python机器学习案例系列教程——LightGBM算法
【机器学习第四期（Python）】LightGBM 方法原理详解
最新发布
WW、forever的博客
06-30 1322
【机器学习第四期（Python）】LightGBM 方法原理详解
Python手册(Machine Learning)--LightGBM
WilenWu
02-27 3712
LightGBM（Light Gradient Boosting Machine）是一种高效的 Gradient Boosting 算法， 主要用于解决GBDT在海量数据中遇到的问题，以便更好更快的用于工业实践中。而在实际建模环节，LGBM支持Python、Java、C++等多种编程语言进行调用，并同时提供了Sklearn API和原生API两套调用方法。
lightgbm，一个超强的 Python 库！
涛哥聊Python
04-24 2445
更多Python学习内容：ipengtao.com大家好，今天为大家分享一个超强的 Python 库 - pyramid。Github地址：https://github.com/Pylons/pyramidLightGBM是一个快速、分布式、高性能的梯度提升决策树（Gradient Boosting Decision Tree）库，它在机器学习和数据挖掘领域被广泛应用。本文将介绍LightGBM库...
Lightgbm原理、参数详解及python实例
qq_24591139的博客
09-02 2万+
GDBT 1)对所有特征都按照特征的数值进行预排序。 2)在遍历分割点的时候用O(#data)的代价找到一个特征上的最好分割点。 3)找到一个特征的分割点后，将数据分裂成左右子节点。 两个方面可改进GDBT 降低训练集的规模。 降低特征维度。 LightGBM 重点：对模型训练时样本点的采样优化和特征维度的优化 原理 1.单边梯度采样算法（Grandient-based One-Side S...
Python实现LightGBM时间序列预测（完整源码和数据)
04-04
1.Python实现LightGBM时间序列预测（完整源码和数据) anaconda + pycharm + python +Tensorflow 注意事项：保姆级注释，几乎一行一注释，方便小白入门学习！ 2.代码特点：参数化编程、参数可方便更改、代码编程思路...
GA-LightGBM遗传算法优化LightGBM分类预测，优化前后对比（Matlab完整源码和数据）
08-17
1.Matlab实现GA-LightGBM遗传算法优化LightGBM分类预测,优化前后对比，Matlab调用Python的LightGBM库（完整源码和数据）。 2.输出对比图、混淆矩阵图、预测准确率，运行环境Matlab2023及以上，配置Python的LightGBM...
Python实现OOA-LightGBM基于人工鱼鹰优化算法优化LightGBM的多输入单输出数据回归预测模型（完整源码和数据)
02-24
1.基于2023年最新的人工鱼鹰优化算法（OOA）的全自动LightGBM超参数优化实现。该代码通过融合鱼群行为特性，能够高效地搜索超参数空间，以提高LightGBM回归器的性能。精心编写的代码不仅提供了模型优化和预测的核心...
CPO-LightGBM冠豪猪优化算法优化LightGBM分类预测，优化前后对比（Matlab完整源码和数据）
08-13
1.Matlab实现CPO-LightGBM的冠豪猪优化算法优化LightGBM分类预测,优化前后对比，Matlab调用Python的LightGBM库（完整源码和数据）。 2.输出对比图、混淆矩阵图、预测准确率，运行环境Matlab2023及以上，配置Python的...
BWO-LightGBM的白鲸优化算法优化LightGBM分类预测，优化前后对比（Matlab完整源码和数据）
08-12
1.Matlab实现BWO-LightGBM的白鲸优化算法优化LightGBM分类预测,优化前后对比，Matlab调用Python的LightGBM库（完整源码和数据）。 2.输出对比图、混淆矩阵图、预测准确率，运行环境Matlab2023及以上，配置Python的...
python实现LightGBM(进阶)
weixin_43440760的博客
10-10 1614
文章目录1. 模块准备2. 加载并构建数据集3. 配置参数4. 存储并读取模型（JSON）5. 特征重要性6. 模型预测7. 存储并读取模型（pickle）8. 训练（断点训练/学习率衰减/训练过程修改参数）9. 自定义目标函数/评价指标10. 回调函数 1. 模块准备 import json import lightgbm as lgb import pandas as pd import numpy as np from sklearn.metrics import mean_squared_erro
【项目实战】Python实现LightGBM分类模型(LGBMClassifier算法)项目实战
热门推荐
张陈亚的博客
11-06 3万+
说明：这是一个机器学习实战项目（附带数据+代码+文档+代码讲解），如需数据+代码+文档+代码讲解可以直接到文章最后获取。 1.项目背景 如今已是大数据时代，具备大数据思想至关重要，人工智能技术在各行各业的应用已是随处可见。GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预...
【python 机器学习】机器学习算法之LightGBM
赖德发的博客
12-31 1796
算法介绍： LightGBM 由微软2017年提出，主要用于解决 GDBT 在海量数据中遇到的问题，以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级（Light）的梯度提升机（GBM），其相对 XGBoost 具有训练速度快、内存占用低的特点。 实际上，XGBoost和lightGBM都属于GBDT的一种实现，旨在优化算法的性能，提升算法的训练速度，与XGBoo...
Python与机器学习库LightGBM
master_chenchen的博客
11-28 1063
相较于其他类似的框架如XGBoost，LightGBM的最大优势在于其独特的数据处理方式——直方图算法和基于叶子生长策略的优化技术，这使得它能够更快地处理大规模数据集，同时保持较高的准确性。在机器学习的世界里，如果你想要快速构建一个高效且准确的模型，那么LightGBM绝对是一个值得你深入了解的工具。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。
用通俗易懂的方式讲解：lightGBM 算法及案例（Python 代码）
Python数据挖掘
10-05 8706
AdaBoost是一种提升树的方法，和三个臭皮匠，赛过诸葛亮的道理一样。(1) 如何改变训练数据的权重或概率分布提高前一轮被弱分类器错误分类的样本的权重，降低前一轮被分对的权重(2) 如何将弱分类器组合成一个强分类器，亦即，每个分类器，前面的权重如何设置采取”多数表决”的方法.加大分类错误率小的弱分类器的权重，使其作用较大，而减小分类错误率大的弱分类器的权重，使其在表决中起较小的作用。lightGBM是2017年1月，微软在GItHub上开源的一个新的梯度提升框架。
lightGBM pythonAPI 参数解读
marmalade要天天向上
07-15 1404
https://lightgbm.readthedocs.io/en/latest/Python-API.html model API: class lightgbm.LGBMModel(boosting_type=‘gbdt’, num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=100, subsample_for_bin=...
lightgbm python代码
01-22
### 使用 LightGBM 进行机器学习的 Python 示例 为了展示如何使用 LightGBM 构建并训练一个模型，这里提供了一个基于鸢尾花数据集的简单例子。此示例涵盖了从加载数据到评估模型性能的过程。 #### 导入必要的库 ```python import lightgbm as lgb from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score ``` #### 加载和准备数据 ```python # 加载鸢尾花数据集 data = load_iris() X, y = data.data, data.target # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` #### 创建 LightGBM 数据结构 ```python train_data = lgb.Dataset(X_train, label=y_train) test_data = lgb.Dataset(X_test, label=y_test, reference=train_data) ``` #### 设置参数 根据给定的信息，在这个特定情况下选择了如下超参数配置[^1]: - 学习率 (`learning_rate`) 设为 0.1， - 最大迭代次数 (`num_iterations`) 为 20， - 决策树的最大叶子节点数 (`max_leaf_nodes`) 是 10。 这些参数的选择有助于提高模型的表现力。 #### 训练模型 ```python params = { 'objective': 'multiclass', 'num_class': 3, 'metric': {'multi_logloss'}, 'learning_rate': 0.1, 'num_leaves': 10, } model = lgb.train(params, train_data, num_boost_round=20, valid_sets=[test_data], early_stopping_rounds=5) ``` #### 测试模型 ```python y_pred_prob = model.predict(X_test) y_pred = [list(x).index(max(x)) for x in y_pred_prob] accuracy = accuracy_score(y_test, y_pred) print(f'Accuracy: {accuracy * 100:.2f}%') ``` 这段代码实现了完整的流程，包括定义参数、训练过程以及最后的结果验证[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值