新型在线预测模型DeepGBM(基于GBDT扩展的深度学习框架)

最新推荐文章于 2025-06-13 21:53:59 发布
原创 最新推荐文章于 2025-06-13 21:53:59 发布 · 4.1k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

DeepGBM是一种融合了神经网络和GBDT优势的在线预测框架，它针对表格数据中的稀疏类别和稠密数值特征进行有效处理，并能高效应对在线数据动态生成。DeepGBM包含CatNN处理类别特征和GBDT2NN处理数值特征，通过叶节点嵌入提高效率。实验显示，DeepGBM在多个在线预测任务上优于其他模型，具有更快的收敛速度和更好的预测性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

Guolin Ke, Zhenhui Xu, Jia Zhang, Jiang Bian, Tie-Yan Liu

Microsoft Research, Peking University

KDD 2019

http://delivery.acm.org/10.1145/3340000/3330858/p384-ke.pdf

在线预测在很多实际应用中起着非常重要的作用。典型在线预测任务有两个特点，其一即为表格形式的输入空间，其二即为在线的数据生成。表格形式的输入空间，意味着其中既有比较稀疏的类别型特征，又有比较稠密的数值型特征；在线的数据生成，暗含着任务以指数动态分布的形式产生连续的数据。

既能比较有效的处理表格形式的输入空间，又可以比较快的自适应到在线的数据生成中，成为在线预测模型中的两大重要挑战。虽然梯度提升决策树（GBDT）和神经网络在实际中广泛应用，但是二者皆有其劣势。比如，GBDT很难应用于线上动态生成的数据，而且在应对比较稀疏的特征时很难取得较好的效果；同时，对于神经网络，该模型在应对稠密数值特征时很难取得好效果。

本文提出一种新的学习框架，DeepGBM，该框架能够集成神经网络和GBDT的优势，其中包含了两种神经网络，一种是CatNN，这种网络集中处理稀疏类别型特征，另一种是GBDT2NN，这种模型集中处理数值型特征，其中借助从GBDT提取到的知识。得益于这两种神经网络，DeepGBM既可以处理类别特征，又可以处理数值型特征，同时保证高效的在线更新。

在多个公开数据集上的大量实验表明，DeepGBM在多个在线预测任务上的效果优于其他比较好的基准模型。

最低0.47元/天 解锁文章

200万优质内容无限畅学
frank_hetest
关注
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks
YueLing's Blog
11-15 1667
DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks 论文链接：https://dl.acm.org/citation.cfm?id=3330858 代码链接：https://github.com/motefly/DeepGBM 背景 Guolin Ke是lightgbm的核心作者之一，我幸...
SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)
hestendelin的专栏
12-30 865
Finding Camouflaged Needle in a Haystack? PornographicProducts Detection via Berrypicking Tr...
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》
fuzi2012的博客
11-03 5211
论文笔记：《DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks》摘要1. 简介2. DEEPGBM2.1 CatNN 专注于稀疏类别特征(for Sparse Categorical Features)2.2 GBDT2NN 专注于数值密集型特征(for Dense Numerical ...
组合模型SHAP可解释分析！Transformer-LSTM+SHAP分析，模型可解释不在发愁！
最新发布
Matlab_dashi的博客
06-13 861
在人工智能的浪潮下，模型的预测能力不断提升，但随之而来的是 “黑箱” 问题愈发严重。特别是在 Transformer-LSTM 这样的组合模型应用于光伏功率预测、金融趋势分析等场景时，我们不仅需要精准的预测结果，更渴望了解模型决策背后的逻辑。而 SHAP（SHapley Additive exPlanations）值方法，就像一把神奇的钥匙，能为我们打开组合模型的 “黑箱”，让可解释性不再成为困扰。一、Transformer-LSTM 组合模型：预测的强大引擎。
DeepGBM模型总结
yunxinan的专栏
01-11 1159
基于GBDT的在线预测任务深度学习框架 A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks GitHub - motefly/DeepGBM: Implementation for the p… 该框架主要使用CatNN、GBDT2NN两部分实现非结构化数据和结构化数据同时处理。 本文优点： （1）：Cat...
排序模型在线预测
あずにゃん梓喵的博客
07-01 601
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 5.7 排序模型在线预测 学习目标 目标 无 应用 应用spark完成 5.7.1排序模型服务 提供多种不同模型排序逻辑 SPARK LR/Tensorflow 5.7.2 排序模型在线预测 召回之后的文章结果进行排序 步骤： 1、读取用户特征中心特征 2、读取文章特征中心特征、合并用户文章特征构造预测样本 4、预测并进行排序是
如何构建真实世界可用的 ML 模型？
CSDN资讯
08-14 2378
Python 作为当前机器学习中使用最多的一门编程语言，有很多对应的机器学习库，最常用的莫过于 scikit-learn 了。本文我们介绍下如何使用sklearn进行实时...
DeepGBM思维导图（KDD2019）
02-19
在线预测已经成为许多实际应用中最基本的任务之一。在线预测任务的两个典型且主要特点是在线数据呈表格空间形式和在线数据流形式。具体地，表格数据空间中存在着稀疏分类特征和密集数值特征，而在线数据流意味着具有潜在动态分布的连续任务生成的数据。因此，利用表格数据空间进行有效学习和快速适应在线数据流成为赢得在线预测的两个重要挑战。虽然梯度提升决策树（gbdt）和神经网络（nn）在实际中得到了广泛的应用，但它们都有各自的缺点。尤其是gbdt很难适应动态的在线数据流学习，而且在面对稀疏的分类特征时往往是无效的；而神经网络在面对稠密的数值特征时则很难获得令人满意的性能。本文提出了一种新的学习框架DEEPGBM
SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)
hestendelin的专栏
01-06 4438
Deeper Text Understanding for IR with Contextual Neural Language ModelingZhuyun Dai,Jamie Ca...
KDD2019|基于注意力的深度学习如何实时预测购买还是浏览
hestendelin的专栏
02-17 1437
Buying or Browsing? : Predicting Real-time Purchasing Intentusing Attention-based Deep Netwo...
ICML2019|一种基于强化学习的推荐系统(GAN用户模型,佐治亚理工学院联合蚂蚁金服提出且已开源)...
hestendelin的专栏
10-21 2349
Generative Adversarial User Model for Reinforcement Learning Based Recommendation Sys...
Python-DeepGBMGBDT针对在线预测任务发布的深度学习框架
08-11
DeepGBM：GBDT针对在线预测任务发布的深度学习框架
常见的预测模型 预测模型
06-07
预测模型指的是使用过去的数据和统计方法来预测未来趋势或结果的数学模型。预测模型可以用于多个领域，例如金融、市场营销、物流、人力资源等。 常见的预测模型包括线性回归模型、时间序列模型、随机游走模型、神经网络模型等。其中，线性回归模型和时间序列模型是最为常用的两种模型。 1. 线性回归模型：线性回归模型是一种基于对变量之间线性关系假设的统计模型。它通过拟合现有数据集中的线性方程，来预测新数据集中的结果。在建立模型时，需要先选择几个可能影响目标变量的自变量，然后根据现有数据集中这些变量的取值来估计线性方程中的各项系数。通过此方法，将变量之间的关系转化成了一个简单的数学表达式，从而可以对未来数据进行预测。 2. 时间序列模型：时间序列模型是一种用于预测未来一段时间内某一指标的变化趋势的方法。时间序列模型与线性回归模型不同之处在于，它考虑的是给定时间上的变量相互关系。时间序列模型使用历史数据中的变量，来预测未来的变量值。例如在股票市场中，利用时间序列模型可以通过将过去十年的股价走势和交易量等因素，来预估未来一段时间内的股票价格。
Deep-Learning-for-Human-Activity-Recognition:CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）
05-25
用于人类活动识别的深度学习（和机器学习） CNN，DeepConvLSTM，SDAE和LightGBM的Keras实施，用于基于传感器的人类活动识别（HAR）。 该存储库包含卷积神经网络（CNN）[1]，深度卷积LSTM（DeepConvLSTM）[1]，堆叠降噪自动编码器（SDAE）[2]和用于人类活动识别（HAR）的Light GBM的keras（tensorflow.keras）实现。 ）使用智能手机传感器数据集， UCI智能手机[3]。 表1.在UCI智能手机数据集上的五种方法之间的结果摘要。 方法 准确性 精确 记起 F1分数 轻型GBM 96.33 96.58 96.37 96.43 CNN [1] 95.29 95.46 95.50 95.47 DeepConvLSTM [1] 95.66 95.71 95.84 95.72 SDAE [
使用在线优化的快速模型预测控制MPC(Matlab代码实现)
weixin_66436111的博客
10-31 445
例如，我们的方法在大约 12 毫秒内计算具有 3 个状态、30 个控制和 450 个时间步长（这需要求解具有 1284 个变量和 5 个约束的二次规划）的问题的控制动作，允许 MPC 在 200 Hz 下执行。利用这种特殊结构，状态维度的问题n、输入维度m和地平线T需要O(T(n+m)3)内点方法中每步骤的操作，而不是O(T3(n+m)3)如果不利用特殊结构。]，[9]-[12]，排队系统控制[13]，供应链管理[14]，[15]，经济和金融中的随机控制问题[16]，[17]，动态对冲[18]和收入管理[
机器学习模型部署及在线预测
gaoyan0335的专栏
01-03 8360
到目前为止，我们训练的传统机器学习模型都只能进行本地预测（本地调用test方法），那么怎么样把我们的模型部署到线上，然后做在线实时预测呢？ 我们的模型实际上就是一个y = f(x)函数，x是特征数据，y是预测结果。我们训练模型的目的就是为了得到f(x)函数的参数； 训练完成后需要对参数进行序列化存储，生成模型文件，这一步叫做模型的导出； 模型的部署即加载模型文件并在内存组装f(x)函数提供在线服务...
deepGBM全网最详细解释
占卜师的博客
08-31 1170
相关资料 [1]LightGBM: A highly efficient gradient boosting decision tree, NIPS 2017 代码地址:https://github.com/microsoft/LightGBM [2]DeepFM: a factorization-machine based neural network for ctr prediction， IJCAI 2017 代码地址:https://...
传统机器学习模型如何做在线预测
科讯财闻
03-26 2524
摘要 虽然目前深度学习的热度远远高过传统的机器学习，但仍然有很多实际问题更适合用传统机器学习模型解决。如何将这些机器学习模型发布到生产环境做在线预测仍是一个很有意义的问题。常见的机器学习模型包括但不限于： 线性回归，Logistic 回归 决策树 随机森林 SVM Boosting（AdaBoost，XGBoost） 隐式马尔可夫 本文我们用一个实际的例子介绍如何使用 ONNX 生态的解决方案将 scikit-learn 与 hmmlearn 训练的机器学习模型发布为高性能的在线预测服务。我们
深度学习模型部署及在线预测
豆芽菜
11-09 2399
模型导出 我们在前面的内容中讲到过，可以使用tf.train.Saver.save()和tf.train.Saver.restore()方法保存和恢复模型变量，但是这只是在模型训练过程中用来做checkpoint，保存的也只是模型的变量。只有导出整个模型（除了模型变量、还包括模型计算图和图的元数据），才能做模型部署和在线预测，这时就必须使用SavedModel（也可以导出Session Bund...
DeepGBM框架：Python实现的在线预测深度学习方案
综上所述，DeepGBM很可能是一个使用Python开发的机器学习框架，它结合了深度学习和GBDT模型的优势，专为在线预测任务设计，以实现快速和准确的实时数据分析和预测。开发者可以利用这个框架进行模型的构建和优化，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值