【数据挖掘】信息增益的计算

已于 2022-04-27 17:45:57 修改
阅读量7.2k 收藏 82
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 信息素养｜信息人的基本课程学习 文章标签： 数据挖掘 信息增益 笔记
于 2022-04-25 11:03:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21471309/article/details/124399542
本文由博主怪&分享，主要探讨信息论中的基本概念——熵和信息增益。熵是衡量系统不确定性的指标，而信息增益则描述了额外属性对系统不确定性减少的程度。通过实例解释了信息增益的计算方法，并提供了相关习题以加深理解。适合学习信息论和数据挖掘的读者阅读。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录：

🌵🌵🌵前言

✨你好啊，我是“ 怪& ”，是一名在校大学生哦。
🌍主页链接：怪&的个人博客主页
☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待。
❤️一个“不想让我曾没有做好的也成为你的遗憾”的博主。
💪很高兴与你相遇，一起加油！

一、预备知识

1、熵是什么

熵：信息量的数学期望，在信息论中衡量一个系统的不确定性。（越小越好）

2、信息增益是什么？

信息增益：当知道额外属性时，对整个系统的不确定性降了多少。（越大越好）

二、如何计算信息增益

例题如下：

在这里插入图片描述

三、习题

在这里插入图片描述
解答如下：在这里插入图片描述

❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！

数据挖掘：决策树、信息熵和信息增益
Cachel Wood的博客
04-30 735
文章目录decision tree inductionGeneral structure of Hunt's algorithmDesign issues of decision tree inductionMethods for expressing test conditionsTest condition for nominal attributesSplitting based on continuous attributesHow to determine the best splitAltern
数据分析 | 信息增益与基尼系数的通俗解释（含实例）
月婵婵的程序媛生涯
03-11 6978
信息增益是基于信息论的概念，用于度量在给定特征的情况下，数据集的不确定性减少程度。在决策树中，选择能够使得信息增益最大的特征作为划分节点。基尼系数是一种衡量数据集纯度（impurity）的指标，它表示从数据集中随机抽取两个样本，其类别标签不一致的概率。在决策树中，选择基尼系数最小的特征作为划分节点。
一条SQL搞定信息增益的计算
weixin_33860553的博客
04-20 827
欢迎大家关注腾讯云技术社区-博客园官方主页，我们将持续在博客园为大家推荐技术精品文章哦~ 周东谕，2011年加入腾讯，现任职于腾讯互娱运营部数据中心，主要从事游戏相关的数据分析和挖掘工作。 信息增益原理介绍 介绍信息增益之前，首先需要介绍一下熵的概念，这是一个物理学概念，表示“一个系统的混乱程度”。系统的不确定性越高，熵就越大。假设集合中的变量X={x1,x2…xn}，它对应在集合的概率分别是...
关于信息增益如何计算
weixin_56180495的博客
12-23 1486
信息增益：信息增益越大，以当前结点进行划分信息的纯度越高，在计算信息增益之前需要先计算信息熵。DT决策树是用于分类（用于分类的问题，如二分类）和回归（是预测连续的问题，如股票）的。总体概括：信息熵越小，信息增益越大，信息纯度越高，用当前结点进行属性划分越合适。其次以纹理为根节点可分为3类（清晰，稍糊，模糊），3者分别占比。不区分纹理的种类，好瓜的数目是8/17,坏瓜的数目是9/17。信息熵：熵值越大表示数据越不稳定，熵值越小说明数据越稳定。总体的信息熵的计算Ent（D）=-（分别计算3者的信息熵。
信息增益怎么算（西瓜书）
最新发布
weixin_46730380的博客
06-10 332
西瓜书，决策树，信息增益，信息熵
机器学习｜决策树｜如何计算信息增益｜方法总结
公众号：快乐变态屋 漂亮大男孩的罗德岛
04-19 4549
1.计算整体数据集的熵（Initial Entropy） 2.计算在特定属性条件下的条件熵（Conditional Entropy） 3. 计算信息增益（Information Gain）
信息增益计算
weixin_41864235的博客
05-09 3793
* 信息增益原理 “熵”：一个物理学概念，表示“一个系统的混乱程度”。系统的不确定性越高，熵就越大 集合D种第k类样本所占比例为pk ， 则D的信息熵定义为： 的值越小，则D的纯度越高 链接：里面举的例子特别好 https://blog.csdn.net/it_beecoder/article/details/79554388 当给出一个样本的时候，通过属性a or b 对样本集D进行划分，目的是确认哪一个属性对正负样本的影响更大？ 这个时候就要计算<属性a>和<属性.
决策树中信息增益值的计算
热门推荐
weixin_43910988的博客
12-10 1万+
一、 确定数据 二、正例（好瓜）占8/17，反例（坏瓜）占9/17，则根结点的信息熵为： 三、计算当前属性集合{色泽，根蒂，敲声，纹理，脐带，触感}中每个属性的信息增益。 色泽有三个可能的取值：青绿、乌黑、浅白 D1{色泽=青绿}={1,4,6,10,13,17}，正例3/6，反例3/6 D2{色泽=乌黑}={2,3,7,8,9,15}，正例4/6，反例2/6 D3{色泽=浅白}=...
数据挖掘与分析：完成决策树指标计算，读取数据集，分别计算每一列的信息增益、信息增益比以及gini不纯度
qq_66187467的博客
04-19 639
上述代码片段中计算Gini不纯度是针对整个数据集而并非单个特征的每个值，如果要为每个特征的每个唯一值计算Gini不纯度，需要修改上面的gini_impurities字典推导式。另外，由于数据集的不确定性，代码需要随时根据具体情况进行调整。为了完成如题所述要求，我们需要编写一些代码来加载数据，然后实现计算信息增益、信息增益比和Gini不纯度的函数。而计算这些指标通常涉及决策树算法的内部逻辑，scikit-learn库提供了决策树实现，但并未直接提供计算这些指标的函数。因此，我们需要自己编写这些计算逻辑。
数据挖掘复习_计算题1
08-08
计算信息增益需要先计算每个元组的熵，然后计算信息增益。 在给定的例子中，我们需要计算每个属性的信息增益，例如 major 的信息增益为： Gain(major) = E(major) - E(major|A) 其中，E(major) 是 major 的熵，E...
数据挖掘试卷.rar
01-23
总的来说，这个压缩包提供了丰富的数据挖掘考试资料，涵盖了数据挖掘的基础理论、机器学习算法、信息增益和频繁模式等核心知识点。通过深入学习和练习，考生可以更好地掌握数据挖掘技术，为考试做好充分准备。
信息熵，信息增益
qq_55342245的博客
08-17 8550
信息熵，信息增益实例一 实例一 样本D如下（一共15条数据）： 样本信息熵：H(D)=−(915log⁡2915+615log⁡2615)=0.97095H(D)=-(\frac{9}{15}\log_{2}\frac{9}{15}+\frac{6}{15}\log_{2}\frac{6}{15})=0.97095H(D)=−(159​log2​159​+156​log2​156​)=0.97095 求样本信息熵时，只看类别这一列。因为其他的都是列都是特征列，是决定类别值的因素。 年龄的信息增益：G(
信息增益的算法
studyvcmfc的专栏
03-19 527
李航信息增益的算法 计算数据集D的经验熵 H(D)=-KaTeX数学公式 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能，你可以将本...
决策树之信息增益计算模拟
Binbin的技术博客
09-01 3622
决策树算法有一个关键步骤就是最优特征的选择，利用信息增益算法选择该特征，例子来自于《统计学习方法》 利用MATLAB2017A版本，编写MATLAB程序计算之，将上述的数据保存到data5.xlsx中 clear;clc;close all % 计算信息增益，决策树算法的基础 data = readtable('data5.xlsx'); data = string(table2
信息增益（ID3算法）
...
06-28 2216
其中，log是以2为底的对数，这个选择使得信息熵的单位是比特（bit）。如果使用其他底数的对数，信息熵的单位会相应改变，但其量值的相对大小不变，因为对数函数的换底公式保证了这一点。在信息论中，熵描述了一条消息或一个信号所携带的信息量的期望值，即接收到该消息后所能消除的不确定性量。熵反映了数据集的纯度或不确定性，熵越高表示数据集中类别的分布越混杂，不确定性越大。的特征，因为这类特征能够产生更多的子集，即使这些子集的纯度提升不大，也可能导致。因此，在这个天气预报的例子中，明天天气的信息熵约为1.751比特。
什么是信息增益
彬彬侠的博客
10-02 5741
信息增益（Information Gain）是一种衡量某个特征在对数据集进行划分时带来的信息量减少的指标。本文介绍了信息熵的概念，信息增益定义，计算信息增益的步骤，举例说明了计算信息增益的具体步骤
信息增益算法
yaokun2012的博客
08-23 2495
信息增益算法的步骤： 输入：训练数据集D和特征A； 依据数据集中的类别计算经验熵: 由训练数据集获取各类别数量； 根据类别计算相应的概率分布； 计算经验条件熵(或者说)： 确定特征A； 根据特征A对数据集划分获取子集，计算子集的经验熵并求和； 对子集分类（此处分类是按类别分，不是按特征分），获取各类对应的集合； 由上一步的...
信息增益计算实例
luoganttcc的博客
08-07 3251
信息增益计算实例 原文链接 posted on 2018-08-07 15:40 luoganttcc 阅读(...) 评论(...) 编辑 收藏 ...
【数据挖掘】关联挖掘算法+信息增益等相关概念
xn_28的专栏
11-23 536
关联挖掘算法（APriori+FP-Tree）： http://blog.csdn.net/sealyao/article/details/6460578 信息增益——>决策树： http://www.cnblogs.com/wentingtu/archive/2012/03/24/2416235.html
数据挖掘计算属性的信息增益
10-26
数据挖掘中，信息增益是一种用于计算属性对分类结果的影响程度的方法。它通过计算每个属性对分类结果的不确定性减少程度来衡量属性的重要性。具体来说，信息增益是指在已知分类结果的情况下，某个属性能够为分类结果...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

怪&

感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值