三大决策树的比较——ID3、C4.5、CART

其中，

1. 信息熵定义：
   $$Ent(D)=-\sum _{k=1}^n{p}_{k}lo{g}_2{p}_k$$
   其中 $n$ 为D中的类别数。
2. 信息增益定义：
   离散属性a有V个可能取值，使用a对样本集D划分，产生V个子样本集$D^v$，则用属性a对样本集D进行划分所获得的信息增益为$$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{C(D^v)}{C(D)}Ent(D^v)$$
   其中 C(D) 表示集合 D 的大小。
3. 增益率定义：
   $$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$
   其中，$$IV(a)=-\sum _{v=1}^V\frac{C(D^v)}{C(D)}lo{g}_2\frac{C(D^v)}{C(D)}$$称为属性 a 的“固有值”。属性 a 的可能取值数目越多，则 IV(a) 的值通常会越大。
4. 基尼指数定义：
   $$Gini\_index(D,a)=\sum _{v=1}^V\frac{C(D^v)}{C(D)}Gini(D^v)$$
   其中 $$Gini(D)=1-\sum _{k=1}^n{p}_k^2$$称为数据集 D 的基尼值。