Machine Learning-L2-数据特征

数据对象（样本）由属性/特征描述，属性（attribute）、特征（feature）、变量（variable）、维（dimension）一般可以互换使用。

1. 特征类型

数据属性的类型由该属性/特征可能具有的值的集合决定，可以是标称的、二元的、序数的或数值的。

标称属性、序数属性都是定性的，描述对象特征而不给出实际数量，而数值属性是定量的。

• 标称属性（Nominal attribute）的值是一些符号或事物的名称，每个值代表某种类别、编码后状态。如婚姻状况，单身、已婚、离异、丧偶。
• 二元属性（Binary attribute）是只有两个类别或状态的标称属性，如性别，男、女。
• 序数属性（Ordinal attribute）的可能值之间具有有意义的序（ranking），如顾客评价，0-不满意，1-一般，2-满意。
• 数值属性（Numeric attribute）是可度量的量，用整数或实数值表示，如温度、年龄等，可通过离散化（将值域划分为有限个有序类别）形成序数属性。

2. 特征的相关性度量

评估一个属性的值如何随另一个变化：

• 标称属性：使用${\chi }^2$检验；
• 数值属性：使用相关系数（correlation coefficient）和协方差（covariance）。

2.1 ${\chi }^2$检验

假设标称属性$A$有$c$个不同值$a_1,a_2,...,a_c$，$B$有$r$个不同值$b_1,b_2,...,b_r$。

$A$和$B$描述的数据元组可以用一个相依表显示，$(A_i,B_j)$表示$(A=a_i,B=b_j)$的联合事件，每个可能的联合事件都在表中有自己的单元。
$${\chi }^2=\sum _{i=1}^c\sum _{j=1}^r\frac{{(o_{ij}-e_{ij})}^2}{e_{ij}}$$

其中，$o_{ij}$是联合事件$(A_i,B_j)$的观察频度（实际计数），而$e_{ij}$是$(A_i,B_j)$的期望频度。

$$e_{ij}=\frac{count(A=a_i)\times count(B=b_j)}{n}$$

${\chi }^2$统计检验假设$A$和$B$是独立的。检验基于显著水平，具有自由度$(r-1)\times (c-1)$。如果可以拒绝该假设（拒绝假设的值由${\chi }^2$分布上百分点表给出），则$A$和$B$是统计相关的。

期望频率根据两个属性的数据分布计算，如$$e_{ij}=\frac{count(男)\times count(小说)}{n}=\frac{300\times 450}{1500}=90$$

$${\chi }^2=\frac{(250-90{)}^2}{90}+\frac{(50-210{)}^2}{210}+\frac{(200-360{)}^2}{360}+\frac{(1000-840{)}^2}{840}=284.44+121.90+71.11+30.48=507.93$$

对于自由度1，在0.001的置信水平下，拒绝假设的值是10.828。由于$${\chi }^2=507.93>10.828$$可以拒绝性别与爱好独立的假设。并断言，对于给定人群，这两个属性是（强）相关的。

2.2 Pearson 系数

数值属性$A$和$B$的Pearson积矩系数（Pearson’s product moment coefficient）$$r_{A,B}=\frac{{\sum }_{i=1}^n(a_i-\overline{A})(b_i-\overline{B})}{n{\sigma }_A{\sigma }_B}=\frac{{\sum }_{i=1}^n(a_i{b}_i)-n\overline{A}\overline{B}}{n{\sigma }_A{\sigma }_B}$$

其中，$a_i$和$b_i$分别是元组$i$在属性$A$和$B$上的值，$\overline{A}$ 和 $\overline{B}$分别是的均值：
$$\overline{A}=E(A)=\frac{{\sum }_{i=1}^n{a}_i}{n}$$$$\overline{B}=E(B)=\frac{{\sum }_{i=1}^n{b}_i}{n}$$

${\sigma }_A$和${\sigma }_B$分别是$A$和$B$的标准差：
$${\sigma }_A=\sqrt{\frac{1}{n}\sum _{i=1}^n(a_i-\overline{A}{)}^2}$$$${\sigma }_B=\sqrt{\frac{1}{n}\sum _{i=1}^n(a_i-\overline{B}{)}^2}$$

${\sum }_{i=1}^n(a_i{b}_i)$是$AB$叉积和（即对于每个元组，A的值乘以该元组B的值）。

$-1\le r_{A,B}\le 1$：

• $r_{A,B}>0$: $A$和$B$正相关，$A$的值随着$B$的值增加而增加。
• $r_{A,B}<0$：$A$和$B$负相关，$A$的值随着$B$的值增加而减少。
• $r_{A,B}=0$：$A$和$B$不相关，$A$和$B$相互独立。

相关性并不蕴含因果关系，即$A$和$B$是相关的，并不意味着$A$导致$B$或$B$导致$A$。

2.3 协方差

数值属性$A$和$B$的协方差（covariance）:$$Cov(A,B)=E((A-\overline{A})(B-\overline{B}))=\frac{{\sum }_{i=1}^n(a_i-\overline{A})(b_i-\overline{B})}{n}$$可以证明$$Cov(A,B)=E(A\cdot B)-\overline{A}\overline{B}$$

• 如果$A$和$B$趋于一起改变，则$A$和$B$的协方差为正；否则为负。
• 如果$A$和$B$是相互独立的，则$E(A\cdot B)=E(A)\cdot E(B)$ 协方差为0，不具有相关性。

2.4 相关与相互独立

• 相关必不独立：相关是随机变量间的一种线性关系，两个随机变量发生的概率具有相互的关系，所以必不独立。
• 相互独立必不相关：
• 不相关并非相互独立
  • 不相关可能独立
  • 不相关可能不独立
  • 对于服从二维正态分布的随机变量：不相关等价于相互独立