随机变量数字特征

主要介绍一维随机变量期望和方差、二维随机变量期望和方差、以及协方差相关公式，及推导。

一维随机变量

以一个抛硬币的场景作为例子，如下：

抛掷两枚均匀硬币，如果两枚都是正面向上，则赢得2元，否则就输掉1元。某人进行了 100次，结果如下表，求赢钱的平均值和方差

又有，分布律：
其中随机变量对应示例中的赢钱金额

1. 期望与方差

平均值记为 $\bar{x}$
$$\begin{array}{rl}\bar{x}& =\frac{1}{n}\sum _{i=1}^n{x}_i=\sum _{i=1}^n{x}_i\ast f_i\\ & =2\ast 0.3+(-1)\ast 0.7\\ & =-0.1\end{array}$$

随机变量（赢钱金额）的数学期望为：
$$\begin{array}{rl}E(x)& =\sum _{i=1}^n{x}_i\ast p_i\\ & =2\ast 0.25+(-1)\ast 0.75=-0.25\end{array}$$

平均值：通过频率 $f$ 计算出来的均值。
数学期望：通过概率 $p$ 计算出来的均值。

对于均值, 方差为
$$s^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$
计算结果 $s^2=(2+0.1{)}^2\ast 0.3+(-1+0.1{)}^2\ast 0.7=1.89$

对于期望, 方差可以理解为上述中的均值改为期望，频率改为概率。（实际样本方差求平均时，分母是 n-1）

由此基础，我们引出方差的公式：

$$D(X)=E(X-E(X){)}^2$$

数学期望和方差（标准差）分别反映了随机变量分布的中心位置与集散程度。

2. 期望与方差性质

常数 c 的期望和方差：
$E(c)={\sum }_{i=1}^{n}c\ast p_i=c{\sum }_{i=1}^n{p}_i=c$
$D(c)=E(c-E(c){)}^2=E(c-c{)}^2=0$

常数与随机变量的乘积：
$E(cX)={\sum }_{i=1}^{n}c\ast x_i\ast p_i=cE(X)$
$D(cX)=E(cX-E(cX){)}^2=c^{2}E(X-E(X){)}^2=c^{2}D(X)$

随机变量和：
$E(X+Y)=E(X)+E(Y)$
$D(X+Y)=D(X)+D(Y)$

X、Y相互独立时, 红色亮显公式D(X+Y) 才成立。

方差的计算公式：
$$\begin{array}{rl}D(X)& =E(X-E(X){)}^2\\ & =E[X^2-2XE(X)+(E(X){)}^2]\\ & =E(X^2)-E(2XE(X))+E[(E(X){)}^2]\\ & =E(X^2)-2(E(X){)}^2+(E(X){)}^2\\ & =E(X^2)-(E(X){)}^2\end{array}$$

二维随机变量

1. 期望

二维离散型随机变量 (X, Y) 的分布律：
P{X=xi,Y=yj}=piji,j=1,2,...P\{X=x_i, Y=y_j\}=p_{ij} \quad i,j=1,2,...P{X=xi​,Y=yj​}=pij​i,j=1,2,...
二维连续型随机变量 (X, Y) 的概率密度函数$f(x,y)$

假设二维随机变量的函数为 $g(X,Y)$，则：
离散场景：
$$E(g(X,Y))=\sum _{i=0}^n\sum _{j=0}^{n}g(x_i,y_j)p_{ij}$$

连续场景：
$$E(g(X,Y))={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$

无论离散还是连续，都可以理解为三方部分：求和、函数值、概率，的乘积。

2. 期望的性质

例如：$g(X,Y)=X+Y$

1） 和的期望等于期望的和
$$\begin{array}{rl}E(X+Y)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x+y)f(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }x({\int }_{-\infty }^{+\infty }f(x,y)dy)dx+{\int }_{-\infty }^{+\infty }y({\int }_{-\infty }^{+\infty }f(x,y)dx)dy\\ & ={\int }_{-\infty }^{+\infty }x{f}_{X}dx+{\int }_{-\infty }^{+\infty }y{f}_{Y}dy\\ & =E(X)+E(Y)\end{array}$$

推广：
$E({\sum }_{k=1}^n{X}_k)={\sum }_{k=1}^{n}E(X_k)$

2） 若随机变量X、Y相互独立，则 E(XY) = E(X)E(Y)
$$\begin{array}{rl}E(XY)& ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xyf(x,y)dxdy\\ & ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xy{f}_X(x)f_Y(y)dxdy\\ & ={\int }_{-\infty }^{+\infty }x{f}_X(x)dx\cdot {\int }_{-\infty }^{+\infty }y{f}_Y(y)dy\\ & =E(X)\cdot E(Y)\end{array}$$

其中绿色部分是有变量 X、Y相互独立得出

3. 协方差

例如：$g(X,Y)=X+Y$

$$\begin{array}{rl}D(X+Y)& =E(X+Y{)}^2-(E(X+Y){)}^2\\ & =E(X+Y{)}^2-(E(X)+E(Y){)}^2\\ & =E(X^2)+E(Y^2)+2E(XY)-(E(X){)}^2-(E(Y){)}^2-2E(X)E(Y)\\ & =D(X)+D(Y)+2(E(XY)-E(X)E(Y))\end{array}$$

定义上述式子中蓝色部分为协方差，即
$$Cov(X,Y)=E(XY)-E(X)E(Y)$$

等价表达式：
$$Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}$$

4. 协方差性质

性质1 若随机变量X、Y相互独立，则 $Cov(X,Y)=0$，反之不然
性质2 $D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$
性质3 $Cov(X,X)=D(X)$
性质4 $Cov(aX,bX)=abCov(X,Y)$
性质5 $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

5. 标准化

随机变量 X,Y 标准化:
$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}=\frac{X-{\mu }_1}{{\sigma }_1}$
$Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}}=\frac{Y-{\mu }_2}{{\sigma }_2}$

可以推出：
$$E(X^{\ast })=E(\frac{X-{\mu }_1}{{\sigma }_1})=\frac{1}{{\sigma }_1}(E(X)-{\mu }_1)=0$$

$$D(X^{\ast })=D(\frac{X-{\mu }_1}{{\sigma }_1})=\frac{1}{{\sigma }_1^2}D(X)=1$$

可以推出：任意随机变量经过标准化后其期望为0，方差为1

随机变量 X,Y 的相关系数:
$$\begin{array}{rl}Cov(X^{\ast },Y^{\ast })& =Cov(\frac{X-{\mu }_1}{{\sigma }_1},\frac{Y-{\mu }_2}{{\sigma }_2})\\ & =\frac{1}{{\sigma }_1{\sigma }_2}\cdot Cov(X,Y)\\ & =\frac{Cov(X,Y)}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}\end{array}$$

上述式子中的蓝色部分定义为相关系数，即
${\rho }_{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)}\cdot \sqrt{D(Y)}}$

其中，相关系数恒在 -1 到 1 之间。

矩估计

补充：
一维随机样本方差公式
$$s^2=\frac{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2}{n-1}$$
二维随机样本协方差公式
$$Co{v}_{xy}=\frac{{\sum }_{i=1}^n(x_i-{\mu }_x)(y_i-{\mu }_y)}{n-1}$$

协方差反映的是两个维度之间的相关性
二维以上计算协方差用的是协方差矩阵,反映的是各个维度之间的关系

问题1：为什么样本方差公式中分母是 n-1

场景：求 $\alpha$取到何值时，$f(\alpha )={\sum }_{i=1}^n(X_i-\alpha )$取到极小值？

原式子：
$$f(\alpha )=(x_1-\alpha {)}^2+(x_2-\alpha {)}^2+...+(x_n-\alpha {)}^2$$

求一阶导数，让其等于0
$f^{\prime }(\alpha )=-(2(x_1-\alpha )+2(x_2-\alpha )+...+2(x_n-\alpha ))=0$
得
$\begin{array}{r}2(x_1-\alpha )+2(x_2-\alpha )+...+2(x_n-\alpha )=0\end{array}$
$\begin{array}{r}(x_1+x_2+...+x_n)-n\alpha =0\end{array}$
$$\begin{array}{r}\alpha =\frac{x_1+x_2+...+x_n}{n}=\bar{x}\end{array}$$

这样我们就有结论：
$$\sum _{i=1}^n(X_i-\mu {)}^2\ge \sum _{i=1}^n(X_i-\bar{X}{)}^2$$

其中 $\mu$ 是总体的均值即期望，$\bar{X}$是样本的均值。
如果样本方差分母仍然保持 n，那有上面的不等式，可知样本方差就不能很好的估计总体方差了

所以，为了更准确估计总体，需要调小样本方差公式的分母，让其小于n，但需要小多少？

从自由度角度理解为什么样本方差分母是 n-1
样本方差分母应是其对应的自由度

自由度，是计算某一统计量，取值不受限的变量个数。

简单理解，就是能贡献信息的变量个数

求样本均值时，用到了 $\bar{X}=\frac{x_1+x_2+...+x_n}{n}$，由于公式分子中引入了$\bar{X}$ 也就相当于增加了一个约束条件，在约束条件下，有效变量个数是 n-1。

因为第n个变量，可以有约束条件计算出来，即 $x_n=n\bar{X}-(x_1+x_2+...+x_{n-1})$

公式推导

什么是无偏估计量？当我们用样本统计量来估计总体参数时，如果估计量的数学期望等于被估计参数的真实值，我们称该估计量为被估计参数的无偏估计。

样本统计量 $s^2$，总体参数 ${\sigma }^2$。无偏估计即为：
$$E(S^2)={\sigma }^2$$
证明上述等式：
$$\begin{array}{rl}E(s^2)& =E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2\right)\\ & =E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i-\mu +\mu -\bar{x}{)}^2\right)\\ & =E\left(\frac{1}{n-1}\sum _{i=1}^n((x_i-\mu )+(\mu -\bar{x}){)}^2\right)\\ & =E\left(\frac{1}{n-1}\sum _{i=1}^n((x_i-\mu {)}^2+2(x_i-\mu )(\mu -\bar{x})+(\mu -\bar{x}{)}^2)\right)\\ & =E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i-\mu {)}^2\right)+E\left(\frac{1}{n-1}\sum _{i=1}^{n}2(x_i-\mu )(\mu -\bar{x})\right)+E\left(\frac{1}{n-1}\sum _{i=1}^n(\mu -\bar{x}{)}^2\right)\end{array}$$
第一部分：
$$\begin{array}{rl}E\left(\frac{1}{n-1}\sum _{i=1}^n(x_i-\mu {)}^2\right)& =\frac{1}{n-1}\sum _{i=1}^{n}E(x_i-\mu {)}^2\\ & =\frac{1}{n-1}\sum _{i=1}^n{\sigma }^2\\ & =\frac{n}{n-1}{\sigma }^2\end{array}$$
第二部分：
$$\begin{array}{rl}E\left(\frac{1}{n-1}\sum _{i=1}^{n}2(x_i-\mu )(\mu -\bar{x})\right)& =\frac{2}{n-1}E\left(\sum _{i=1}^n(x_i-\mu )(\mu -\bar{x})\right)\\ & =\frac{2}{n-1}E\left((\mu -\bar{x})\sum _{i=1}^n(x_i-\mu )\right)\\ & =\frac{2}{n-1}E\left((\mu -\bar{x})n(\bar{x}-\mu )\right)\\ & =\frac{2(-n)}{n-1}E\left((\bar{x}-\mu {)}^2\right)\end{array}$$
第三部分：
$$\begin{array}{rl}E\left(\frac{1}{n-1}\sum _{i=1}^n(\mu -\bar{x}{)}^2\right)& =E\left(\frac{n}{n-1}(\mu -\bar{x}{)}^2\right)\\ & =\frac{n}{n-1}E\left((\mu -\bar{x}{)}^2\right)\end{array}$$

由此可知，原式子：
$$\begin{array}{rl}E(s^2)& =\frac{n}{n-1}{\sigma }^2+\frac{2(-n)}{n-1}E\left((\bar{x}-\mu {)}^2\right)+\frac{n}{n-1}E\left((\mu -\bar{x}{)}^2\right)\\ & =\frac{n}{n-1}{\sigma }^2+\frac{(-n)}{n-1}E\left((\bar{x}-\mu {)}^2\right)\\ & =\frac{n}{n-1}{\sigma }^2+\frac{(-n)}{n-1}\frac{1}{n}{\sigma }^2\\ & ={\sigma }^2\end{array}$$

其中，样本均值是无偏的，可得：
$$\begin{array}{rl}E\left((\bar{x}-\mu {)}^2\right)& =E(\bar{x}-E(\bar{x}){)}^2=var(\bar{x})\\ & =var\left(\frac{{\sum }_{i=1}^n{x}_i}{n}\right)\\ & =\frac{1}{n^2}var\left(\sum _{i=1}^n{x}_i\right)\\ & =\frac{1}{n^2}\sum _{i=1}^{n}var(x_i)\\ & =\frac{1}{n^2}n{\sigma }^2=\frac{1}{n}{\sigma }^2\end{array}$$

$x_i$ 之间是相互独立的，所以 $var\left({\sum }_{i=1}^n{x}_i\right)={\sum }_{i=1}^{n}var(x_i)$

问题2：多维随机变量的协方差矩阵怎么计算？

二维随机样本协方差公式
$$Co{v}_{xy}=\frac{{\sum }_{i=1}^n(x_i-{\mu }_x)(y_i-{\mu }_y)}{n-1}$$

多维的情况下，是两两协方差
总体协方差时，分母是 n；样本协方差时，分母是 n-1

举例：多维数据如下

第一步：计算均值
Math：66，English：60，Art：60
即均值向量为 $\mathbf{\mu }=(66,60,60)$

第二步：计算差值矩阵
均值向量按照数据数量（示例中是5）纵向展开，得到均值矩阵，原数据矩阵与均值矩阵作差

$$\begin{array}{rl}A& =\left[\begin{array}{ccc}90& 60& 90\\ 90& 90& 30\\ 60& 60& 60\\ 60& 60& 90\\ 30& 30& 30\end{array}\right]-\left[\begin{array}{ccc}66& 60& 60\\ 66& 60& 60\\ 66& 60& 60\\ 66& 60& 60\\ 66& 60& 60\end{array}\right]\\ & =\left[\begin{array}{ccc}24& 0& 30\\ 24& 30& -30\\ -6& 0& 0\\ -6& 0& 30\\ -36& -30& -30\end{array}\right]\end{array}$$

第三步：根据差值矩阵，计算维度彼此间的协方差
$$\mathbf{\Sigma }=\left[\begin{array}{ccc}Co{v}_{11}& Co{v}_{12}& Co{v}_{13}\\ Co{v}_{21}& Co{v}_{22}& Co{v}_{23}\\ Co{v}_{31}& Co{v}_{32}& Co{v}_{33}\end{array}\right]$$

结合二维随机变量协方差公式，可得
为了方便公式书写，计算都没有除以 n
$$\begin{array}{rl}n\cdot Co{v}_{11}& =\sum _{i=1}^n{A}_{i1}\cdot A_{i1}\\ & =24\ast 24+24\ast 24+(-6)\ast (-6)+(-6)\ast (-6)+(-36)\ast (-36)\\ & =2520\end{array}$$
$$\begin{array}{rl}n\cdot Co{v}_{23}& =\sum _{i=1}^n{A}_{i2}\cdot A_{i3}\\ & =0\ast 30+30\ast (-30)+0\ast 0+0\ast 30+(-30)\ast (-30)\\ & =0\end{array}$$

依次计算可得：
$$\mathbf{\Sigma }=\frac{1}{n}\cdot \left[\begin{array}{ccc}2520& 1800& 900\\ 1800& 1800& 0\\ 900& 0& 3600\end{array}\right]=\left[\begin{array}{ccc}504& 360& 180\\ 360& 360& 0\\ 180& 0& 720\end{array}\right]$$

这里我们把原始数据集当做总体，协方差公式的分母用 n

至此，结束。