1.数学期望
设离散型随机变量XXX的分布律为
P{X=xk}=pk,k=1,2,… .P\{X=x_k\}=p_k,k=1,2,\dots.P{X=xk}=pk,k=1,2,….
若级数
∑k=1∞xkpk\sum_{k=1}^{\infty}x_kp_kk=1∑∞xkpk
绝对收敛,则称级数∑k=1∞xkpk\sum_{k=1}^{\infty}x_kp_k∑k=1∞xkpk的和为随机变量XXX的数学期望,记为E(X).E(X).E(X).即
E(X)=∑k=1∞xkpk.E(X)=\sum_{k=1}^{\infty}x_kp_k.E(X)=k=1∑∞xkpk.
设连续型随机变量XXX的概率密度为f(x),f(x),f(x),若积分
∫−∞∞xf(x)dx\int_{-\infty}^{\infty}xf(x)dx∫−∞∞xf(x)dx
绝对收敛,则称积分∫−∞∞xf(x)dx\int_{-\infty}^{\infty}xf(x)dx∫−∞∞xf(x)dx的值为随机变量XXX的数学期望,记为E(X).E(X).E(X).即
E(X)=∫−∞∞xf(x)dxE(X)=\int_{-\infty}^{\infty}xf(x)dxE(X)=∫−∞∞xf(x)dx
数学期望简称期望,又称为均值.
2.定理
设YYY是随机变量XXX的函数:Y=g(X)(g是连续函数).:Y=g(X)(g是连续函数).:Y=g(X)(g是连续函数).
(i)如果XXX是离散型随机变量,它的分布律为P{X=xk}=pk,k=1,2,…P\{X=x_k\}=p_k,k=1,2,\dotsP{X=xk}=pk,k=1,2,…
若∑k=1∞g(xk)pk\sum_{k=1}^{\infty}g(x_k)p_kk=1∑∞g(xk)pk
绝对收敛,则有
E(Y)=E[g(X)]=∑k=1∞g(xk)pk.E(Y)=E[g(X)]=\sum_{k=1}^{\infty}g(x_k)p_k.E(Y)=E[g(X)]=k=1∑∞g(xk)pk.
(ii)如果XXX是连续型随机变量,它的概率密度为f(x),f(x),f(x),若
∫−∞∞g(x)f(x)dx\int_{-\infty}^{\infty}g(x)f(x)dx∫−∞∞g(x)f(x)dx
绝对收敛,则有
E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx.E(Y)=E[g(X)]=\int_{-\infty}^{\infty}g(x)f(x)dx.E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx.
3.方差
设XXX是一个随机变量,若E{[X−E(X)]2}E\{[X-E(X)]^2\}E{[X−E(X)]2}存在,则称E{[X−E(X)]2}E\{[X-E(X)]^2\}E{[X−E(X)]2}为XXX的方差,记为D(x)D(x)D(x)或Var(X),Var(X),Var(X),即
D(x)=Var(X)=E{[X−E(X)]2}.D(x)=Var(X)=E\{[X-E(X)]^2\}.D(x)=Var(X)=E{[X−E(X)]2}.
在应用上还引入量D(X),\sqrt{D(X)},D(X),记为σ(X),\sigma(X),σ(X),成为标准差或均方差.
对于离散型随机变量,有
D(X)=∑k=1∞[xk−E(X)]2pkD(X)=\sum_{k=1}^{\infty}[x_k-E(X)]^2p_kD(X)=k=1∑∞[xk−E(X)]2pk
其中P{X=xk}=pk,k=1,2,…P\{X=x_k\}=p_k,k=1,2,\dotsP{X=xk}=pk,k=1,2,…是XXX的分布律.
对于连续型随机变量,有
D(X)=∫−∞∞[x−E(X)]2f(x)dxD(X)=\int_{-\infty}^{\infty}[x-E(X)]^2f(x)dxD(X)=∫−∞∞[x−E(X)]2f(x)dx
其中f(x)f(x)f(x)是XXX的概率密度.
4.方差的重要性质
(1)设CCC是常数,则D(C)=0.D(C)=0.D(C)=0.
(2)D(CX)=C2D(X),D(X+C)=D(X).D(CX)=C^2D(X),D(X+C)=D(X).D(CX)=C2D(X),D(X+C)=D(X).
(3)D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}.D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}.D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}.
(4)D(X)=0D(X)=0D(X)=0的充要条件是P{X=E(X)}=1.P\{X=E(X)\}=1.P{X=E(X)}=1.
5.几个常见分布的数学期望和方差
(1)若X∼π(λ),X\sim \pi(\lambda),X∼π(λ),则
E(X)=λD(X)=λE(X)=\lambda\\
D(X)=\lambdaE(X)=λD(X)=λ
(2)若X∼U(a,b),X\sim U(a,b),X∼U(a,b),则
E(X)=a+b2D(X)=(b−a)212E(X)=\frac{a+b}{2}\\
D(X)=\frac{(b-a)^2}{12}E(X)=2a+bD(X)=12(b−a)2
(3)若XXX具有(0−1)(0-1)(0−1)分布,其分布律为
P{X=1}=p,P{X=0}=1−pP\{X=1\}=p,P\{X=0\}=1-pP{X=1}=p,P{X=0}=1−p则
E(X)=pD(X)=p(1−p)E(X)=p\\
D(X)=p(1-p)E(X)=pD(X)=p(1−p)
(4)若随机变量XXX服从指数分布,其概率密度为
f(x)={1θe−xθ,x>0,0,x≤0.f(x)=\left\{\begin{aligned}
&\frac{1}{\theta}e^{-\frac{x}{\theta}},x>0,\\
&0,x\leq 0.\end{aligned}\right.f(x)=⎩⎨⎧θ1e−θx,x>0,0,x≤0.
其中θ>0,\theta>0,θ>0,则
E(X)=θD(X)=θ2E(X)=\theta\\
D(X)=\theta^2E(X)=θD(X)=θ2
(5)若X∼b(n,p),X\sim b(n,p),X∼b(n,p),则
E(X)=npD(X)=np(1−p)E(X)=np\\
D(X)=np(1-p)E(X)=npD(X)=np(1−p)
(6)若X∼N(μ,σ2),X\sim N(\mu,\sigma^2),X∼N(μ,σ2),则
E(X)=μD(X)=σ2E(X)=\mu\\
D(X)=\sigma^2E(X)=μD(X)=σ2
6.切比雪夫不等式
设随机变量XXX具有数学期望E(X)=μ,E(X)=\mu,E(X)=μ,方差D(X)=σ2,D(X)=\sigma^2,D(X)=σ2,则对于任意正数ε,\varepsilon,ε,不等式
P{∣X−μ∣≥ε}≤σ2ε2P\{|X-\mu|\ge \varepsilon\}\leq \frac{\sigma^2}{\varepsilon^2}P{∣X−μ∣≥ε}≤ε2σ2
成立.切比雪夫不等式也可以写成
P{∣X−μ∣<ε}≥1−σ2ε2P\{|X-\mu|<\varepsilon\}\ge 1-\frac{\sigma^2}{\varepsilon^2}P{∣X−μ∣<ε}≥1−ε2σ2
7.协方差及相关系数
量E{[X−E(X)][Y−E(Y)]E\{[X-E(X)][Y-E(Y)]E{[X−E(X)][Y−E(Y)]称为随机变量XXX和YYY的协方差,记为Cov(X,Y),Cov(X,Y),Cov(X,Y),即
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]Cov(X,Y)=E{[X−E(X)][Y−E(Y)]
而
ρXY=Cov(X,Y)D(X)D(Y)\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}ρXY=D(X)D(Y)Cov(X,Y)
称为随机变量XXX和YYY的相关系数.
8.结论
二维正态随机变量(X,Y)(X,Y)(X,Y)的概率密度中的参数ρ\rhoρ就是XXX和YYY的相关系数,XXX和YYY相互独立的充要条件是
ρ=0\rho=0ρ=0
9.矩和协方差矩阵
设XXX和YYY是随机变量,若
E(Xk),k=1,2,…E(X^k),k=1,2,\dotsE(Xk),k=1,2,…
存在,则称它为XXX的kkk阶原点矩,简称kkk阶矩.
若
E{[X−E(X)]k},k=1,2,…E\{[X-E(X)]^k\},k=1,2,\dotsE{[X−E(X)]k},k=1,2,…
存在,则称它为XXX的kkk阶中心矩.
若
E(XkYl),k,l=1,2…E(X^kY^l),k,l=1,2\dotsE(XkYl),k,l=1,2…
存在,则称它为X和YX和YX和Y的k+lk+lk+l阶混合矩.
若E{[X−E(X)]k[Y−E(Y)]l}E\{[X-E(X)]^k[Y-E(Y)]^l\}E{[X−E(X)]k[Y−E(Y)]l}
存在,则称它为X和YX和YX和Y的k+lk+lk+l阶混合中心矩.
设nnn阶随机变量(X1,X2,…,Xn)(X_1,X_2,\dots,X_n)(X1,X2,…,Xn)的二阶混合中心矩
cij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]},i,j=1,2,…,nc_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,\dots,ncij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]},i,j=1,2,…,n
都存在,则称矩阵
C=(c11c12…c1nc21c22…c2n⋮⋮⋮cn1cn2…cnn)C=\left(\begin{array}{c}
c_{11}&c_{12}&\dots&c_{1n}\\
c_{21}&c_{22}&\dots&c_{2n}\\
\vdots&\vdots& &\vdots\\
c_{n1}&c_{n2}&\dots&c_{nn}\\
\end{array}\right)C=⎝⎜⎜⎜⎛c11c21⋮cn1c12c22⋮cn2………c1nc2n⋮cnn⎠⎟⎟⎟⎞
为nnn维随机变量(X1,X2,…,Xn)(X_1,X_2,\dots,X_n)(X1,X2,…,Xn)的协方差矩阵.
引入列矩阵
X=(x1x2⋮xn)和μ=(μ1μ2⋮μn)=(E(X1)E(X2)⋮E(Xn)).X=\left(\begin{array}{c}
x_1\\
x_2\\
\vdots\\
x_n\\
\end{array}\right)和\mu=\left(\begin{array}{c}
\mu_1\\
\mu_2\\
\vdots\\
\mu_n\\
\end{array}\right)=\left(\begin{array}{c}
E(X_1)\\
E(X_2)\\
\vdots\\
E(X_n)\\
\end{array}\right).X=⎝⎜⎜⎜⎛x1x2⋮xn⎠⎟⎟⎟⎞和μ=⎝⎜⎜⎜⎛μ1μ2⋮μn⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛E(X1)E(X2)⋮E(Xn)⎠⎟⎟⎟⎞.
nnn维正态随机变量(X1,X2,…,Xn)(X_1,X_2,\dots,X_n)(X1,X2,…,Xn)的概率密度为
f(x1,x2,…,xn)=1(2π)n2(detC)12exp{−12(X−μ)TC−1(X−μ)}f(x_1,x_2,\dots,x_n)=\frac{1}{(2\pi)^{\frac{n}{2}}(detC)^{\frac{1}{2}}}exp\{-\frac{1}{2}(X-\mu)^TC^{-1}(X-\mu)\}f(x1,x2,…,xn)=(2π)2n(detC)211exp{−21(X−μ)TC−1(X−μ)}
其中CCC是(X1,X2,…,Xn)(X_1,X_2,\dots,X_n)(X1,X2,…,Xn)的协方差矩阵.