线性代数笔记11：正定矩阵理解及推导

title: 线性代数笔记11：正定矩阵理解及推导
tags:

• linear algebra
  categories:
• linear algebra
  date: 2018-04-12 15:55:43
  mathjax: true

正定矩阵及半正定矩阵在机器学习和深度学习中有很重要的应用。

引言

1. 定义：特征值全是正实数的实对称矩阵为正定矩阵（positive definite matrix）。
2. 类似的，若实对称矩阵的特征值均非负，则为半正定矩阵（positive semidefinite matrix）。

可能用到的概念

• 主子式

  定义：在$n$阶行列式中任选$k$行，再取相应的$k$列，将行列交汇处元素组成新的矩阵行列式，称为$n$阶行列式的一个$k$阶主子式。

• 顺序主子式（the k-th leading principal minor）

  定义：在$n$阶行列式中由第$1,...,k$行和第$1,...,k$列所确定的主子式称为$k$阶顺序主子式。直观上看就是矩阵中左上方的子矩阵。

实对称矩阵$A$正定的充要条件

注意，这里的所有进行判别的矩阵都是实对称矩阵。

以下条件都是判别实对称矩阵是否正定的充要条件。

1. $A$的所有特征值${\lambda }_i$均为正。
2. $x^{T}Ax>0$对所有非零向量$x$都成立。
3. $A$的所有顺序主子式都是正的。
4. $A$的所有主元（无行交换）都是正的。
5. 存在列满秩矩阵$R$，使得$A=R^{T}R$.
6. $A$的所有主子式都是正的。

证明

(1) => (2)

对实对称矩阵$A$，存在正交阵$Q$，使得$A=Q\Lambda Q^R$。

因此，对任意非零向量$x$：

$$x^{T}Ax=x^{T}Q\Lambda Q^{T}x=y^T\Lambda y={\lambda }_1{y}_1^2+...+{\lambda }_n{y}_n^2>0$$

其中$y=Q^{T}x=(y_1,...,y_n)̸=0$

(2) => (1)

因为$A$为实对称矩阵，因此一定可以对角化$A=Q\lambda Q^T$

$$\because x^{T}Ax>0\therefore x^{T}Q\Lambda Q^{T}x>0$$

令$y=Q^{T}x$，因此$y\Lambda y^T>0\Rightarrow \sum {\lambda }_i{y}_i^2=0$

$$\because \forall y̸=0s.t\sum {\lambda }_i{y}_i^2=0$$

$${\lambda }_i=0$$

(2) => (3)

由(2) => (1) => $det(A)={\lambda }_1...{\lambda }_n>0$

$$x^{T}Ax=\left(\begin{array}{cc}{x}_k^T& 0\end{array}\right)\left(\begin{array}{cc}{A}_k& \ast \\ \ast & \ast \end{array}\right)\left(\begin{array}{c}{x}_k\\ 0\end{array}\right)=x_k^{T}A{x}_k>0$$

$$\therefore det(x_k^T)det(A_k)det(k_k)=det(A_k)>0$$

(3) => (4)

顺序主子式与主元有直接关系，第$k$个主元：

$$d_k=\frac{det(A_k)}{det{A}_k(k-1)}>0$$

其中$A_k$是第$k$个顺序主子矩阵（the k-th leading principal submatrix)。

(4) => (2)

由对称矩阵的Gauss消元法得LDU分解：$A=LD{L}^T$，其中对角阵的对角元为$A$的主元：

$$D=diag(d_1,...,d_n)$$

则对任意非零向量：

$$x^{T}Ax=x^{T}LD{L}^{T}x=y^{T}Dy=d_1{y}_1^2+...+d_n{y}_n^2>0$$

(2) => (5)

$$A=LD{L}^T=L\sqrt{D}\sqrt{D}{L}^T=(\sqrt{D}{L}^T{)}^T(\sqrt{D}{L}^T)=R^{T}R$$

(5) => (2)

设$A=R^{T}R$，则对任意非零向量$x$:

$$x^{T}Ax=x^T{R}^{T}Rx=(Rx{)}^T(Rx)=||Rx|{|}^2>0$$

(6) => (2)

(6) => (3) => (2)

(2) => (6)

对$k$阶主子矩阵$A_{i1,...,ik}$，任取$x=(x_1,...,x_n)̸=0$，使其除$x_{i1},...,x_{ik}$的其余分量全为0，则

$$x^{T}Ax=(x_{i1},...,x_{ik})A_{i1,...ik}\left(\begin{array}{c}{x}_{i1}\\ ...\\ x_{i_k}\end{array}\right)>0$$

$$\therefore det(A_{i1,...ik})>0$$

判断

因此，我们可以用以上充要条件来判断矩阵是否正定。常用的判断方法有：

1. 看顺序主子式是否都大于0
2. Gauss消元后主元是否都大于0
3. 看特征值是否都大于0
4. 找任意一个向量计算$x^{T}Ax$是否大于0
5. 找$A=LD{L}^T$分解，看$R=\sqrt{D}{L}^T$是否满秩

正定矩阵的常见性质

1. 设$A,B$为正定矩阵，则$A+B$也为正定矩阵。

2. 设$A$为正定矩阵，则存在矩阵C，使得$A=C^2$。

   证明：$A$为正定矩阵，则存在正交矩阵$Q$，使得:

   $$A=Q\Lambda Q^T=(Q\sqrt{\Lambda }{Q}^T)(Q\sqrt{\Lambda }{Q}^T)=C^2$$

3. 设$A$为正定矩阵，则矩阵$A^2$和$A^{-1}$也正定。

4. 设$A$为正定矩阵，矩阵$C$可逆，则$B=C^{T}AC$也正定。

半正定矩阵

充要条件

1. $A$的所有特征值${\lambda }_i$均非负。
2. $x^{T}Ax\ge 0$对所有向量$X$成立。
3. 存在矩阵$R$，使得$A=R^{T}R$（$R$可能不是可逆阵）。
4. $A$的所有主子式均非负。（注意，不是所有顺序主子式）