4.3 矩阵的满秩分解

高等工程数学 讲义 2021

---

---

4.3.1 Hermite标准形

问题：对矩阵 $\boldsymbol{A}$ 进行一系列行初等变换，可将 $\boldsymbol{A}$ 化为的最简形式是什么样子？

• 例 $\boldsymbol{A}=\left[\begin{array}{rrrrr}{0} & {1} & {0} & {-1} & {1} \\ {0} & {2} & {0} & {1} & {-1} \\ {0} & {3} & {0} & {2} & {-2}\end{array}\right] \to \left[\begin{array}{ccccc}{0} & {1} & {0} & {0} & {0} \\ {0} & {0} & {0} & {1} & {-1} \\ {0} & {0} & {0} & {0} & {0}\end{array}\right]$

---

定理 任何一个秩为 $r$ 的矩阵 $\boldsymbol{A}$ 都可通过行初等变换，化为 Hermite标准形 $\boldsymbol{\boldsymbol{H}}$ ，即：

1. $\boldsymbol{H}$ 的前 $r$ 行是非零行，后 $mーr$ 行全为 $0$ .
2. $\boldsymbol{H}$ 中包含一个 $r$ 阶子单位矩阵 $\boldsymbol{I}_r$ ，且 $\boldsymbol{I}_r$ 中的元 $1$ 是所在行的首个非零元.
3. 存在可逆矩阵 $\boldsymbol{P}$ ，使得 $\boldsymbol{PA}=\boldsymbol{H}$.

---

求矩阵的 Hermite 标准形

对增广矩阵 $[\boldsymbol{A}\;\boldsymbol{I}]$ 进行初等行变换（左乘某个可逆阵 $\boldsymbol{P}$），化为$[\boldsymbol{H}\;\boldsymbol{P}]$，则

$$\boldsymbol{P}\boldsymbol{A}=\boldsymbol{H}.$$

• 例 求 $\boldsymbol{A}=\left[\begin{array}{rrrrr}{0} & {-2} & {6} & {-6} & {-10} \\ {1} & {1} & {-3} & {1} & {-1} \\ {0} & {1} & {-3} & {4} & {-7}\end{array}\right]$ 的 Hermite 标准形及对应的变换矩阵.

---

提示

• $[\boldsymbol{A} \;\; \boldsymbol{I}_3]=\left[\begin{array}{cccccc}{0} & {-2} & {6} & {-6} & {-10} &| & { 1} \\ {1} & {1} & {-3} & {1} & {-1 }& | & & {1} \\ {0} & {1} & {-3} & {4} & {-7} & | & && {1}\end{array}\right]$
  
  • $\to\left[\begin{array}{ccccccc}{1} & {0} & {0} & {0} & {-30}& | &{3 / 2} & {1} & {2} \\ {0} & {1} & {-3} & {0} & {41}& | &{-2} & {0} & {-3} \\ {0} & {0} & {0} & {1} & {-12} & | &{ 1 / 2} & {0} & {1}\end{array}\right] =[\boldsymbol{H}\;\;\boldsymbol{P}]$

---

• $\boldsymbol{P} \boldsymbol{A}=\left[\begin{array}{ccc}{3 / 2} & {1} & {2} \\ {-2} & {0} & {-3} \\ {1 / 2} & {0} & {1}\end{array}\right]\left[\begin{array}{ccccc}{0} & {-2} & {6} & {-6} & {-10} \\ {1} & {1} & {-3} & {1} & {-1} \\ {0} & {1} & {-3} & {4} & {-7}\end{array}\right]$
  
  • $=\left[\begin{array}{ccccc}{1} & {0} & {0} & {0} & {-30} \\ {0} & {1} & {-3} & {0} & {41} \\ {0} & {0} & {0} & {1} & {-12}\end{array}\right]=\boldsymbol{H}$

---

定理 对矩阵 $\boldsymbol{A}$ 进行初等行变换，不会改变矩阵 $\boldsymbol{A}$ 的列向量之间的线性组合关系.

• 证明思路：设 $\boldsymbol{A}$ 是 $m\times n$ 阶矩阵.
• 对$\boldsymbol{A}$ 作行初等变换，等价于左乘一个可逆矩阵$\boldsymbol{P}$.
• 对 $\boldsymbol{x}\in\mathbb{C}^n$，$\boldsymbol{A}\boldsymbol{x}=\boldsymbol{0} \Leftrightarrow \boldsymbol{P} \boldsymbol{A} \boldsymbol{x}=\boldsymbol{0}$.
• 这说明 $\boldsymbol{A}$ 与 $\boldsymbol{P}\boldsymbol{A}$ 的列向量之间具有相同的线性组合关系.

---

例 求

$$\boldsymbol{A}=\left[\begin{array}{ccccc}{-2} & {-4} & {-6} & {-30} & {0} \\ {1} & {2} & {1} & {7} & {0} \\ {1} & {2} & {4} & {19} & {3}\end{array}\right] \triangleq[{\boldsymbol{\boldsymbol{A}}_{1}}\; {\boldsymbol{\boldsymbol{A}}_{2}}\; {\boldsymbol{\boldsymbol{A}}_{3}}\; {\boldsymbol{\boldsymbol{A}}_{4}}\; {\boldsymbol{\boldsymbol{A}}_{5}}]$$

的列向量的极大无关组，并将其余列向量用其中的向量线性表示.

---

提示：

• 对 $\boldsymbol{A}$ 进行行初等变換，将其变換为 Hermite 标准形
• $\boldsymbol{A}=\left[\begin{array}{rrrrr}{-2} & {-4} & {-6} & {-30} & {0} \\ {1} & {2} & {1} & {7} & {0} \\ {1} & {2} & {4} & {19} & {3}\end{array}\right] \to\ldots\to\left[\begin{array}{lllll}{1} & {2} & {0} & {3} & {0} \\ {0} & {0} & {1} & {4} & {0} \\ {0} & {0} & {0} & {0} & {1}\end{array}\right]$
• 所以 $\boldsymbol{A}$ 的列向量极大无关组可以取为 $\boldsymbol{\boldsymbol{A}}_1,\boldsymbol{\boldsymbol{A}}_3, \boldsymbol{\boldsymbol{A}}_5$，且 $\boldsymbol{\boldsymbol{A}}_{2}=2 \boldsymbol{\boldsymbol{A}}_{1}$，$\boldsymbol{\boldsymbol{A}}_{4}=3 \boldsymbol{\boldsymbol{A}}_{1}+4 \boldsymbol{\boldsymbol{A}}_{3}$.

---

4.3.2 满秩分解

设 $\boldsymbol{A} \in \mathbb{C}^{m \times n}$,

1. 若 $\operatorname{rank} \boldsymbol{A}=m$ ，称 $\boldsymbol{A}$ 行满秩 (Full Row Rank)
2. 若 $\operatorname{rank} \boldsymbol{A}=n$ ，称 $\boldsymbol{A}$ 列满秩 (Full Column Rank)
   
   • 若存在列满秩矩阵 $\boldsymbol{F}$ 和行满秩矩阵 $\boldsymbol{G}$ ，使得 $\boldsymbol{A}=\boldsymbol{FG}$ ，则称该式为 $\boldsymbol{A}$ 的 满秩分解 (Full Rank Factorization). 若 $\mathrm{rank}\boldsymbol{A}=r$，则 $\boldsymbol{F}\in\mathbb{C}^{m\times r},\boldsymbol{G}\in\mathbb{C}^{r\times n}$.

---

定理 设 $\boldsymbol{A} \in \mathbb{C}^{m \times n}$ ， $\operatorname{rank} \boldsymbol{A}=r>0$ ，则 $\boldsymbol{A}$ 有满秩分解.

• 证明思路：因为 $\operatorname{rank} \boldsymbol{A}=r>0$ ，故 $\boldsymbol{A}$ 恰好有 $r$ 个线性无关的列向量 $\boldsymbol{\boldsymbol{A}}_{i_{1}}, \boldsymbol{\boldsymbol{A}}_{i_{2}}, \cdots, \boldsymbol{\boldsymbol{A}}_{i_{r}}$, 记其他向量为 $\tilde{\boldsymbol{\boldsymbol{A}}}_{1}, \tilde{\boldsymbol{\boldsymbol{A}}}_{2} , {\cdots} , \tilde{\boldsymbol{\boldsymbol{A}}}_{n-r}$.
• 记 $\boldsymbol{F}=[\boldsymbol{\boldsymbol{A}}_{i_{1}}\; {\boldsymbol{\boldsymbol{A}}_{i_{2}}}\; {\cdots}\; {\boldsymbol{\boldsymbol{A}}_{i_{r}}}]$，则存在 $\boldsymbol{S}\in\mathbb{C}^{r\times(n-r)}$，使得 $[{\tilde{\boldsymbol{\boldsymbol{A}}}_{1}}\; {\tilde{\boldsymbol{\boldsymbol{A}}}_{2}}\; {\cdots}\; {\tilde{\boldsymbol{\boldsymbol{A}}}_{n-r}}]=\boldsymbol{FS}$.
• 存在置换矩阵 $\boldsymbol{Q}\in\mathbb{C}^{n\times n}$ ($\boldsymbol{Q}$可逆)，使得 $\boldsymbol{A} \boldsymbol{Q}=[{\boldsymbol{\boldsymbol{A}}_{i_{1}}}\; {\cdots}\; {\boldsymbol{\boldsymbol{A}}_{i_{r}}}\; {\tilde{\boldsymbol{\boldsymbol{A}}}_{1}}\; {\cdots}\; {\tilde{\boldsymbol{\boldsymbol{A}}}_{n-r}}]=\boldsymbol{F}[\boldsymbol{I}_r\;\;\boldsymbol{S}]$.
• 令 $\boldsymbol{G}=\left[\boldsymbol{I}_{r} \;\;\boldsymbol{S}\right] \boldsymbol{Q}^{-1}$ ，显然 $\boldsymbol{G}$ 行满秩.
• $\boldsymbol{A}=\boldsymbol{FG}$ 即为 $\boldsymbol{A}$ 的满秩分解.

---

例 求 $\boldsymbol{A}=\left[\begin{array}{c}{7} & {14} & {0} & {0} & {35} \\ {1} & {2} & {4} & {12} & {13} \\ {3} & {6} & {0} & {0} & {15} \\ {2} & {4} & {5} & {15} & {20}\end{array}\right]$ 的满秩分解.

---

提示：

• 求 $\boldsymbol{A}$ 的Hermite标准形
• $\boldsymbol{A}=\left[\begin{array}{c}{7} & {14} & {0} & {0} & {35} \\ {1} & {2} & {4} & {12} & {13} \\ {3} & {6} & {0} & {0} & {15} \\ {2} & {4} & {5} & {15} & {20}\end{array}\right] \to\ldots\to\left[\begin{array}{c}{1} & {2} & {0} & {0} & {5} \\ {0} & {0} & {1} & {3} & {2} \\ {0} & {0} & {0} & {0} & {0} \\ {0} & {0} & {0} & {0} & {0}\end{array}\right]$
• 于是有 $\boldsymbol{A}=\boldsymbol{F G}=\left[\begin{array}{c}{7} & {0} \\ {1} & {4} \\ {3} & {0} \\ {2} & {5}\end{array}\right]\left[\begin{array}{c}{1} & {2} & {0} & {0} & {5} \\ {0} & {0} & {1} & {3} & {2}\end{array}\right]$.

---

问题 矩阵的满秩分解是否唯一？

• 答：满秩分解不具有唯一性！
• 例 $\left[\begin{array}{ccccc}\bbox[lightgreen]{7} & {14} & {0} & {0} & {35} \\ \bbox[lightgreen]{1} & {2} & {4} & {12} & {13} \\ \bbox[lightgreen]{3} & {6} & {0} & {0} & {15} \\ \bbox[lightgreen]{2} & {4} & {5} & {15} & {20}\end{array}\right]=\left[\begin{array}{c}\bbox[lightgreen]{7} & {0} \\ \bbox[lightgreen]{1} & {4} \\ \bbox[lightgreen]{3} & {0} \\ \bbox[lightgreen]{2} & {5}\end{array}\right]\left[\begin{array}{c}\bbox[lightgreen]{1} & \bbox[lightgreen]{2} & \bbox[lightgreen]{0} & \bbox[lightgreen]{0} & \bbox[lightgreen]{5} \\ {0} & {0} & {1} & {3} & {2}\end{array}\right]$
• $\left[\begin{array}{ccccc}{7} & \bbox[yellow]{14} & {0} & {0} & {35} \\ {1} & \bbox[yellow]{2} & {4} & {12} & {13} \\ {3} & \bbox[yellow]{6} & {0} & {0} & {15} \\ {2} & \bbox[yellow]{4} & {5} & {15} & {20}\end{array}\right]=\left[\begin{array}{c}\bbox[yellow]{14} & {0} \\ \bbox[yellow]{2} & {4} \\ \bbox[yellow]{6} & {0} \\ \bbox[yellow]{4} & {5}\end{array}\right]\left[\begin{array}{c}\bbox[yellow]{1/2} & \bbox[yellow]{1} & \bbox[yellow]{0} & \bbox[yellow]{0} & \bbox[yellow]{5/2} \\ {0} & {0} & {1} & {3} & {2}\end{array}\right]$

---

满秩矩阵的性质

定理 设 $\boldsymbol{F}\in\mathbb{C}^{m\times r}$ 列满秩，则

1. $\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F}$ 是正定 Hermite 矩阵.
2. $\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F}$ 的特征值大于 $0$.
3. $\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F}$ 是可逆矩阵.

---

证明思路：

• 显然 $\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F}$ 是 Hermite 矩阵.
• $\forall \boldsymbol{x}\in\mathbb{C}^r$，
  
  • $\boldsymbol{x}^{\mathrm{H}} \boldsymbol{F}^{\mathrm{H}} \boldsymbol{F} \boldsymbol{x}=(\boldsymbol{F} \boldsymbol{x})^{\mathrm{H}}(\boldsymbol{F} \boldsymbol{x})=\|\boldsymbol{F} \boldsymbol{x}\|_{2}^{2} \geq \boldsymbol{0}$.
• $\|\boldsymbol{F} \boldsymbol{x}\|_{2}^{2}=0 \Leftrightarrow \boldsymbol{F} \boldsymbol{x}=\boldsymbol{0}$.
• $\boldsymbol{F}$ 列满秩，其列向量组线性无关，故 $\boldsymbol{F} \boldsymbol{x}=\boldsymbol{0}$ 当且仅当 $\boldsymbol{x}=\boldsymbol{0}$.
• 综上可知 $\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F}$ 正定.
• 正定矩阵是可逆的，且特征值均大于零.

---

行满秩矩阵的性质

定理 设 $\boldsymbol{G}\in\mathbb{C}^{r\times m}$ 行满秩，则

1. $\boldsymbol{G}\boldsymbol{G}^{\mathrm{H}}$ 是正定 Hermite 矩阵.
2. $\boldsymbol{G}\boldsymbol{G}^{\mathrm{H}}$ 的特征值大于 $0$.
3. $\boldsymbol{G}\boldsymbol{G}^{\mathrm{H}}$ 是可逆矩阵.

---

矩阵的左逆与右逆

设 $\boldsymbol{A} \in \mathbb{C}^{m \times n}, \boldsymbol{B} \in \mathbb{C}^{n \times m}$，若

$$\boldsymbol{A}\boldsymbol{B}=\boldsymbol{I}_m.$$

• 称 $\boldsymbol{A}$ 为 $\boldsymbol{B}$ 的 左逆 (Left Inverse)，记为 $\boldsymbol{B}_{\mathrm{L}}^{-1}=\boldsymbol{A}$.
• 称 $\boldsymbol{B}$ 为 $\boldsymbol{A}$ 的 右逆 (Right Inverse)，记为 $\boldsymbol{A}_{\mathrm{R}}^{-1}=\boldsymbol{B}$.

---

定理 矩阵 $\boldsymbol{A}\in\mathbb{C}^{m\times n}$ 有右逆的充要条件是 $\boldsymbol{A}$ 行满秩.

• 必要性： 设 $\boldsymbol{A}\boldsymbol{B}=\boldsymbol{I}_m$.
• $m=\operatorname{rank} \boldsymbol{I}_{m}=\operatorname{rank}(\boldsymbol{A} \boldsymbol{B}) \leq \operatorname{rank} \boldsymbol{A} \leq m$.
• 由此可知 $\boldsymbol{A}$ 行满秩.
• 充分性： 设 $\boldsymbol{A}$ 行满秩.
• 则 $\boldsymbol{A}\boldsymbol{A}^{\mathrm{H}}$ 可逆，${\boldsymbol{A}} {\boldsymbol{A}}^{\mathrm{H}}\left({\boldsymbol{A}} {\boldsymbol{A}}^{\mathrm{H}}\right)^{-1}=\boldsymbol{I}_{{m}}$.
• 由上式可知 ${\boldsymbol{A}}^{\mathrm{H}}\left({\boldsymbol{A}} {\boldsymbol{A}}^{\mathrm{H}}\right)^{-1}$ 即为 $\boldsymbol{A}$ 的右逆.

---

左逆、右逆的不唯一性

• 例 $\forall t \in \mathbb{C}$，$\left[\begin{array}{ll}{1} & {1}\end{array}\right]\left[\begin{array}{c}{t} \\ {1-t}\end{array}\right]=1$.
• 这说明 $\left[\begin{array}{ll}{1} & {1}\end{array}\right]$ 有无穷多个右逆.

---

常用的左逆和右逆

1. 若 $\boldsymbol{F}$ 是列满秩矩阵，则 $(\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F})^{-1}\boldsymbol{F}^{\mathrm{H}}$ 是 $\boldsymbol{F}$ 的左逆.
2. 若 $\boldsymbol{G}$ 是行满秩矩阵，则 $\boldsymbol{G}^{\mathrm{H}}(\boldsymbol{GG}^{\mathrm{H}})^{-1}$ 是 $\boldsymbol{G}$ 的右逆.

---

满秩分解的应用

• 求矩阵的 Penrose 广义逆
  
  • 若 $\boldsymbol{A}=\boldsymbol{BC}$ 为满秩分解，则 $\boldsymbol{A}^+=\boldsymbol{C}^{\mathrm{T}}(\boldsymbol{B}^{\mathrm{T}}\boldsymbol{A}\boldsymbol{C}^{\mathrm{T}})^{-1}\boldsymbol{B}^{\mathrm{T}}$.
• 求矩阵的群逆[1]
  
  • 设 $\mathrm{rank}\boldsymbol{A}=r$，$\boldsymbol{CB}$可逆，则 $\boldsymbol{A}^{\#}=\boldsymbol{B}(\boldsymbol{CB})^{-2}\boldsymbol{C}$
  • 群逆：$\boldsymbol{A}^{\#}\boldsymbol{A}\boldsymbol{A}^{\#}=\boldsymbol{A},\;\boldsymbol{A}\boldsymbol{A}^{\#}\boldsymbol{A}=\boldsymbol{A}^{\#},\;\boldsymbol{A}\boldsymbol{A}^{\#}=\boldsymbol{A}^{\#}\boldsymbol{A}$
• 求方程组 $\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}$ 的
  
  1. 极小范数解
  2. 极小最小二乘解
  3. 极小范数最小二乘解

---

小结

• 满秩分解
  
  1. Hermite 标准形：最简行阶梯型
  2. 行(列)满秩矩阵的性质
• 矩阵的左逆与右逆
  
  1. $\boldsymbol{F}$ 列满秩，$\boldsymbol{F}^{-1}_{\mathrm{L}}=(\boldsymbol{F}^{\mathrm{H}}\boldsymbol{F})^{-1}\boldsymbol{F}^{\mathrm{H}}$
  2. $\boldsymbol{G}$ 行满秩，$\boldsymbol{G}^{-1}_{\mathrm{R}}=\boldsymbol{G}^{\mathrm{H}}(\boldsymbol{GG}^{\mathrm{H}})^{-1}$