线性代数小结 ‘线性代数及其应用笔记’

具体数学

---

线性代数四大基本定理 及其证明

线性代数中有个四大基本定理的说法，说是线代最为核心的内容，其中三个定理基本上是得到公认的，但是还有一个就众说纷纭，这里选择较广流传的版本，当然，每个定理都有许多的等价描述，这里也就挑我比较熟悉的了。

秩定理

对于$m\times n$矩阵A，有

$$rankA+dimNulA=n$$

这个定理可以是说是最基础的了，也有把$rankA$替换为$dimColA$的，该定理主要描述了向量空间的子空间的维度关系。（ch4的笔记心得拾遗里面有从变换角度出发的等价解释o）

证明： 这个证明简单说一下。对A进行行变换到阶梯形矩阵，前r行有主元列，我们知道dimColA就是r。那么剩下的非主元列共有n-r个，对应n-r个自由变量，恰好就是A所对应的齐次方程组的解空间的基了。

子空间正交关系

对于$m\times n$矩阵A，有

$$NulA=Col(A^T)^\bot$$
该定理描述的是子空间的正交关系，即A的零空间是行空间的正交补。

证明：

$$对于NulA中元素有\\ Ax=0,即\begin{bmatrix}a_1\\ \vdots \\ a_m\end{bmatrix}x=0 \\ 也就是A的所有行向量和x的内积为0，那么x和A的行向量的线性组合正交。\\ 正交证明之后，我们来证明这个补集的完备性\\ 很容易证明，某空间的维度+其正交补的维度=该向量空间的维度\\ 由秩定理，rankA+dimNulA=n\\ 由于行秩等于列秩，所以rankA=rankA^T=dimCol(A^T)\\ 所以dimNulA+dimCol(A^T)=n\\ dimNulA=dimCol(A^T)^\bot \\结合上面已经证明的正交性，得证$$

奇异值分解

对于任意$m\times n$矩阵A，可以将A分解为

$$A=U\Sigma V^T$$
其中$\Sigma=\begin{bmatrix} D&0\\0&0 \end{bmatrix}$
其中D是一个$r\times r$的对角矩阵，r不超过m和n的最小值。U是一个$m\times m$正交矩阵，V是一个$n\times n$矩阵。

证明：

$$令\Sigma 的D的对角线是为A从大到小排列的\\ 令\{v_i\}为A的单位化的特征向量基.\\ 可以证明\{Av_i\}是ColA的正交基，将每个Av_i单位化得到\\ u_i=\frac{1}{\|Av_i\|}Av_i=\frac{1}{\sigma_i}Av_i\\ 令U=[u_1...u_r\ 0...0] V=[v_1...v_r\ 0...0]\\ 那么U\Sigma =[\sigma_1u_1...\sigma_ru_r\ 0...0]=[Av_1...Av_n]=AV \\ \therefore U\Sigma V^T=AV^TV又\because \ V为正交矩阵\\ \therefore 上式结果为A$$

子空间基定理

这里主要探讨的是各个子空间的基。
设A的秩为r，将其进行奇异值分解$A=U\Sigma V^T$那么V的前r列为A的行空间的基，后面的列为A的解空间的基，U的前r列为A的列空间的基，后面的列为A的转置的解空间。
这个在这里就不证明了，主要还是运用到了上面那个定理的手法。

可逆矩阵定理

可逆矩阵可谓是贯穿整本‘线性代数及其应用’，有时我们可以将其作为贯穿全文的线索，将各个知识点连贯起来。
1. A是可逆矩阵。
2. A等价于n维单位矩阵。
3. A有n个主元位置。
4. 方程Ax=0仅有平凡解。
5. A的各列线性无关。
6. 线性变换x->Ax是双射。
7. 对于$\mathbb{R}^n$中任意b，方程Ax=b至少有一个解。
8. A的各列生成$\mathbb{R}^n$。
9. 线性变换x->Ax把$\mathbb{R}^n$印射到$\mathbb{R}^n$上。
10. 存在n维方阵C使CA=I。
11. 存在n维方阵使AD=I。
12. $A^T$是可逆矩阵.
13. Col A=$\mathbb{R}^n$
14. A的列向量构成$\mathbb{R}^n$的一个基
15. dim Col A=n
16. rank A=n
17. Nul A={0}
18. dim Nul A = 0
19. $detA\neq0$
20. $ColA=\mathbb{R}^n$
21. 0不是A的特征值
22. $(ColA)^\bot = \{0\}$
23. $(NulA)^\bot = \mathbb{R}^n$
24. $Row A= \mathbb{R}^n$
25. A有n个非零的奇异值