ch7 对称矩阵和二次型 '线性代数及其应用笔记'

具体数学

---

7.1 对称矩阵的对角化

对称矩阵 满足$A^T=A$的矩阵。 好了我们回忆下5.3节中对角化的内容并将其应用到对称矩阵上，并引入如下定理：
定理 如果A是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。

如果存在正交矩阵P（满足$P^{-1}=P^T$）和一个对角矩阵D使得$A=PDP^T=PDP^{-1}$，我们称A 可正交对角化。

显然对称矩阵可正交对角化，那么我们从反面来证可以得到这个定理：A可正交对角化的充要条件是A是对称矩阵。
（对称矩阵好厉害，不仅可以对角化还能正交对角化）

这里我们求出特征向量后可能会发现某个特征空间的特征向量并不正交，不要着急，这不代表该矩阵不能正交对角化，我们可以看看能不能求出该特征空间的正交基，然后将其作为P的列，然后就可以得到结果了哦。

　　　
　　　
谱定理
A的特征值的集合有时称为A的谱（一个矩阵你摆什么谱(╯‵□′)╯︵┴─┴）

对称矩阵的谱定理
一个n维对称矩阵具有下面特征
1. 具有n个实特征值，包含重复的特征值
2. 对每一个特征值，对应特征子空间的维数等于$\lambda$作为特征方程的重数
3. 特征空间互相正交，这种正交性是在特征向量对应不同特征值的意义下成立的
4. 可正交对角化

谱分解 $A=\lambda_1u_1u_1^T+\cdots+\lambda_nu_nu_n^T$ 其中u是特征向量，$\lambda$是特征值。

7.2 二次型

$\mathbb{R}^n$上的二次型是一个定义在$\mathbb{R}^n$上的函数，它在向量x处的值可由表达式$Q(x)=x^TAx$计算，此处A是一个n维对称矩阵，矩阵A称为关于二次型的矩阵。
一个简单的二次型例子，向量和其范数平方的映射$Q(x)=x^TIx=\|x\|^2$。
　
　
　若x表示$\mathbb{R}^n$中的向量变量，那么变量代换如$x=Py$，此处P是可逆矩阵且y是$\mathbb{R}^n$的一个新变量。这里P的列可确定$\mathbb{R}^n$的一个基，y是相对该基x的坐标向量。
　用变量代换来处理二次型则

$$x^TAx=y^T(P^TAP)y$$
　利用变量代换我们可以将二次型变为没有交叉项的二次型（即二次型对应矩阵是对角矩阵）。
　主轴定理
　设A是一个$n\times n$对称矩阵，那么存在一个正交变量变换$x=Py$，它将二次型$x^TAx$变换为不含交叉项的二次型$y^TDy$。其中的P就成为二次型的主轴。
　
　分类，一个二次型Q是
　1. 正定的，如果对所有$x\neq0$，有$Q(x)>0$，这时所有特征值都是正的
　2. 负定的，如果对所有$x\neq 0$，有$Q(x)<0$，这时所有特征值都是负的
　3. 不定的，如果$Q(x)$既有正值又有负值，特征值正负不定

用这个可以来分类矩阵，例如正定矩阵就是其二次型为正定的对称矩阵。

7.3 条件优化

这里条件优化指的是寻找一个特定集合内使二次型$Q(x)$取最大值和最小值的$x$。
　
定理1 若A是对称矩阵，m是A最小特征值，M是A最大特征值，那么有

$$m=min\{x^TAx:\|x\|=1\}\\ M=max\{x^TAx:\|x\|=1\}$$
此时x分别取其对应的特征向量。
定理2
若A是对称矩阵，其正交对角化为$A=PDP^{-1}$，将对角矩阵D上的元素按大到小排列，并对应重排特征向量，那么对于$k=2,...,n$时，在以下限制条件下
$$x^Tx=1,x^Tu_1=0,...,x^Tu_{k-1}=0$$
那么$x^TAx$的最大值是$\lambda_k$,在$x=u_k$时取到。

7.4 奇异值分解

如果A是$m\times n$矩阵，那么$A^TA$是对称矩阵且可以正交对角化，让$v_1,...v_n$是$\mathbb{R}^n$的单位正交基且构成$A^TA$的特征向量，$\lambda_1,..,lambda)n$是对应特征值，那么有

$$\|Av_i\|^2=\lambda_i$$

我们称A的$A^TA$的特征值的平方根为奇异值，也就是向量$Av_i$的长度（$v_i$是$A^TA$的单位化的特征向量），记作$\sigma_1,...,\sigma_n$。

定理 若$\{v_1,..,v_n\}$是包含$A^TA$的特征向量的单位正交基，且以及按照其特征值由大到小重排。假若A有r个非零奇异值，那么$\{Av_1,...,Av_r\}$是ColA的一个正交基，且rankA=r。
上面这个定理可以把任意y用以$A^TA$特征向量为基的坐标表示，$y=c_1Av_1+...+c_rAv_r$

SVD 奇异值分解
首先定义$m\times n$分块矩阵

$$\Sigma=\begin{bmatrix} D&0\\0&0 \end{bmatrix}$$
其中D是一个r*r的对角矩阵，r不超过m和n的最小值。
设A是秩为r的$m\times n$矩阵，那么存在一个类似上面的矩阵，此处D的对角线元素是A的r个非零奇异值，并且存在一个$m\times m$正交矩阵U和一个$n\times n$矩阵V使得$A=U\Sigma V^T$，分解中U的列称为A的左奇异向量，V的列称为A的右奇异向量。
可以证明U的列就是ColA的单位正交基，而V的列是A的特征向量基（单位化，不足n列用0补齐）。
下面具体说下SVD怎么做，把大象关冰箱总共分三步来：
1. 将$A^TA$正交对角化 就是求特征值和特征向量
2. 求$V /\Sigma$，将前面的特征值降序排列，并对应调动他们的特征向量形成V，对特征值进行算数平方运算形成$\Sigma$的对角元素。
3. 构造U。对非零奇异值对应的$v_i$，计算$Av_i$并单位化并用找到和这些列正交并能使U的列为基的列补满m列就构成了U。

有了上面这些之后，我们可以得到可逆矩阵定理的最后部分
u. $(ColA)^\bot = \{0\}$
v. $(NulA)^\bot = \mathbb{R}^n$
w. $Row A= \mathbb{R}^n$
x. A有n个非零的奇异值

7.5 图像处理和统计学中应用（主成分析法）

简单回顾一下
均值 $M=\frac{1}{N}(X_1+...+X_N)$
令$\hat{X_k}=X_k-M$ ，则平均偏差形式$B=[\hat{X_1} ...\hat{X_N}]$
协方差矩阵 $S=\frac{1}{N-1}BB^T$ ，S的对角线元素$s_{ii}$就是观测值的各个量的方差，数据总方差指S中对角线上方差的总和。S中i行j列的元素$s_{ij}$称为$x_j$和$x_i$的协方差，如果该元素为0，则统计学上称$x_j$和$x_i$无关。如果大部分变量无关，即协方差矩阵几乎是对角矩阵，那么多变量数据分析就可以简化。

主成分分析
先将数据变换为平均偏差形式X，主成分分析的目标是找打一个正交矩阵P，确定一个变量代换$X=PY$，且新的变量$y_1,...,y_p$ 两两无关，整理后的方差具有递减顺序。
S是X的协方差，不难发现Y的协方差是$P^TSP$，令D为由S特征值由大到小构成的对角矩阵，那么有$S=PDP^T$。

协方差矩阵S的单位特征向量$u_i$就称为数据的主成分，其中最大特征值对应的特征向量称为第一主成分，第二大特征值对应的称为第二主成分。
那么我们可以用主成分$u_i$来确定新变量$y_i$，$y_i=u_i^TX$

这种分析方法可以进行多变量数据的降维，例如，第一成分在总方差的百分比是93.5%，第二成分为5.3%，第三成分是1.2%，那么我们可以只去第一和第二主成分来实现降维。

心得拾遗

二次型是个啥？ 原则上来讲，它也是个函数，就和行列式一样，但是行列式只是对矩阵内的元素进行操作的函数，二次型则是将矩阵元素的线性运算作为多项式的系数，这里矩阵都是确定的，而其自变量是该矩阵向量空间内的一个向量。

好题摘录

• 补充习题1.k 判断：一个正定二次型可以通过一个合适的变量变换$x=Pu$变为负定二次型，其中P是正交矩阵。
  

  错误。显然，对函数因变量的取值变换不会改变函数的值域。

• 补充习题 1.n 判断：如果U是m行n列且列正交的矩阵，那么$U^TUx$是x在ColU上的正交投影。

  错误。虽说U是列正交的，但是它既不是基，也没有单位化。可以由6.3内容得知命题错误。

• 补充习题9 证明：$rankA=rankA^TA$

  $$首先 \because dim NulA=n-rankA (秩定理) \\ 因为n相同，所以只要证明 dimNulA=dimNulA^TA \\ 1. 对于任意Ax=0，必然有A^TAx=0，所以NulA\in NulA^TA \\ 2. 对于任意A^TAx=0,有x^TA^TAx=0,即(Ax)^TAx=0\\ 则\|Ax\|=0,由内积运算规则可得Ax=0,所以NulA^TA\in NulA \\ 综合1，2可得NulA^TA=NulA\\ 原命题得证$$